WO2019045586A1 - Способ мониторинга движущихся объектов - Google Patents
Способ мониторинга движущихся объектов Download PDFInfo
- Publication number
- WO2019045586A1 WO2019045586A1 PCT/RU2017/000628 RU2017000628W WO2019045586A1 WO 2019045586 A1 WO2019045586 A1 WO 2019045586A1 RU 2017000628 W RU2017000628 W RU 2017000628W WO 2019045586 A1 WO2019045586 A1 WO 2019045586A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frames
- frame
- monitoring
- video
- pixel
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Definitions
- the present invention relates to a technique of video monitoring of various moving objects, for example, traffic flows, including automobile flows, in which unmanned vehicles may be located.
- Traffic monitoring systems based on video processing and vehicle tracking were an active topic of research in computer vision and image processing.
- Background subtraction is popular method for tracking the track of moving vehicles.
- a method in patent source WO 2008088409 A2, which is an analogue of the present invention, includes receiving a plurality of video frames of traffic data.
- Video frame processing consists in subtracting the background image from each video frame and forming a segmented image in which the areas of objects, lanes, gaps between objects and border areas are separated.
- a significant disadvantage of the analogue is the difficulty of selecting a background image, which depends mainly on unpredictable changes in lighting conditions.
- the disadvantage of the prototype lies in the excessive complexity of determining the boundaries of the monitoring objects with the continued dependence of the error in estimating the displacement of captured objects from unpredictable changes in ambient light.
- the task of monitoring moving objects with video cameras is solved by generating new video frames with a simple structure of a pixel field consisting of several arrays from several successive frames of the original video stream.
- One of the arrays is referred to as a fixed background.
- the luminance values in three consecutive frames of the source video stream A are approximately equal, for example, in frames A, A, and
- the second array refers to the space in the field of view of the video camera, which will occupy the front of the monitoring object when moving from frame A "to frame A p + . In each pixel of this array, the illumination in frames A p and A is approximately equal.”
- the third array refers to the space in the field of view of the video camera, which will release the back of the monitoring object during the transition from frame A "to frame A”. In each pixel of this array, the illuminance is approximately equal in frames A p and A "*.
- the fourth array is referred to as parts of the image of the monitoring object in frame A ", on which the image of the monitoring object is not superimposed on frames A" and A n + when these three frames are combined. In each pixel of this array, the illuminance is approximately equal in frames A "and
- the fifth array refers to the part of the image of the monitoring object, in which the illumination values in the three specified frames are quite different from each other.
- figure 1 shows a frame formed according to the proposed method. 2, this frame is shown on an enlarged scale.
- the corresponding pixel of frame B n can be assigned the value of the same pixel of frame A. ”Then the new frame will look like that shown in FIG.
- a new frame is created in which a fixed background is eliminated, and in the initial display areas of the monitoring object, segments are created consisting of arrays of pixels whose position carries information about the direction and magnitude of the object's displacement.
- the external contours of these arrays repeat fragments of the contours of the monitoring objects.
- values are assigned to each pixel in a new frame, depending on the result of the logical analysis of the pairwise illumination difference in three consecutive frames of video stream A.
- each pixel is assigned different values depending on the result of the logical analysis of the pairwise illumination difference in several successive frames of the video stream / !. If the pixel i, j satisfies the condition:
- FIG. 1 A frame with track sections of monitoring objects formed according to the invention is shown in FIG. 1
- a new frame is formed as a result of processing a number of frames of the original video stream.
- the most informative will be the frame containing the display of the full track of the monitoring object.
- This frame can be formed as a result of processing the original frames with its display obtained during the time when the moving object was in the field of view of the camera. On this frame, the monitoring object itself and a table or graph with the parameters of its movement can also be displayed.
- the proposed monitoring method provides greater accuracy and higher speed in solving problems of detecting and tracking moving objects, as well as determining the speed of movement. Greater accuracy is due to the effective elimination of the effect of a fixed background, due to the use of at least three video frames, and the high speed is due to the simplicity of the algorithm, which allows the parallel execution of many uniform procedures.
- Figure 1 - shows the image of the objects of monitoring and the structure of the video frame, formed in accordance with the first variant of the proposed method.
- Figure 2 - shows an enlarged image of a video frame, formed in accordance with the first variant of the proposed method.
- On fig.Z - shows an enlarged image of the objects of monitoring and the structure of the video frame, formed in accordance with the second variant of the proposed method.
- Figure 4 shows the original video frames and the binary frame formed from them with the image of moving objects of monitoring with the fixed fixed background.
- Figure 5 - shows the original video frames and the frame formed from them with the image of moving objects of monitoring in shades of gray with the fixed fixed background.
- Figure 6 - shows the original video frames and the frame formed from them with the image of the tracks of a moving monitoring object with the fixed fixed background.
- 7 - shows the original video frames and video frames formed from them with images of tracks combined with the image of monitoring objects.
- Fig. 8 - the first, intermediate and last frame are shown containing the same monitoring objects, as well as the formed frame with the full tracks of these objects in the field of view of the camera.
- Figure 9 shows the first, intermediate and last frame containing the same monitoring objects, as well as the formed frame with the full tracks of these objects in the field of view of the camera with the image of objects on the intermediate frame.
- the video image of the monitoring objects can be presented in any suitable format, for example, MPEG4 and the like.
- the method can be used in real time with the processing of streaming video from the camera, as well as in the processing mode of the recorded video.
- Each frame contains an array of pixels. Each pixel is at the intersection; - th column and j '- th row. Each pixel has an illuminance value in the corresponding part of the captured image. Pixels can have luminance values in the color system, for example, RGB or in a black and white system.
- well-known smoothing techniques are used, for example, the Gauss algorithm or the median smoothing method.
- Embodiments of the present invention may be implemented as hardware, firmware, software for universal computers, or any combination thereof.
- Embodiments of the present invention can also be implemented as instructions stored on a machine-readable medium, which can be read and executed by one or more processors.
- a machine-readable medium may include any mechanism for storing or transmitting information in a form readable by a machine (for example, a computing device).
- the bold letter A with italics denotes the original video frame stream generated by the video camera.
- the letter ⁇ ⁇ denotes one of the frames of this video stream.
- Integer superscript denotes the frame number in the sample used to form new video frames.
- the letter A " j denotes the value of illumination in the pixel standing in frame A" in the column with the number / and in the row with the number /.
- the bold letter B with italics denotes a stream of video frames formed in accordance with some of the proposed methods.
- the letter ⁇ ⁇ denotes one of the frames of this video stream.
- Integer superscript indicates the frame number.
- the letter “B” denotes the value of illumination in the pixel standing in the frame "in the column with the number / and in the row with the number j. Frames and their constituent pixels, formed in accordance with other proposed methods, are similarly designated.
- Illumination values are considered to be practically equal, which differ by no more than the value of a predetermined threshold, which is further referred to as the indistinguishability threshold.
- the threshold value may vary, including automatically, depending on the lighting conditions, the presence of camera vibration and other external conditions that affect the stability of a fixed background.
- Typical local features or feature points include image areas, for example, vertices of corners or reference points of objects, which allow identifying a display fragment as belonging to the same element of the monitoring object represented on different frames of the video stream.
- characteristic features include image areas, for example, vertices of corners or reference points of objects, which allow identifying a display fragment as belonging to the same element of the monitoring object represented on different frames of the video stream.
- the first variant of the proposed method can be implemented by performing the following sequence of actions.
- the luminance level is detected only in the current pixels of frames A and, then an arbitrary value of Sz is assigned to the current pixel of the new frame and go to the pixels with the next index in order.
- the frames labeled pos. 1, 2 and 3 refer to frames A ", A" and A p +, respectively.
- the magnified frame B is shown in FIG.
- pixels with a value of C1 form a solid fixed background, which is denoted by pos. ten.
- Pixels with a C2 value form a track section of position 11, to which the front part of the monitoring objects will move in the direction of movement.
- Pixels with a value of Sz form a section of the track of position 12, from which a part of moving objects going backward in the direction of movement will go.
- Pixels with a value of C4 and C5 form segments of positions 13 and 14, fragments of which coincide with the image of the monitoring object.
- a fixed background can be effectively eliminated and only moving objects can be displayed.
- This option can be implemented by performing the following sequence of actions. 1
- three consecutive frames are allocated, for example, frames A, A, A, A + that go in series with a certain time interval and load them into the main memory.
- the current pixel of the new frame is assigned an arbitrary value of C2, which is related to the monitoring object, and is transferred to the pixels with the next indices in order.
- a binary frame B is obtained, which will look, for example, as in the figure shown in Fig. 4.
- the arrays of position 9 with the value C2 coincide with fragments of monitoring objects.
- the image of two or more consecutive frames of video stream A is converted into one frame L with the image of a track of monitoring objects.
- the track is an array of pixels along which the monitoring object was moving, displayed on the selected sequence of frames.
- This option can be implemented by performing the following sequence of actions.
- the current pixel of the new frame is assigned an arbitrary value of C2 belonging to the track of the monitoring objects and is transferred to the pixels with the next index in order.
- pos. 21, 22, 23 and 24 - designate the sequence of frames A 1 , A 2 , A 3 A 4 .
- Pos. 25 denotes the frame L.
- Pos. 26 designates the tracks along which the monitored objects moved.
- the values of pixels A) j , A j , etc. can be loaded into the corresponding pixels.
- the monitoring objects are shifted along their tracks, being within clearly defined boundaries. Along the boundaries of these tracks, you can build lines along which objects move.
- Such a representation makes it much easier to solve the problem of determining the direction and magnitude of the displacement of monitoring objects by any known methods, including the method of calculating the optical flux, the method of key points, gradient methods, etc.
- the optical flux in new frames can be considered similar to the laminar flow in a pipe with a constant cross section.
- a frame M is formed using a sequence m of frames that contain an image of the same object in the entire field of view of the video camera.
- Pos.41 marks the first frame, in which for the first time new objects of monitoring appeared in the field of view of the camera.
- Pos. 42 denotes the last frame containing the object of monitoring.
- Pos.43 are intermediate frames with the same monitoring objects.
- Pos. 44 denotes a frame formed in accordance with the proposed method.
- the frame M can be placed first, last or intermediate image of the monitoring object, assigning values to the corresponding pixels from the frame position 41, 42 or 43, for example, as shown for the intermediate image in Fig.9.
- Frame M can be formed separately for each object of monitoring of a video camera that came into view.
- a full or partial display of the monitoring object and its track obtained, for example, is placed in accordance with one of the proposed methods.
- a table or graph with the values of the coordinates and speed of the monitoring object, tied to the frame number of the video stream A or the corresponding timing.
- the proposed method can be used in the implementation of various devices and systems designed for video monitoring of moving objects.
- the proposed method can be used in specialized video cameras designed for use in traffic control systems, including with the participation of autonomous vehicles.
- the simplicity of the method allows you to create relatively cheap high-performance systems equipped with a large number of such cameras for continuous monitoring of large sections of the road network.
Abstract
Задачу мониторинга движущихся объектов с помощью видеокамер, решают путем формирования новых кадров из нескольких кадров исходного видеопотока. Пиксельное поле новых, кадров содержит массивы, отображающие неподвижный фон, движущиеся объекты и. их треки в поле зрения видеокамеры. Распределение пикселей по указанным массивам производится на основе логического анализа результатов попарного сравнения значений освещенности в одноименных пикселях выбранных кадров исходного видеопотока. В результате, исходные изображения трансформируется в бинарное или многоцветное изображение, состоящее из неподвижного фона в виде однородного поля, движущихся объектов в виде одно- или многоцветных фрагментов, а также треков, по которым перемещались объекты мониторинга, отображенные на выбранных для анализа видеокадрах. По границам треков легко построить линии, вдоль которых перемещаются объекты мониторинга. Это позволяет достаточно просто и точно оценить величину смещения объектов от кадра к кадру любым из известных способов, например, путем вычисления оптического потока. В случае жестких объектов, оптический поток в новых кадрах можно считать подобным ламинарному потоку в трубе с постоянным сечением.
Description
Способ мониторинга движущихся объектов
Область техники
Предлагаемое изобретение относится к технике видео мониторинга различных движущихся объектов, например, транспортных потоков, в том числе автомобильных потоков, в которых могут находиться беспилотные автомобили.
Предшествующий уровень техники
В развитие автономного транспорта вкладываются значительные средства, которые могут дать отдачу только при его широком использовании. Однако, безопасность транспортного потока, в котором будут перемещаться беспилотные транспортные средства, требует дальнейшего развития транспортной инфраструктуры для ограничения последствий страховых случаев и преодоления других препятствий широкого использования беспилотных транспортных средств. Важным элементом такой инфраструктуры являются интеллектуальные системы мониторинга транспортных потоков, использующие компьютерную обработку видеоинформации о состоянии транспортной среды. Такие системы могут расширить «поле зрения» автономных транспортных средств и предупредить о внезапном появлении на пути следования потенциально опасных объектов, если они закрыты впереди идущими автомобилями и не могут быть обнаружены встроенными сенсорами. Кроме того эти системы могут оперативно предоставить информацию о транспортном треке любого объекта транспортного потока. Такая информация обеспечит быстрый автоматический поиск различных объектов, включая криминальные, и позволит классифицировать объект по степени адекватности характера его движения сложившейся обстановке, в том числе оценить степень влияния «третьих лиц» на возникновение страховых случаев.
Системы мониторинга трафика на основе обработки видеоизображений и отслеживания транспортных средств были активной темой исследования в области компьютерного зрения и обработки изображений. Очевиден способ выявления контура объектов по линии, построенной по пикселям с одинаковым уровнем освещенности на участках монотонного роста и монотонного снижения освещенности, то есть на фронтальных участках рельефа освещенности. Однако, из-за непредсказуемого состояния светового фона и условий освещения объектов мониторинга, такой контур оказывается не стабильным и очень часто не соответствует реальному очертанию объектов мониторинга. Поэтому многие системы используют адаптивный метод вычитания фона при отслеживании движущихся транспортных средств. Вычитание фона является популярным
методом для отслеживания трека движущихся транспортных средств. Эти системы отличаются методами выделения и вычитания фона из захваченного кадра.
В патентном источнике WO 2008088409 А2, являющимся аналогом предлагаемого изобретения, предложен способ, который включает в себя прием множества видеокадров данных трафика. Обработка видеокадров состоит в вычитании фонового изображения из каждого видеокадра и формировании сегментированного изображения, в котором разделены области объектов, полос движения, промежутков между объектами и пограничные области.
В патентном источнике US 9251423 В2, являющимся прототипом предлагаемого изобретения отслеживаются изменения в смежных кадрах и, если изменения превышают пороговое значение, формируются векторы движения на основе оценки смещения объектов мониторинга при переходе к следующим кадрам.
Существенный недостаток аналога состоит в сложности выделения фонового изображения, которое зависит в основном от непредсказуемых изменений условий освещенности. Недостаток прототипа состоит в избыточной сложности определения границ объектов мониторинга при сохраняющейся зависимости погрешности оценки смещения захваченных объектов от непредсказуемых изменений внешней освещенности.
Таким образом, существует потребность в новых способах мониторинга движущихся объектов, в которых преодолены указанные недостатки.
Сущность изобретения
В соответствии с предлагаемым изобретением задачу мониторинга движущихся объектов с помощью видеокамер решают путем формирования из нескольких последовательных кадров исходного видеопотока новых видеокадров с простой структурой пиксельного поля, состоящего из нескольких массивов. Один из массивов - относят к неподвижному фону. В каждом пикселе этого массива примерно равны значения освещенности в трех последовательных кадрах исходного видеопотока А, например, в идущих последовательно с некоторым временным шагом кадрах А" , А" , и
Ап+ . Второй массив относят к пространству в поле зрения видеокамеры, которое займет передняя часть объекта мониторинга при переходе от кадра А" к кадру Ап+ . В каждом пикселе этого массива примерно равны освещенности в кадрах Ап и А" . Третий массив относят к пространству в поле зрения видеокамеры, которое освободит задняя часть объекта мониторинга при переходе от кадра А" к кадру А" . В каждом пикселе этого массива примерно равны освещенности в кадрах Ап и А"* . Четвертый массив относят к
части изображения объекта мониторинга в кадре А" , на которую не накладывается изображение объекта мониторинга на кадрах А" и Ап+ при совмещении этих трех кадров. В каждом пикселе этого массива примерно равны освещенности в кадрах А" и
Ап+ . Пятый массив относят к части изображения объекта мониторинга, в которой значения освещенностей в трех указанных кадрах достаточно сильно отличаются друг от друга.
Для примера на фиг.1 показан кадр, сформированный согласно предлагаемому способу. На фиг.2 этот кадр показан в увеличенном масштабе. Вместо значений С4 и С5 соответствующему пикселю кадра Вп может быть присвоено значение одноименного пикселя кадра А" . Тогда новый кадр будет выглядеть так как показано на фиг.З.
При реализации предлагаемого способа создают новый кадр, в котором устраняется неподвижный фон, а в местах исходного отображения объекта мониторинга создают сегменты, состоящие из массивов пикселей, положение которых несет информацию о направлении и величине смещения объекта. При этом внешние контуры этих массивов повторяют фрагменты контуров объектов мониторинга.
Для формирования изображения состоящего из двух массивов пикселей, в новом кадре каждому пикселю присваивают значения в зависимости от результата логического анализа попарной разности освещенности в трех последовательных кадрах видеопотока А.
Если в пикселе /,/ выполняется условие:
((I А;- - А } \< S)or{\ - 4"J |< δ)) = true λ где: δ - порог неразличимости значений освещенности,
or - логическая операция «или»,
true - признак истинности,
то ему присваивают постоянное значение, относящееся к неподвижному фону, в противном случае ему присваивают другое значение, которое относят к объекту мониторинга. Сформированный таким образом кадр показан на фиг 4. Если при невыполнении условия 1 пикселю i, j кадра В" присвоить значение пикселя A" j з то новый кадр будет выглядеть так, как показано на фиг.5.
Для отображения треков объектов мониторинга в новом кадре каждому пикселю присваивают различные значения в зависимости от результата логического анализа попарной разности освещенности в нескольких последовательных кадрах видеопотока/!.
Если в пикселе i,j выполняется условие:
((I 42, - А) . |< S) & (I Al - A |< δ) & (I , - A |< δ) & ) = true 2 где: A) j , А , и т.д. - значения освещенности в одноименных пикселях в последовательных кадрах видеопотока А
- δ— порог неразличимости значений освещенности,
-& - конъюнкция (логическая операция «и»),
true— признак истинности,
то ему присваивают значение, относящееся к неподвижному фону, в противном случае, ему присваивают другое постоянное значение, которое относят к треку объекта мониторинга. Кадр с участками треков объектов мониторинга, сформированными согласно предлагаемому изобретению показан на фиг.6.
Согласно предлагаемому способу новый кадр формируется в результате обработки ряда кадров исходного видеопотока. Наиболее информативным будет кадр, содержащий отображение полного трека объекта мониторинга. Этот кадр может быть сформирован в результате обработки исходных кадров с его отображением, полученных за время, когда движущийся объект находился в поле зрения камеры. На этом кадре может быть отображен также сам объект мониторинга и таблица или график с параметрами его движения.
Таким образом, в отличие от известных способов мониторинга, для распознавания и трекинга движущихся объектов предлагается использовать новые кадры, которые формируется из нескольких кадров исходного видеопотока на основе логического анализа результатов попарного сравнения значений освещенности в одноименных пикселях исходных видеокадров.
По сравнению с аналогом и прототипом предлагаемый способ мониторинга обеспечивает большую точность и более высокое быстродействие при решении задач обнаружения и слежения за движущимися объектами, а также определения скорости движения. Большая точность обусловлена эффективным устранением влияния неподвижного фона, благодаря использованию не менее трех видеокадров, а высокое быстродействие объясняется простотой алгоритма, допускающего параллельное выполнение множества однообразных процедур.
Краткое описание чертежей
На фиг.1 - показано изображение объектов мониторинга и структура видеокадра, сформированного в соответствии с первым вариантом предлагаемого способа.
На фиг.2 - показано увеличенное изображение видеокадра, сформированного в соответствии с первым вариантом предлагаемого способа.
На фиг.З - показано увеличенное изображение объектов мониторинга и структура видеокадра, сформированного в соответствии со вторым вариантом предлагаемого способа.
На фиг.4 - показаны исходные видеокадры и сформированный из них бинарный кадр с изображением движущихся объектов мониторинга с устраненным неподвижным фоном.
На фиг.5 - показаны исходные видеокадры и сформированный из них кадр с изображением движущихся объектов мониторинга в оттенках серого с устраненным неподвижным фоном.
На фиг.6 - показаны исходные видеокадры и сформированный из них кадр с изображением треков движущихся объекта мониторинга с устраненным неподвижным фоном.
На фиг.7 - показаны исходные видеокадры и сформированные из них видеокадры с изображениями треков, совмещенных с изображением объектов мониторинга.
На фиг.8 - показаны первый, промежуточный и последний кадр, содержащие одинаковые объекты мониторинга, а так же сформированный кадр с полными треками этих объектов в поле зрения камеры.
На фиг.9 - показан первый, промежуточный и последний кадр, содержащие одинаковые объекты мониторинга, а так же сформированный кадр с полными треками этих объектов в поле зрения камеры с изображением объектов на промежуточном кадре.
Осуществление изобретения
Видеоизображение объектов мониторинга может представляться в любом подходящем формате, например, MPEG4 и тому подобное. Способ может быть использован в режиме реального времени с обработкой потокового видео с камеры, а также в режиме обработки записанного видео. Каждый кадр содержит массив пикселей. Каждый пиксель находится на пересечении ; - го столбца и j ' - й строки. Каждый пиксель имеет значение освещенности в соответствующей части захваченного изображения. Пиксели могут иметь значения освещенности в цветовой системе, например, RGB или в черно-белой системе. Для устранения влияния шумовых выбросов на захваченных изображениях применяются хорошо известные приемы сглаживания, например, алгоритм Гаусса или медианный метод сглаживания.
Варианты осуществления настоящего изобретения могут быть реализованы в виде аппаратных средств, встроенного программного обеспечения, программного обеспечения для универсальных компьютеров или любой их комбинации. Варианты осуществления настоящего изобретения также могут быть реализованы в виде инструкций, хранящихся на машиночитаемом носителе, которые могут быть считаны и исполнены одним или несколькими процессорами. Машиночитаемый носитель может включать в себя любой механизм для хранения или передачи информации в форме, считываемой машиной (например, вычислительное устройство).
Определение некоторых обозначений, понятий и терминов, используемых при описании.
Полужирной буквой А с курсивом обозначен исходный поток видеокадров, создаваемый видеокамерой. Буквой А^ обозначен один из кадров этого видеопотока. Целочисленный верхний индекс обозначает номер кадра в выборке, используемой для формирования новых видеокадров. Буквой A" j обозначено значение освещенности в пикселе, стоящем в кадре А" в столбце с номером / и в строке с номером /.
Полужирной буквой В с курсивом обозначен поток видеокадров, формируемый в соответствии с некоторыми из предлагаемых способов. Буквой В^ обозначен один из кадров этого видеопотока. Целочисленный верхний индекс обозначает номер кадра.
Буквой В" , обозначено значение освещенности в пикселе, стоящем в кадре В" в столбце с номером / и в строке с номером j. Аналогичным образом обозначены кадры и составляющие их пиксели, формируемые в соответствии с другими предлагаемыми способами.
Практически равными считаются значения освещенности, которые отличаются не более чем на величину заранее заданного порога, который называется далее порогом неразличимости. Величина порога может изменяться, в том числе автоматически, в зависимости от условий освещенности, наличия вибрации камеры и других внешних условий, влияющих на стабильность неподвижного фона.
Характерные локальные признаки или особые точки включают в себя участки изображения, например, вершины углов или опорные точки объектов, которые позволяют идентифицировать фрагмент отображения как относящийся к одному и тому же элементу объекта мониторинга, представленному на различных кадрах видеопотока. В литературе встречаются такие названия характерных признаков:
б
- характеристические точки;
- особенности;
- локальные особые точки;
- точки интереса;
- ключевые точки;
- features.
Первый вариант предлагаемого способа может быть реализован путем выполнения следующей последовательности действий.
1. В потоке видеокадров выделяют три последовательных кадра, например, идущие последовательно с некоторым временным интервалом кадры А" , А" , А"+ , и загружают их в оперативную память.
2. Выделяют память для нового кадра В" .
3. Последовательно выбирают пиксели с одинаковыми индексами /', j в каждом из трех кадров и производят попарное сравнение значений освещенности для каждого цвета и/или другой характеристики светового поля, зафиксированного камерой в этом пикселе. Допускается для сокращения числа сравнений и упрощения логических процедур перед сравнением производить усреднение всех показателей освещенности и переводить их в уровень серого цвета.
4. Если в результате попарного сравнения выявляют совпадение уровня освещенности в пределах порога неразличимости в текущем пикселе трех кадров, то текущему пикселю нового кадра присваивают произвольное значение С1 и переходят к пикселям со следующим по порядку индексом.
5. Если в результате попарного сравнения выявлено совпадение уровня освещенности только в текущих пикселях кадров А" и А" , то текущему пикселю нового кадра присваивают произвольное значение С2 и переходят к пикселям со следующим по порядку индексом.
6. Если в результате попарного сравнения выявлено совпадение уровня освещенности только в текущих пикселях кадров Л и , то текущему пикселю нового кадра присваивают произвольное значение СЗ и переходят к пикселям со следующим по порядку индексом.
7. Если в результате попарного сравнения выявлено совладение уровня освещенности только в текущих пикселях кадров А" и А"+ , то текущему пикселю
нового кадра присваивают произвольное значение С4 и переходят к пикселям со следующим по порядку индексом.
8. Если в результате попарного сравнения не выявлено ни одного совпадения уровня освещенности, то текущему пикселю нового кадра присваивают произвольное значение С5 и переходят к пикселям со следующим по порядку индексом,
9. После перебора всех пикселей выгружают новый кадр В" в выходной видеофайл В.
Реализация этого варианта показана на фиг.1. Кадры, обозначенные поз.1, 2 и 3 относятся к кадрам А" , А" и Ап+ соответственно. Кадр Вп обозначен поз.4.
Увеличенный кадр В" показан на фиг.2.
На этом кадре пиксели со значением С1 образуют сплошной неподвижный фон, который обозначен поз. 10.
Пиксели со значением С2 образуют участок трека поз.11, на который перейдет передняя по направлению движения часть объектов мониторинга. Пиксели со значением СЗ образуют участок трека поз.12, с которого уйдет задняя по направлению движения часть движущихся объектов. Пиксели со значением С4 и С5 образуют сегменты поз.13 и поз.14, фрагменты которых совпадают с изображением объекта мониторинга.
Для оценки смещения в данном конкретном примере объекта мониторинга в виде автомобилей, удобно использовать характерные локальные признаки поз.16 и поз.17, расположенные в местах контакта колес с дорожным покрытием. Масштаб пикселей отображающих дорожное полотно не зависит от размеров объекта мониторинга, поэтому можно обеспечить хорошую точность оценки смещения при учете проективных изменений масштаба. Методы обнаружения характерных (особых, характеристических, ключевых, featres) точек хорошо известны специалистам в области компьютерного зрения.
Вместо значений С4 и С5 соответствующему пикселю кадра В" можно присвоить значение одноименного пикселя кадра А" , тогда этот кадр будет выглядеть, например, так, как показано на фиг.З.
В другом варианте реализации предлагаемого способа мониторинга может быть эффективно устранен неподвижный фон и обеспечено отображение только движущихся объектов. Этот вариант может быть реализован путем выполнения следующей последовательности действий.
1 В исходном видеопотоке выделяют три последовательных кадра, например, идущие последовательно с некоторым временным интервалом кадры А" , А" , А"+ , и загружают их в оперативную память.
2 Выделяют память для нового кадра В" .
3 Последовательно выбирают пиксели с одинаковыми индексами /, j в каждом из трех кадров и производят сравнение значений освещенности сначала в паре
А"~ ,A"j , затем в паре A"J ,A" . Допускается для сокращения числа сравнений и упрощения логических процедур перед сравнением производить усреднение всех показателей освещенности и переводить их в уровень серого цвета.
4 Если в результате попарного сравнения выявляют совпадение уровня освещенности в пределах порога неразличимости хотя бы в одной паре кадров, то текущему пикселю нового кадра присваивают произвольное значение С1, относящееся к неподвижному фону, и переходят к пикселям со следующим по порядку индексом.
5 Если совпадений не выявлено, то текущему пикселю нового кадра присваивают произвольное значение С2, относящемуся к объекту мониторинга и переходят к пикселям со следующими по порядку индексами.
6 После перебора всех пикселей выгружают новый кадр В" в выходной видеофайл В.
В результате этих действий, эквивалентных логической операции «или» над результатами попарного сравнения освещенностей в выбранных кадрах, получают бинарный кадр В" , который будет выглядеть, например, так как на рисунке, показанном на фиг.4. Массивы пикселей поз.9 со значением С2, совпадают с фрагментами объектов мониторинга. По положению характерных точек этих массивов на смежных кадрах В можно определить направление и величину смещения объектов мониторинга.
При реализации этого варианта целесообразно выбирать временной интервал между кадрами А" , А" , Ап+ таким образом, чтобы изображения объекта мониторинга не накладывались друг на друга при совмещении выбранных кадров. При выполнении этого условия хорошо детектируются движущиеся объекты с равномерно окрашенными поверхностями. В случае слабого смещения изображения таких объектов при переходе от кадра к кадру, большие участки таких поверхностей, совмещаясь друг с другом, оказываются неразличимыми и воспринимаются при обработке как неподвижный фон. В
результате изображение движущегося объекта на кадре В" может оказаться изрезанным на отдельные фрагменты.
При реализации этого варианта можно присвоить вместо значений С2 соответствующим пикселям кадра В" значения одноименных пикселей кадра А" , как показано на фиг.5. В этом случае вместо бинарного отображения можно получить изображение в оттенках серого или полноцветное изображение объекта мониторинга с устраненным неподвижным фоном.
В следующем варианте реализации предлагаемого способа мониторинга движущихся объектов изображение двух и более последовательных кадров видеопотока А преобразуют в один кадр L с изображением трека объектов мониторинга. Трек представляет собой массив пикселей, по которым двигался объект мониторинга, отображенный на выбранной последовательности кадров.
Этот вариант может быть реализован путем выполнения следующей последовательности действий.
1. В исходном видеопотоке А выделяют два или более последовательных кадра, например, четыре: А1 , А2 , А и А4 .
2. Выделяют память для нового кадра /,.
3. Последовательно выбирают пиксели с одинаковыми индексами в каждом из четырех кадров и производят попарное сравнение значений освещенности в парах пикселей A) j— Afy , A — A j и Afj— A j . Допускается для сокращения числа сравнений и упрощения логических процедур перед сравнением производить усреднение всех показателей освещенности и переводить их в уровень серого цвета.
4. Если в результате попарного сравнения выявляют совпадение уровня освещенности в пределах порога неразличимости во всех парах кадров, то текущему пикселю нового кадра присваивают произвольное значение С1, относящееся к неподвижному фону, и переходят к пикселям со следующим по порядку индексом.
5. Если совпадений не выявлено хотя бы в одной паре кадров, то текущему пикселю нового кадра присваивают произвольное значение С2, относящемуся к треку объектов мониторинга и переходят к пикселям со следующим по порядку индексом.
6. После перебора всех пикселей в новом кадре L будут сформированы треки объектов мониторинга, находившихся в поле зрения камеры и отображенных в кадрах
A1 , A2 , A' w А4 .
В результате этих действий, эквивалентных конъюнкции всех результатов попарного сравнения освещенностей в выбранной последовательности исходных кадров, новый кадр L будет выглядеть, например, так, как показано на фиг.6.
На этом рисунке поз. 21, 22, 23 и 24 - обозначают последовательность кадров А1 , А2 , А3 А4.
Поз. 25 обозначает кадр L.
Поз. 26 обозначает треки, по которым смещались объекты мониторинга.
Вместо произвольного значения С2 при формировании кадра L в соответствующие пиксели можно загружать значения пикселей A)j , A j и т.д. В этом случае можно сформировать последовательность кадров LI, L2, L3 и L4, показанных на фиг.7 и обозначенных поз.31, 32, 33 и 34 соответственно. На этих кадрах объекты мониторинга смещаются по своим трекам, находясь в четко очерченных границах. По границам этих треков можно построить линии, вдоль которых происходит смещение объектов. Такое представление значительно облегчает решение задачи определения направления и величины смещения объектов мониторинга любыми известными методами, включая метод вычисления оптического потока, метод ключевых точек, градиентные методы и т.д. Причем в случае жестких объектов, оптический поток в новых кадрах можно считать подобным ламинарному потоку в трубе с постоянным сечением.
В следующем варианте реализации предлагаемого способа формируют кадр М с использованием последовательности т кадров, которые содержат изображение одного и того же объекта во всем поле зрения видеокамеры. На фиг.8 показан сформированный таким образом кадр с полным треком нескольких автомобилей, одновременно находившихся в поле зрения видеокамеры. Поз.41 обозначен первый кадр, на котором впервые в поле зрения камеры появились новые объекты мониторинга. Поз. 42 обозначен последний кадр, содержащий объект мониторинга. Поз.43 обозначены промежуточные кадры с теми же объектами мониторинга. Поз. 44 обозначен кадр , сформированный в соответствии с предлагаемым способом.
Для наглядности на кадре М можно поместить первое, последнее или промежуточное изображение объекта мониторинга, присваивая соответствующим пикселям значения из кадров поз.41, 42 или 43, например, так, как показано для промежуточного изображения на фиг.9. Кадр М может быть сформирован отдельно для каждого объекта мониторинга попавшего в поле зрения видеокамеры.
В следующем варианте реализации предлагаемого способа для формирования нового кадра используют все или некоторые последовательные кадры исходного видеопотока, содержащие изображение одного и того же движущегося объекта мониторинга. На этом кадре размещают полное или частичное отображение объекта мониторинга и его трека полученные, например, в соответствии с одним из предложенных способов. Кроме того на кадре размещают таблицу или график с значениями координат и скорости объекта мониторинга, привязанных к номеру кадра видеопотока А или соответствующему отсчету времени.
Это позволяет отобразить информацию о внешнем виде, траектории и параметрах движения объекта мониторинга, полученную из десятков видеокадров, на одном компактном кадре. Благодаря компактности может быть обеспечено накопление и хранение больших объемов таких кадров. Эти кадры могут соединяться для слежения за каждым объектом, попавшим в поле зрения системы наблюдения, в которой первичная видеоинформация от большого числа видеокамер обрабатывается предлагаемыми способами.
Промышленная применимость
Из представленного описания понятно как предлагаемый способ может быть использован при реализации различных устройств и систем, предназначенных для видеомониторинга движущихся объектов. Например, благодаря высокой информативности и малому объему, занимаемому вновь сформированными кадрами, предлагаемый способ может применяться в специализированных видеокамерах, предназначенных для использования в системах контроля дорожного движения, в том числе с участием автономных транспортных средств. Простота способа позволяет создавать относительно дешевые высокоэффективные системы, снабженные большим числом таких видеокамер для непрерывного мониторинга больших участков дорожной сети.
В системах транспортного мониторинга, построенных с использованием предлагаемых способов, можно обеспечить автоматическую выборку детальной информации для анализа дорожной обстановки и построения треков транспортных средств, находившихся в одной пространственно-временной окрестности связанной, например, с транспортным происшествием.
Claims
Формула изобретения
Пункт 1. Способ мониторинга движущихся объектов с помощью видеокамеры, которая создает поток видеокадров для отображения в реальном времени или для записи в видеофайл, отличающийся тем, что для решения задачи детектирования движущихся объектов, их сегментации, трекинга, а также для оценки направления и величины смещения объектов мониторинга поток видеокадров обрабатывают в следующей последовательности:
- пиксельное поле кадра А" потока видеокадров А преобразуют в пиксельное поле кадра В" нового потока видеокадров В, для чего сравнивают значения освещенностей в каждом пикселе кадра А" с значениями освещенности в тех же пикселях в одном из предшествующих кадров А" и в одном из следующих кадров Ап+ потока видеокадров А и, в зависимости от результата сравнения, присваивают одноименному пикселю в кадре
В" одно из пяти произвольных, различных и фиксированных значений С:
- С1, если пиксели в кадрах А" , А", и А"* имеют практически равные значения освещенности;
- С2, если пиксели в кадрах А" и А" имеют практически равные значения освещенности;
- СЗ, если пиксели в кадрах А" и Ап+ имеют практически равные значения освещенности;
- С4, если пиксели в кадрах А" и А"+ имеют практически равные значения освещенности;
- С5, если пиксели в кадрах А" , А" , и А"+ имеют различные значения освещенности;
- пиксели со значением С1 относят к неподвижному фону;
- пиксели со значениями С4 и С5 относят к сегменту, связанному с движущимся объектом;
- пиксели со значением С2 относят к участку трека, который займет передняя по направлению движения часть объекта в кадре Ап+ ;
- пиксели со значением СЗ относят к участку трека, который освободит задняя по направлению движения часть объекта в кадре А" ;
- направление смещения объектов определяют по положению пикселей со значениями С2 и СЗ;
- величину смещения объектов определяют путем оценки смещения пикселей в сопоставимых областях с характерными локальными признаками и с различными значениями С в текущем кадре или с одинаковым значением С в смежных кадрах потока видеокадров В.
Пункт 2. Способ мониторинга движущихся объектов по л.1, отличающийся тем, что вместо значений С4 и С 5 соответствующему пикселю кадра В" присваивают значение одноименного пикселя кадра А" .
Пункт 3. Способ мониторинга движущихся объектов с помощью видеокамеры, отличающийся тем, что пиксельное поле трех последовательных кадров А" , А" и Ап+ потока видеокадров А преобразуют в пиксельное поле кадра В" нового потока видеокадров В, при этом пикселям нового кадра присваивают различные значения в зависимости от результата логического анализа попарной разности освещенности в трех последовательных кадрах видеопотока А, причем, если в пикселе i, j выполняется условие:
((I - 4"j S)or{\ - ; |< S)) = true
где: 5 - порог неразличимости значений освещенности,
or - логическая операция «или»,
true - признак истинности,
то в кадре В" пикселю , j присваивают постоянное значение, относящееся к неподвижному фону, в противном случае ему присваивают другое постоянное значение, которое относят к объекту мониторинга.
Пункт 4. Способ мониторинга движущихся объектов по п.З, отличающийся тем, что при невыполнении условия, указанного в п.З, пикселю /, j кадра В" присваивают значение пикселя А" } .
Пункт 5. Способ мониторинга движущихся объектов с помощью видеокамеры, отличающийся тем, что пиксельное поле двух или более кадров потока видеокадров А преобразуют в пиксельное поле кадра L, при этом пикселям нового кадра присваивают различные значения в зависимости от результата логического анализа попарной разности освещенности в последовательных кадрах видеопотока А, причем, если в пикселе , j выполняется условие:
& 4J -4 \< S) = true i
k=2
где δ - порог неразличимости значений освещенности;
/ - число кадров,
к=1
& - конъюнкция /-1 переменных,
к=2
true^- признак истинности,
то в кадре L пикселю /, j присваивают значение, относящееся к неподвижному фону, в противном случае, ему присваивают другое постоянное значение, которое относят к трекам объектов мониторинга.
Пункт 6. Способ мониторинга движущихся объектов по п.5, отличающийся тем, что выборку из последовательных кадров А г А , и т.д. потока видеокадров А преобразуют в последовательность кадров I^, 2, и т.д. причем, при невыполнении условия, указанного в п.5, пикселю I^j присваивают значение пикселя Ai . 5 пикселю
L присваивают значение пикселя и т.д.
Пункт 7. Способ мониторинга движущихся объектов, отличающийся тем, что пиксельное поле всех или некоторых последовательных кадров видеопотока А, которые содержат один и тот же движущийся объект мониторинга, преобразуют в пиксельное поле кадра , при этом пикселям нового кадра присваивают различные значения в зависимости от результата логического анализа попарной разности освещенности в указанных кадрах видеопотока А, причем, если в пикселе i, j выполняется условие:
где δ - порог неразличимости значений освещенности;
т - число кадров, содержащих один и тот же объект мониторинга,
$ - конъюнкция т-1 переменных, true - признак истинности,
то в кадре М пикселю /, j присваивается значение, относящееся к неподвижному фону, в противном случае ему присваивается другое постоянное значение, которое относят к треку, пройденному объектом мониторинга в поле зрения видеокамеры.
Пункт 8. Способ мониторинга движущихся объектов по п.7, отличающийся тем, что при наличии в поле зрения видеокамеры нескольких движущихся объектов мониторинга, для каждого из них формируют отдельный кадр М, содержащий трек одного объекта.
Пункт 9. Способ мониторинга движущихся объектов по п. 7 или 8, отличающийся тем, что при невыполнении условия, указанного в п.7 пикселю i, j в кадре , присваивают значения пикселей j одного из кадров видеопотока А, содержащих объект мониторинга.
Пункт 10. Способ мониторинга движущихся объектов, отличающийся тем, что все или некоторые последовательные кадры исходного видеопотока А, содержащие изображение одного и того же движущегося объекта мониторинга, используют для формирования нового кадра, в котором размещают отображение трека объекта мониторинга в поле зрения камеры, полное или фрагментарное изображение объекта мониторинга, а так же таблицу или график с значениями координат и скорости объекта мониторинга, привязанных к номеру кадра видеопотока А или соответствующему отсчету времени.
Пункт 11. Видеокамера, отличающаяся тем, что выходной видеопоток и/или видеофайл содержит кадры В" , формируемые в соответствии с п.1...п.4 или кадры L, формируемые в соответствии с п.5 или п.6 или кадры , формируемые в соответствии с п.7, п.8, п.9 или кадр, формируемый в соответствии с п.10.
Пункт 12. Система видеомониторинга движущихся объектов, отличающаяся тем, что детектирование, трекинг и оценка скорости движения объектов мониторинга производится в ней с использованием кадров В " , формируемых в соответствии с п.1... п.4 или кадров L, формируемых в соответствии с п.5 или п.6 или кадров , формируемых в соответствии с п.7, п.8, п.9.
Пункт 13 Система видеомониторинга движущихся объектов, отличающаяся тем, что исходная информации, получаемая от одной или нескольких видеокамер, используется для отображения в виде кадров, формируемых в соответствии со способом по п.10.
Пункт 14. Система видеомониторинга движущихся объектов, отличающаяся тем, что в ней используются одна или более видеокамер по п.11.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2017/000628 WO2019045586A1 (ru) | 2017-08-30 | 2017-08-30 | Способ мониторинга движущихся объектов |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2017/000628 WO2019045586A1 (ru) | 2017-08-30 | 2017-08-30 | Способ мониторинга движущихся объектов |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019045586A1 true WO2019045586A1 (ru) | 2019-03-07 |
Family
ID=65527737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2017/000628 WO2019045586A1 (ru) | 2017-08-30 | 2017-08-30 | Способ мониторинга движущихся объектов |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019045586A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258551A (zh) * | 2020-03-18 | 2021-01-22 | 北京京东振世信息技术有限公司 | 一种物品掉落检测方法、装置、设备及存储介质 |
| CN112991280A (zh) * | 2021-03-03 | 2021-06-18 | 望知科技(深圳)有限公司 | 视觉检测方法、系统及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030210807A1 (en) * | 2002-05-09 | 2003-11-13 | Satoshi Sato | Monitoring device, monitoring method and program for monitoring |
| JP2004110280A (ja) * | 2002-09-17 | 2004-04-08 | Toa Corp | 移動物体検出装置 |
| JP2005236724A (ja) * | 2004-02-20 | 2005-09-02 | Victor Co Of Japan Ltd | 撮像装置および動き検出方法 |
| CN105574891A (zh) * | 2015-12-11 | 2016-05-11 | 上海兴芯微电子科技有限公司 | 检测图像中的运动目标的方法及系统 |
-
2017
- 2017-08-30 WO PCT/RU2017/000628 patent/WO2019045586A1/ru active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030210807A1 (en) * | 2002-05-09 | 2003-11-13 | Satoshi Sato | Monitoring device, monitoring method and program for monitoring |
| JP2004110280A (ja) * | 2002-09-17 | 2004-04-08 | Toa Corp | 移動物体検出装置 |
| JP2005236724A (ja) * | 2004-02-20 | 2005-09-02 | Victor Co Of Japan Ltd | 撮像装置および動き検出方法 |
| CN105574891A (zh) * | 2015-12-11 | 2016-05-11 | 上海兴芯微电子科技有限公司 | 检测图像中的运动目标的方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258551A (zh) * | 2020-03-18 | 2021-01-22 | 北京京东振世信息技术有限公司 | 一种物品掉落检测方法、装置、设备及存储介质 |
| CN112258551B (zh) * | 2020-03-18 | 2023-09-05 | 北京京东振世信息技术有限公司 | 一种物品掉落检测方法、装置、设备及存储介质 |
| CN112991280A (zh) * | 2021-03-03 | 2021-06-18 | 望知科技(深圳)有限公司 | 视觉检测方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6709283B2 (ja) | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 | |
| US10037604B2 (en) | Multi-cue object detection and analysis | |
| US10880524B2 (en) | System and method for activity monitoring using video data | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| CN109242884B (zh) | 基于JCFNet网络的遥感视频目标跟踪方法 | |
| JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
| JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| TW202101371A (zh) | 視訊流的處理方法和裝置 | |
| US20120263346A1 (en) | Video-based detection of multiple object types under varying poses | |
| JP2014071902A5 (ru) | ||
| Hu et al. | Learning a spatio-temporal embedding for video instance segmentation | |
| Pini et al. | Video synthesis from intensity and event frames | |
| Rashed et al. | Bev-modnet: Monocular camera based bird's eye view moving object detection for autonomous driving | |
| WO2019045586A1 (ru) | Способ мониторинга движущихся объектов | |
| CN112085767A (zh) | 一种基于深度光流跟踪的客流统计方法及系统 | |
| US10719942B2 (en) | Real-time image processing system and method | |
| Zhang et al. | Boosting the speed of real-time multi-object trackers | |
| Jeyabharathi et al. | A novel Rotational Symmetry Dynamic Texture (RSDT) based sub space construction and SCD (Similar-Congruent-Dissimilar) based scoring model for background subtraction in real time videos | |
| Quang et al. | Vietnamese vehicles speed detection with video-based and deep learning for real-time traffic flow analysis system | |
| Sankaranarayanan et al. | Improved Vehicle Detection Accuracy and Processing Time for Video Based ITS Applications | |
| Wu et al. | Gradient map based Lane detection using CNN and RNN | |
| RU2695708C2 (ru) | Способ определения скорости по видео | |
| Islam et al. | Non-Lane Based Heterogeneous Traffic State Measurement using Robust Vision System | |
| Biswas et al. | Dynamic method to optimize memory space requirement in real-time video surveillance using convolution neural network | |
| Buddhi et al. | Desktop Application-Interactive Zira Voice Assistant |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17923971 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17923971 Country of ref document: EP Kind code of ref document: A1 |