WO2024063667A1 - Detecting objects in real time - Google Patents

Detecting objects in real time Download PDF

Info

Publication number
WO2024063667A1
WO2024063667A1 PCT/RU2023/050080 RU2023050080W WO2024063667A1 WO 2024063667 A1 WO2024063667 A1 WO 2024063667A1 RU 2023050080 W RU2023050080 W RU 2023050080W WO 2024063667 A1 WO2024063667 A1 WO 2024063667A1
Authority
WO
WIPO (PCT)
Prior art keywords
thermal imaging
imaging module
computing unit
real time
image
Prior art date
Application number
PCT/RU2023/050080
Other languages
French (fr)
Russian (ru)
Inventor
Максим Викторович ВЕРЮТИН
Юрий Викторович ИВАНОВ
Original Assignee
Общество с ограниченной ответственностью "Интегрированные электронно-оптические системы"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2022124830A external-priority patent/RU2802280C1/en
Application filed by Общество с ограниченной ответственностью "Интегрированные электронно-оптические системы" filed Critical Общество с ограниченной ответственностью "Интегрированные электронно-оптические системы"
Publication of WO2024063667A1 publication Critical patent/WO2024063667A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals

Definitions

  • the group of inventions “System and method for data processing and object recognition in real time” makes it possible to implement intelligent image processing - an object recognition algorithm - on a processor as part of a thermal imaging module and combine video shooting and video analytics in one device.
  • the group of inventions relates to electronic instrumentation and is intended for widespread use in such areas as security systems, ADAS systems (Advanced Driver Assistance Systems) - intelligent assistance systems for car drivers, mobile robotics, including UAVs (unmanned aerial vehicle), and DR-
  • the utility model THERMAL IMAGING DEVICE is known (patent document RU184553U1).
  • the utility model relates to the field of optoelectronic instrument making.
  • the thermal imaging device contains a multi-element photodetector device, a lens for forming a PC image in the plane of the sensitive elements of the multi-element photodetector device, combined modules with unified interfaces consisting of: a signal pre-processing module, a control module, an electronic processing module, a power supply module and an interface module.
  • Multi-element photodetector and signal pre-processing module 1 There is a supporting bracket with a detachable holder and tightening screws, a bushing with an outer diameter corresponding to the inner diameter of the holder and an internal thread corresponding to the mounting thread of the lens, a shutter, a threaded frame with an external thread corresponding to the internal thread of the bushing.
  • the sleeve with the lens installed in it and the threaded frame with the shutter installed in it are installed in the carrier bracket cage.
  • Multi-element photodetector and signal pre-processing module 1 Multi-element photodetector and signal pre-processing module 1
  • SUBSTITUTE SHEET located on the first board, the control module and electronic processing module on the second board, and the power and interface module on the third board.
  • the end surface of the threaded frame and the first board have uniformly spaced holes.
  • the holes in the frame are threaded with screws installed in them to secure the first board.
  • the first, second and third boards have holes uniformly located at their corners and there are pins that tighten the first, second and third boards installed in series through cylindrical bushings.
  • the first board faces the receiving platform of the multi-element photodetector towards the lens, and the boards are electrically connected by mezzanine-type connectors located on them.
  • the technical result consists in increasing the technical characteristics of the TVP: increasing image clarity, reducing the weight and volume of the TVP, reducing the minimum resolved temperature difference, improving image quality, increasing performance, enabling operation in the thermal range of 8... 14 microns.
  • the invention is known UNIFIED THERMAL IMAGING DEVICE (patent document RU2420770C1).
  • the device contains a multi-element photodetector device, an optical system for forming an IR image in the plane of the sensitive elements of the multi-element photodetector device, a cooling system and an information processing unit combined on a single supporting frame, and a video control device for visualizing a thermal image.
  • the combined elements are made in the form of modules with unified interfaces.
  • the combined modules include a signal pre-processing module, a cooling system control module, a control interface module, a control device and a power module.
  • the information processing unit is designed as an electronic processing module.
  • the electronic processing module provides communications between the signal pre-processing module, the cooling system control module, the control interface module, the power module and the video control device.
  • the control device is connected to the control interface module and the video monitoring device.
  • SUBSTITUTE SHEET (RULE 26)
  • the disadvantage of this invention in comparison with the presented solution is the large number of modules in the system, which can reduce the speed of signal processing, while in the presented solution the number of processing units is lower, but their operation is more efficient.
  • a known invention is a DEVICE FOR FORMING AND CONTROLLING SIGHTING SCALES (patent document RU2700034C2).
  • the invention relates to optical-electronic technology and can be used in various sighting and observation devices equipped with both optical and thermal imaging sighting and observation channels.
  • the device contains a ballistics mechanism designed for entering aiming angles in the optical channel, an analog potentiometer, a low-pass filter, a microcontroller and a reticle motor with its own control unit, a thermal imaging sighting and observation channel, and for forming sighting signs and scales of the thermal imaging channel on the microdisplay and providing control signs and scales use a thermal imaging module and a microdisplay.
  • an LVDS/TTL video signal converter In the case of transmitting a video signal in digital format, an LVDS/TTL video signal converter, a programmable logic integrated circuit FPGA, a microcontroller and random access memory RAM are used, and in the case of transmitting a video signal in analog format, a synchronization allocation circuit, RAM, a microcontroller, FPGA and a circuit for adding aiming marks are used. and scales.
  • the invention eliminates manual control of input of aiming angles, improves the accuracy of alignment of aiming marks and scales, as well as the formation of aiming marks and scales and automatic control of marks and scales in optical-electronic paths.
  • the image signal processing device includes a channel converter for dividing the input signal stream, which includes image signals, generated by many pixels, into processing units and
  • SUBSTITUTE SHEET (RULE 26) generating a plurality of signal processing units, an image signal processing core including a plurality of channel image processing units, each of which performs an image signal processing operation and generates a plurality of output unit signals by receiving and processing the plurality of output unit signals in parallel through one or more of the plurality of channels an image processing unit, a channel combiner for combining a plurality of output unit signals and generating a stream of output signals, and a configuration controller for controlling, in accordance with an operating mode, at least one of a plurality of processing unit signals, selecting a processing clock frequency, and combining the plurality of output unit signals. signals.
  • the disadvantage is the large number of channels for signal processing and its conversion, while the developed solution implements a computationally complex recognition algorithm directly on the processor of the thermal imaging module's computing unit, which greatly simplifies the integration of the developed thermal imaging module into complexes using video analytics systems, and also increases reconfigurability and scalability of these complexes.
  • a cascade structure of the recognition algorithm has been developed from a unique combination of components, which allows to significantly increase the performance of the recognition algorithm while maintaining high quality of work.
  • a new method has been developed for generating HOG descriptors for sliding window frames with subsequent classification of descriptors using a linear SVM classifier.
  • a new method for aggregating object-localizing frames has been developed—multi-scale hierarchical clustering, which allows high-quality aggregation of localizing frames from images that differ significantly in scale.
  • the unique ability to perform object recognition directly on the processor of the thermal imaging module gives the developed system a number of significant advantages compared to existing systems with an external computing unit.
  • the group of inventions “System and method for data processing and object recognition in real time” makes it possible to implement intelligent image processing - an object recognition algorithm - on a processor as part of a thermal imaging module and combine video shooting and video analytics in one device.
  • the technical result is high quality object recognition with a significant increase in performance on the processor as part of a thermal imaging module with an uncooled matrix.
  • the system has a device for video recording, which is a thermal imaging module with a built-in computing unit based on a digital signal processor and includes a computing unit having a system on a chip, a one-gigabit RAM chip and a FLASH chip (storage device).
  • a device for video recording which is a thermal imaging module with a built-in computing unit based on a digital signal processor and includes a computing unit having a system on a chip, a one-gigabit RAM chip and a FLASH chip (storage device).
  • a power system consisting of pulse converters and integrated power management circuits that configure the required voltage for all board nodes, a data recording unit on an SD drive (non-volatile memory card format), made in in the form of an expansion board installed on a 60-pin connector, while power, MMC signals (a signal with a minimum frequency separation of “0” and “1”) and UART come from the power board, and the UART (universal asynchronous transceiver) is converted into RS standard signals -232 microcircuit, the distinctive feature of which is the ability to provide conversion from a supply voltage of 1.8V, an analog converter unit for amplifying and digitizing a video signal from a thermal imaging matrix, which is a power input stage consisting of low-drop linear voltage regulators and an Ethernet interface unit (family of technologies packet data transfer between devices for computer and industrial networks.).
  • a method for processing data and recognizing objects in real time in the computing unit of a thermal imaging module consists of a basic signal processing unit, including replacement of faulty points, seamless correction of inhomogeneities, noise suppression, suppression of 5
  • SUBSTITUTE SHEET (RULE 26) thermal artifacts, dynamic range compression, optical distortion compensation, then the processed signal is transmitted for compression, recording to local media and stream transmission, or after basic signal processing, the frame is processed by a recognition algorithm, which has a cascade structure consisting of a base detector, a verification classifier and artificial neural network (ANN). Localization of a person in an image occurs by determining the coordinates of the frame describing the person in the image coordinate system.
  • the basic component for locating an object in an image is the sliding window algorithm, which scans the image with a window of a given size. To ensure recognition of objects whose sizes in the image vary over a wide range, a scale pyramid generator is used.
  • the method of generating HOG descriptors using a sliding window is used, followed by multiplying the resulting descriptor by a vector of SVM classifier coefficients (support vector machine method).
  • a vector of SVM classifier coefficients support vector machine method.
  • several HOG descriptors are simultaneously generated (descriptors of special points that are used in computer vision and image processing for object recognition). Instead of a whole HOG descriptor, you can store only one number in memory, to which the results of multiplying blocks and fragments of the SVM coefficient vector are gradually added.
  • a multi-scale hierarchical clustering algorithm is used, aimed at identifying regions of interest - potential objects.
  • a multiscale clustering technique is used, according to which overlapping sets of scales are generated from all image scales, within each of which hierarchical clustering occurs.
  • the resulting clusters with potential objects are then fed to a testing classifier and an artificial neural network to check the presence and clarify the location of the object in the region of interest.
  • a fast base detector and high-quality verification algorithms allows you to combine high accuracy and reliability of object recognition in real time on the processor of the thermal imaging module.
  • Figure 1 shows a diagram of the housing of the electronic unit of the thermal imaging module.
  • Figure 2 shows a diagram of the developed thermal imaging module.
  • Figure 3 shows a diagram of video data processing in the computing unit of the thermal imaging module.
  • Figure 4 shows a diagram of the operation of the recognition algorithm.
  • Figure 5 shows a diagram of the one-time use of normalized HOG descriptor blocks.
  • Figure 6 shows a diagram of step-by-step vector multiplication
  • Figure 7 shows an example of object recognition in a thermal image
  • the numbers in the figures indicate: 1 - lens, 2 - matrix detector, 3 - analog-digital unit, 4 - computing unit, 5 - power supply, 6 - Ethernet interface unit, 7 - electronic unit housing, 8 - thermal imaging matrix, 9 - memory, 10 - dynamic memory, 11 - flash memory, 12 - local storage (SD card), 13 - first window, 14 - second window, 15 - third window, 16 - first descriptor, 17 - second descriptor, 18- third descriptor.
  • the system and method for recognizing objects in real time as part of a thermal imaging module makes it possible to implement intelligent image processing - an object recognition algorithm - on a processor as part of a thermal imaging module and combine video shooting and video analytics in one device (Fig. 1).
  • the developed device for video recording is a thermal imaging module (Fig. 2) with a built-in computing unit based on a digital signal processor (Fig. 3) and includes
  • SUBSTITUTE SHEET (RULE 26) computing unit (4), power system (5), data recording unit on SD drive (9,10,11), analog converter unit (3) and Ethernet interface unit (6).
  • the power system (5) consists of switching converters and power management integrated circuits that configure the required voltage for all board components. A voltage of 5V is used as the nominal value.
  • the data recording unit (9,10,11) is made in the form of an expansion board installed on a 60-pin connector. Power, MMC and U ART signals come from the power board. UARTs are converted to RS-232 standard signals by a special microcircuit, the distinctive feature of which is the ability to provide conversion from a 1.8V supply voltage.
  • the analog conversion block (3) is designed to amplify and digitize the video signal from the thermal imaging matrix.
  • This block is a power input stage consisting of low-dropout linear voltage regulators.
  • voltages are generated for the digital and analog power supply of the matrix, the analog-to-digital converter, as well as for the matrix reference voltage source and the ADC differential amplifier (analog-to-digital converter).
  • the reference voltages are configured by the D/A converter.
  • the development uses an Ethernet physical layer transceiver.
  • the power supply for the microcircuit is generated by two step-down converters.
  • the computing node (4) houses the system-on-chip, a 1-gigabit RAM chip, and a 512-megabit FLASH drive chip.
  • the developed thermal imaging module is capable of, in addition to video recording and basic
  • SUBSTITUTE SHEET (RULE 26) frame processing to perform object recognition, video stream compression, data recording to local media and data transfer via the network interface using its own computing resources (Fig. 3).
  • the developed object recognition method is intended to determine the location of objects of a given class in the image coordinate system in real time (25 frames per second) on a processor as part of a thermal imaging module. Determining the location of an object in the image coordinate system means localizing the object by highlighting it in the image with a localizing frame.
  • the developed recognition algorithm has a cascade structure consisting of a base detector, a testing classifier and an artificial neural network (ANN).
  • ANN artificial neural network
  • the basic component for determining the location of an object in an image is the sliding window algorithm.
  • This algorithm scans an image with a window of a given size. The scanning process starts from the upper left corner of the image, where the first window is generated. A fragment of the image that falls into this window is analyzed for similarity to the “person” class. Next, the window is shifted to the left by a specified distance (sliding window step) and the analysis process is repeated. The shifting process is repeated until the window reaches the right edge of the image, after which the scanning strip is shifted down by the specified value.
  • the sliding window algorithm allows for analysis of the entire image by moving step by step from the upper left corner to the lower right.
  • a scale pyramid generator is used.
  • the original image scale is 640x480 pixels.
  • the constant scanning window size is 32x64 pixels.
  • objects with a size of about 30x60 pixels are searched.
  • the size of the original image is reduced by a specified amount (scaling step). Since the scanning window size remains 9
  • the method of generating HOG descriptors using a sliding window is used, followed by multiplying the resulting descriptor by a vector of SVM classifier coefficients.
  • the minimum step size of a sliding window ensuring reliable recognition of objects, is equal to four pixels (at the first steps of the scale pyramid), and the minimum step size for moving along a grid of cells is equal to the size of one cell of the HOG descriptor, that is, 8 pixels, the image is divided into fragments 4x4 pixels (subcells). This allows you to eliminate repetitive calculations without making any changes to the final recognition result.
  • Subcells are calculated similarly to standard HOG descriptor cells and are histograms of 8 bins.
  • Next, to form a standard cell it is necessary to sum the bins of four neighboring subcells (32 additions).
  • the need for resource-intensive calculation of gradients, the angles of their orientations and the formation of a histogram for each window was eliminated.
  • the process of forming a HOG descriptor is reduced to moving a sliding window along a grid of subcells, summing the histograms of four subcells to form histograms of cells, normalizing histograms of HOG blocks, concatenating histograms
  • SUBSTITUTE SHEET (RULE 26) blocks into the final descriptor and vector multiplication with coefficients of a linear SVM classifier. For each window, there is no need for pixel-by-pixel calculation of the gradient and its orientation, as well as for generating a histogram of cell orientations - these operations are performed once for the entire image at each scale.
  • the result of using the HOG descriptor is a weighted sum, the coefficients of which are the coefficients of the SVM classifier. Taking into account the properties of weighted summation, it was decided to multiply the vectors in parts, and then add the results of the multiplications to obtain the final result (Fig. 6).
  • the result of the classification of all blocks that make up the HOG descriptor is the classified frame of the sliding window.
  • a multi-scale hierarchical clustering algorithm is used, aimed at highlighting regions of interest -
  • SUBSTITUTE SHEET (RULE 26) potential objects.
  • the hierarchical clustering algorithm forms the resulting cluster based on the input data, which allows for more accurate localization of the object. More accurate localization is due to the fact that the position of the frames of the sliding window is fixed and depends on the step of the sliding window and the scale factor of the scale pyramid generation algorithm, that is, the number of options for the positions of the frames of the sliding window is finite.
  • the position of the resulting cluster is calculated based on the coordinates of the sliding window frames that form the cluster, as well as the classification results of these frames.
  • the position of the resulting cluster is not limited to a finite set of possible positions, but is calculated based on the obtained data about the location of the object.
  • a multiscale clustering technique was used, in which overlapping sets of scales are generated from all image scales, within each of which hierarchical clustering occurs. This technique allows you to successfully form the resulting clusters for objects of the entire size range.
  • the division of scales into overlapping sets is implemented based on the results of empirical data obtained as a result of testing.
  • the resulting clusters with potential objects are then fed to the testing classifier and ANN to check the presence and clarify the location of the object in the region of interest.
  • the combination of a fast base detector and high-quality verification algorithms makes it possible to combine high accuracy and reliability of object recognition, which is not inferior to that of modern ANN architectures, and a significantly lower computational complexity compared to modern ANN architectures, necessary for real-time operation on the processor of a thermal imaging module.
  • the unique ability to perform object recognition directly on the processor of the thermal imaging module gives the developed system a number of significant advantages compared to existing systems with an external computing unit.
  • SUBSTITUTE SHEET (RULE 26)
  • the implementation of the recognition algorithm on the processor of the thermal imaging module ensures the minimum possible delay in processing the video stream due to the absence of the need to transmit the video stream to peripheral devices, which is extremely important when using recognition algorithms in systems with hard real time. Also, the absence of the need to transmit a video stream significantly reduces the load on the systems’ communication channels.
  • thermal imaging module Another significant advantage when integrating the developed thermal imaging module is the high scalability and reconfigurability of the systems. Scalability is ensured by the fact that when the number of thermal imaging modules in the system increases, there is no need to proportionally increase the computing capabilities of the system, as well as the throughput of the communication channel, since all the necessary processing is performed directly by the video camera itself. Reconfigurability is due to the fact that to integrate a thermal imaging module there is no need for a specialized computing unit and a broadband communication channel for transmitting a video stream.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

A system for detecting objects in real time contains a video recording device which is a thermal imaging module based on a digital signal processor and which comprises a computing unit (4) having a system on a chip, a RAM chip and a FLASH chip, a power supply system (5) consisting of pulse converters and power management integrated circuits for configuring the necessary voltage for all circuit board assemblies, and a data recording assembly (9, 10, 11) for recording data onto an SD card (12), configured in the form of an expansion board. MMC and UART signals arrive from a power circuit board, and the UART are converted into RS-232 standard signals. Also provided are an analog converter unit (3) in the form of an input power stage consisting of low-drop linear voltage regulators, and an Ethernet interface unit (6). The analog converter unit serves to amplify and digitize a video signal from a thermal imaging array (8). The invention is directed toward improving the accuracy of object detection and improving the speed of a processor in a thermal imaging module with an uncooled array.

Description

РАСПОЗНАВАНИЕ ОБЪЕКТОВ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ REAL-TIME OBJECT RECOGNITION
Описание Description
Группа изобретений «Система и способ обработки данных и распознавания объектов в режиме реального времени» позволяет имплементировать интеллектуальную обработку изображения - алгоритм распознавания объектов, на процессор в составе тепловизионного модуля и совместить видеосъёмку и видеоаналитику в одном устройстве. The group of inventions “System and method for data processing and object recognition in real time” makes it possible to implement intelligent image processing - an object recognition algorithm - on a processor as part of a thermal imaging module and combine video shooting and video analytics in one device.
Область техники, к которой относится изобретение. The technical field to which the invention relates.
Группа изобретений относится к электронному приборостроению и предназначено для широкого применение в таких сферах как охранные системы, ADAS - системы (Advanced Driver Assistance Systems) - интеллектуальные системы помощи водителям автомобилей, мобильной робототехнике, в том числе БПЛА (беспилотный летательный аппарат), и ДР-The group of inventions relates to electronic instrumentation and is intended for widespread use in such areas as security systems, ADAS systems (Advanced Driver Assistance Systems) - intelligent assistance systems for car drivers, mobile robotics, including UAVs (unmanned aerial vehicle), and DR-
Уровень техники: State of the Art:
Известна полезная модель ТЕПЛОВИЗИОННЫЙ ПРИБОР (патентный документ RU184553U1), Полезная модель относится к области оптикоэлектронного приборостроения. Тепловизионный прибор содержит многоэлементное фотоприемное устройство, объектив для формирования ПК- изображения в плоскости чувствительных элементов многоэлементного фотоприемного устройства, объединенные модули с унифицированными интерфейсами в составе: модуля предварительной обработки сигнала, модуля управления, модуля электронной обработки, модуля питания и модуля интерфейса. Имеются несущий кронштейн с разъемной обоймой и стягивающими винтами, втулка с наружным диаметром, соответствующим внутреннему диаметру обоймы, и внутренней резьбой, соответствующей посадочной резьбе объектива, затвор, резьбовая оправа с наружной резьбой, соответствующей внутренней резьбе втулки. Втулка с установленными в ней объективом и резьбовой оправой с установленным в ней затвором, установлены в обойме несущего кронштейна. Многоэлементное фотоприемное устройство и модуль предварительной обработки сигнала 1 The utility model THERMAL IMAGING DEVICE is known (patent document RU184553U1). The utility model relates to the field of optoelectronic instrument making. The thermal imaging device contains a multi-element photodetector device, a lens for forming a PC image in the plane of the sensitive elements of the multi-element photodetector device, combined modules with unified interfaces consisting of: a signal pre-processing module, a control module, an electronic processing module, a power supply module and an interface module. There is a supporting bracket with a detachable holder and tightening screws, a bushing with an outer diameter corresponding to the inner diameter of the holder and an internal thread corresponding to the mounting thread of the lens, a shutter, a threaded frame with an external thread corresponding to the internal thread of the bushing. The sleeve with the lens installed in it and the threaded frame with the shutter installed in it are installed in the carrier bracket cage. Multi-element photodetector and signal pre-processing module 1
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) расположены на первой плате, модуль управления и модуль электронной обработки - на второй плате, модуль питания и интерфейса - на третьей плате. Торцевая поверхность резьбовой оправы и первой платы имеют единообразно расположенные отверстия. Отверстия в оправе выполнены резьбовыми с установленными в них винтами крепления первой платы. Первая, вторая и третья платы имеют единообразно расположенные по их углам отверстия и имеются шпильки, стягивающие последовательно установленные через цилиндрические втулки первую, вторую и третью платы. Первая плата обращена приемной площадкой многоэлементного фотоприемного устройства в сторону объектива, а платы электрически соединены расположенными на них разъемами мезонинного типа. Технический результат заключается в повышении технических характеристик ТВП: увеличение четкости изображения, снижение массы и объема ТВП, снижение минимально разрешаемой разности температур, повышение качества изображения, повышение быстродействия, обеспечение возможности работы в тепловом диапазоне 8... 14 мкм. SUBSTITUTE SHEET (RULE 26) located on the first board, the control module and electronic processing module on the second board, and the power and interface module on the third board. The end surface of the threaded frame and the first board have uniformly spaced holes. The holes in the frame are threaded with screws installed in them to secure the first board. The first, second and third boards have holes uniformly located at their corners and there are pins that tighten the first, second and third boards installed in series through cylindrical bushings. The first board faces the receiving platform of the multi-element photodetector towards the lens, and the boards are electrically connected by mezzanine-type connectors located on them. The technical result consists in increasing the technical characteristics of the TVP: increasing image clarity, reducing the weight and volume of the TVP, reducing the minimum resolved temperature difference, improving image quality, increasing performance, enabling operation in the thermal range of 8... 14 microns.
Недостатком по сравнению с представленным техническим решением является менее совершенный процесс обработки сигнала. The disadvantage compared to the presented technical solution is the less advanced signal processing process.
Известно изобретение УНИФИЦИРОВАННЫЙ ТЕПЛОВИЗИОННЫЙ ПРИБОР (патентный документ RU2420770C1), Прибор содержит многоэлементное фотоприемное устройство, оптическую систему формирования ИК изображения в плоскости чувствительных элементов многоэлементного фотоприемного устройства, систему охлаждения и блок обработки информации, объединенные на единой несущей раме, и видеоконтрольное устройство визуализации теплового изображения. Объединяемые элементы выполнены в виде модулей с унифицированными интерфейсами. В состав объединяемых модулей введены модуль предварительной обработки сигналов, модуль управления системой охлаждения, модуль интерфейса управления, устройство управления и модуль питания. Блок обработки информации выполнен в виде модуля электронной обработки. Модуль электронной обработки обеспечивает осуществление связей между модулем предварительной обработки сигналов, модулем управления системой охлаждения, модулем интерфейса управления, модулем питания и видеоконтрольным устройством. Устройство управления связано с модулем интерфейса управления и видеоконтрольным устройством. The invention is known UNIFIED THERMAL IMAGING DEVICE (patent document RU2420770C1). The device contains a multi-element photodetector device, an optical system for forming an IR image in the plane of the sensitive elements of the multi-element photodetector device, a cooling system and an information processing unit combined on a single supporting frame, and a video control device for visualizing a thermal image. The combined elements are made in the form of modules with unified interfaces. The combined modules include a signal pre-processing module, a cooling system control module, a control interface module, a control device and a power module. The information processing unit is designed as an electronic processing module. The electronic processing module provides communications between the signal pre-processing module, the cooling system control module, the control interface module, the power module and the video control device. The control device is connected to the control interface module and the video monitoring device.
2 2
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Недостатком данного изобретения по сравнению с представленным решением является большое количество модулей в системе, которые могут уменьшить быстродействие обработки сигнала, тогда как в представленном решении количество блоков обработки ниже, но их работа является более эффективной. SUBSTITUTE SHEET (RULE 26) The disadvantage of this invention in comparison with the presented solution is the large number of modules in the system, which can reduce the speed of signal processing, while in the presented solution the number of processing units is lower, but their operation is more efficient.
Известно изобретение УСТРОЙСТВО ФОРМИРОВАНИЯ И УПРАВЛЕНИЯ ПРИЦЕЛЬНЫМИ ШКАЛАМИ (патентный документ RU2700034C2) Изобретение относится к оптико -электронной технике и может быть использовано в различных прицельно -наблюдательных приборах, оснащенных как оптическими, так и тепловизионными прицельнонаблюдательными каналами. Прибор содержит механизм баллистик, предназначенный для ввода углов прицеливания в оптическом канале, аналоговый потенциометр, фильтр низких частот, микроконтроллер и двигатель сеток с собственным блоком управления, тепловизионный прицельно-наблюдательный канал, а для формирования на микродисплее прицельных знаков и шкал тепловизионного канала и обеспечения управления знаками и шкалами применяются тепловизионный модуль и микродисплей. В случае передачи видеосигнала в цифровом формате используется преобразователь видеосигнала LVDS/TTL, программируемая логическая интегральная схема ПЛИС, микроконтроллер и оперативное запоминающее устройство ОЗУ, а в случае передачи видеосигнала в аналоговом формате - схема выделения синхронизации, ОЗУ, микроконтроллер, ПЛИС и схема добавления прицельных знаков и шкал. Изобретение обеспечивает исключение ручного управления вводом углов прицеливания, повышение точности совмещения прицельных знаков и шкал, а также формирование прицельных знаков и шкал и автоматическое управление знаками и шкалами в оптико-электронных трактах. A known invention is a DEVICE FOR FORMING AND CONTROLLING SIGHTING SCALES (patent document RU2700034C2). The invention relates to optical-electronic technology and can be used in various sighting and observation devices equipped with both optical and thermal imaging sighting and observation channels. The device contains a ballistics mechanism designed for entering aiming angles in the optical channel, an analog potentiometer, a low-pass filter, a microcontroller and a reticle motor with its own control unit, a thermal imaging sighting and observation channel, and for forming sighting signs and scales of the thermal imaging channel on the microdisplay and providing control signs and scales use a thermal imaging module and a microdisplay. In the case of transmitting a video signal in digital format, an LVDS/TTL video signal converter, a programmable logic integrated circuit FPGA, a microcontroller and random access memory RAM are used, and in the case of transmitting a video signal in analog format, a synchronization allocation circuit, RAM, a microcontroller, FPGA and a circuit for adding aiming marks are used. and scales. The invention eliminates manual control of input of aiming angles, improves the accuracy of alignment of aiming marks and scales, as well as the formation of aiming marks and scales and automatic control of marks and scales in optical-electronic paths.
Недостатком является использование схем ПЛИС, тогда как в разработанном решении используется процессор, благодаря которому увеличивается быстродействие системы. The disadvantage is the use of FPGA circuits, while the developed solution uses a processor, which increases system performance.
Наиболее близкий аналог заявленного устройства описан в патенте US2016239936A1 «2016-08-18 УСТРОЙСТВО ОБРАБОТКИ СИГНАЛА ИЗОБРАЖЕНИЯ, ВЫПОЛНЯЮЩЕЕ ОБРАБОТКУ СИГНАЛА ИЗОБРАЖЕНИЯ ПО НЕСКОЛЬКИМ КАНАЛАМ, устройство обработки сигналов изображения включает в себя преобразователь каналов для разделения потока входных сигналов, который включает в себя сигналы изображения, генерируемые множеством пикселей, на блоки обработки и з The closest analogue of the claimed device is described in patent US2016239936A1 “2016-08-18 IMAGE SIGNAL PROCESSING DEVICE, PERFORMING IMAGE SIGNAL PROCESSING THROUGH SEVERAL CHANNELS, the image signal processing device includes a channel converter for dividing the input signal stream, which includes image signals, generated by many pixels, into processing units and
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) генерирования множества сигналов блоков обработки, ядро обработки сигналов изображений, включающее в себя множество блоков обработки изображений каналов, каждый из которых выполняет операцию обработки сигнала изображения и генерирует множество выходных единичных сигналов путем приема и обработки множества выходных единичных сигналов параллельно через один или более из множества каналов обработки изображения, объединитель каналов для объединения множества выходных модульные сигналы и генерировать поток выходных сигналов, и контроллер конфигурации для управления, в соответствии с режимом работы, по меньшей мере, одним из множества сигналов модуля обработки, выбор частоты тактового сигнала обработки и объединение множества выходных единичных сигналов. SUBSTITUTE SHEET (RULE 26) generating a plurality of signal processing units, an image signal processing core including a plurality of channel image processing units, each of which performs an image signal processing operation and generates a plurality of output unit signals by receiving and processing the plurality of output unit signals in parallel through one or more of the plurality of channels an image processing unit, a channel combiner for combining a plurality of output unit signals and generating a stream of output signals, and a configuration controller for controlling, in accordance with an operating mode, at least one of a plurality of processing unit signals, selecting a processing clock frequency, and combining the plurality of output unit signals. signals.
Недостатком является большое количество каналов для обработки сигнала и его преобразования, тогда как в разработанном решении реализована имплементация сложного в вычислительном плане алгоритма распознавания непосредственно на процессоре вычислительного блока тепловизионного модуля, что значительно упрощает интеграцию разработанного тепловизионного модуля в комплексы, использующие системы видеоаналитики, а также повышает реконфигурируемость и масштабируемость данных комплексов. The disadvantage is the large number of channels for signal processing and its conversion, while the developed solution implements a computationally complex recognition algorithm directly on the processor of the thermal imaging module's computing unit, which greatly simplifies the integration of the developed thermal imaging module into complexes using video analytics systems, and also increases reconfigurability and scalability of these complexes.
Разработана каскадная структура алгоритма распознавания из уникальной комбинации компонентов, позволяющая значительно повысить быстродействие алгоритма распознавания при сохранении высокого качества работы. A cascade structure of the recognition algorithm has been developed from a unique combination of components, which allows to significantly increase the performance of the recognition algorithm while maintaining high quality of work.
Разработан новый метод формирования HOG-дескрипторов для рамок скользящего окна с последующей классификацией дескрипторов с помощью линейного SVM-классификатора. A new method has been developed for generating HOG descriptors for sliding window frames with subsequent classification of descriptors using a linear SVM classifier.
Разработан новый метод агрегирования локализующих объект рамок — многомасштабная иерархическая кластеризация, позволяющая качественно агрегировать локализующие рамки с значительно отличающихся по масштабу изображений. A new method for aggregating object-localizing frames has been developed—multi-scale hierarchical clustering, which allows high-quality aggregation of localizing frames from images that differ significantly in scale.
Уникальная возможность осуществления распознавания объектов непосредственно на процессоре тепловизионного модуля даёт разработанной системе ряд существенных преимуществ по сравнению с существующими системами с внешним вычислительным блоком. The unique ability to perform object recognition directly on the processor of the thermal imaging module gives the developed system a number of significant advantages compared to existing systems with an external computing unit.
4 4
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Раскрытие сущности изобретения SUBSTITUTE SHEET (RULE 26) Disclosure of the invention
Группа изобретений «Система и способ обработки данных и распознавания объектов в режиме реального времени» позволяет имплементировать интеллектуальную обработку изображения - алгоритм распознавания объектов, на процессор в составе тепловизионного модуля и совместить видеосъёмку и видеоаналитику в одном устройстве. The group of inventions “System and method for data processing and object recognition in real time” makes it possible to implement intelligent image processing - an object recognition algorithm - on a processor as part of a thermal imaging module and combine video shooting and video analytics in one device.
Технический результат - высокое качество распознавания объектов при значительном повышении быстродействия на процессоре в составе тепловизионного модуля с неохлаждаемой матрицей. The technical result is high quality object recognition with a significant increase in performance on the processor as part of a thermal imaging module with an uncooled matrix.
Технический результат достигается тем, что система имеет устройство для видеосъёмки, которое является тепловизионным модулем со встроенным вычислительным блоком на базе цифрового сигнального процессора и включает в себя вычислительный блок, имеющий систему на кристалле, микросхему оперативной памяти объемом один гигабит и микросхему FLASH (запоминающее устройство, использующее в качестве носителя флеш-памяти) накопителя объемом 512 мегабит, систему питания, состоящую из импульсных преобразователей и интегральных схем управления питанием, конфигурирующих необходимое напряжение для всех узлов платы, узел записи данных на SD-накопитель (энергонезависимый формат карт памяти), выполненный в виде платы расширения, устанавливающейся на 60-контактный разъем, при этом питание, сигналы ММС (сигнал с минимальным разносом частот «0» и «1») и UART приходят с платы питания, a UART (универсальный асинхронный приёмопередатчик) конвертируются в сигналы стандарта RS-232 микросхемой, отличительной особенностью которой является возможность обеспечения преобразования от напряжения питания 1.8В, блок аналогового преобразователя для усиления и оцифровки видеосигнала с тепловизионной матрицы представляющий из себя входной каскад питания, состоящий из линейных стабилизаторов напряжения с низким падением и блока интерфейса Ethernet (семейство технологий пакетной передачи данных между устройствами для компьютерных и промышленных сетей.). The technical result is achieved by the fact that the system has a device for video recording, which is a thermal imaging module with a built-in computing unit based on a digital signal processor and includes a computing unit having a system on a chip, a one-gigabit RAM chip and a FLASH chip (storage device). using a 512 megabit drive as a flash memory carrier, a power system consisting of pulse converters and integrated power management circuits that configure the required voltage for all board nodes, a data recording unit on an SD drive (non-volatile memory card format), made in in the form of an expansion board installed on a 60-pin connector, while power, MMC signals (a signal with a minimum frequency separation of “0” and “1”) and UART come from the power board, and the UART (universal asynchronous transceiver) is converted into RS standard signals -232 microcircuit, the distinctive feature of which is the ability to provide conversion from a supply voltage of 1.8V, an analog converter unit for amplifying and digitizing a video signal from a thermal imaging matrix, which is a power input stage consisting of low-drop linear voltage regulators and an Ethernet interface unit (family of technologies packet data transfer between devices for computer and industrial networks.).
Способ обработки данных и распознавания объектов в режиме реального времени в вычислительном блоке тепловизионного модуля состоит из блока базовой обработки сигнала, включающего замену сбойных точек, бесшовную коррекцию неоднородностей, подавление шумов, подавление 5 A method for processing data and recognizing objects in real time in the computing unit of a thermal imaging module consists of a basic signal processing unit, including replacement of faulty points, seamless correction of inhomogeneities, noise suppression, suppression of 5
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) тепловых артефактов, сжатие динамического диапазона, компенсацию оптических искажений, затем обработанный сигнал передается для сжатия, записи на локальный носитель и передачи потока, либо после базовой обработки сигнала происходит процесс обработки кадра алгоритмом распознавания, который имеет каскадную структуру, состоящую из базового детектора, проверочного классификатора и искусственной нейронной сети (ИНС). Локализация человека на изображении происходит путём определения координат рамки, описывающей человека, в системе координат изображения. Базовым компонентом для определения местоположения объекта на изображении является алгоритм скользящего окна, который сканирует изображение окном заданного размера. Для обеспечения распознавания объектов, чьи размеры на изображении варьируется в широком диапазоне, служит генератор пирамиды масштабов. Для обеспечения работы в режиме реального времени используется метод формирования HOG-дескрипторов с помощью скользящего окна с последующим перемножением полученного дескриптора на вектор коэффициентов SVM-классификатора (метод опорных векторов). При получении итогового результата нормализации блока одновременно формируются несколько HOG-дескрипторов (дескрипторы особых точек, которые используются в компьютерном зрении и обработке изображений с целью распознавания объектов). Вместо целого HOG-дескриптора можно хранить в памяти лишь одно число, к которому поэтапно прибавляются результаты перемножений блоков и фрагментов вектора коэффициентов SVM. Для обработки классифицированных рамок используется алгоритм многомасштабной иерархической кластеризации, нацеленный на выделения регионов интереса - потенциальных объектов. Для формирования результирующих кластеров для объектов различающегося размера используется методика многомасштабной кластеризации, по которой из всех масштабов изображения генерируются перекрывающиеся наборы масштабов, в рамках каждого из которых происходит иерархическая кластеризация.SUBSTITUTE SHEET (RULE 26) thermal artifacts, dynamic range compression, optical distortion compensation, then the processed signal is transmitted for compression, recording to local media and stream transmission, or after basic signal processing, the frame is processed by a recognition algorithm, which has a cascade structure consisting of a base detector, a verification classifier and artificial neural network (ANN). Localization of a person in an image occurs by determining the coordinates of the frame describing the person in the image coordinate system. The basic component for locating an object in an image is the sliding window algorithm, which scans the image with a window of a given size. To ensure recognition of objects whose sizes in the image vary over a wide range, a scale pyramid generator is used. To ensure real-time operation, the method of generating HOG descriptors using a sliding window is used, followed by multiplying the resulting descriptor by a vector of SVM classifier coefficients (support vector machine method). When receiving the final result of block normalization, several HOG descriptors are simultaneously generated (descriptors of special points that are used in computer vision and image processing for object recognition). Instead of a whole HOG descriptor, you can store only one number in memory, to which the results of multiplying blocks and fragments of the SVM coefficient vector are gradually added. To process classified frames, a multi-scale hierarchical clustering algorithm is used, aimed at identifying regions of interest - potential objects. To form the resulting clusters for objects of different sizes, a multiscale clustering technique is used, according to which overlapping sets of scales are generated from all image scales, within each of which hierarchical clustering occurs.
Результирующие кластеры с потенциальными объектами далее подаются проверочному классификатору и искусственной нейронной сети для проверки наличия и уточнения местоположения объекта в регионе интереса. Комбинация быстрого базового детектора и качественных проверочных алгоритмов позволяет совместить высокие точность и надёжность распознавания объектов в режиме реального времени на процессоре тепловизионного модуля. б The resulting clusters with potential objects are then fed to a testing classifier and an artificial neural network to check the presence and clarify the location of the object in the region of interest. The combination of a fast base detector and high-quality verification algorithms allows you to combine high accuracy and reliability of object recognition in real time on the processor of the thermal imaging module. b
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Краткое описание чертежей SUBSTITUTE SHEET (RULE 26) Brief description of drawings
Система и способ распознавания объектов в режиме реального времени в составе тепловизионного модуля проиллюстрированы на следующих схемах: На фигуре 1 показана схема корпуса электронного блока тепловизионного модуля. The system and method for recognizing objects in real time as part of a thermal imaging module are illustrated in the following diagrams: Figure 1 shows a diagram of the housing of the electronic unit of the thermal imaging module.
На фигуре 2 представлена Схема разработанного тепловизионного модуля.Figure 2 shows a diagram of the developed thermal imaging module.
На фигуре 3 показана схема обработка видеоданных в вычислительном блоке тепловизионного модуля. Figure 3 shows a diagram of video data processing in the computing unit of the thermal imaging module.
На фигуре 4 показана схема работы алгоритма распознавания. Figure 4 shows a diagram of the operation of the recognition algorithm.
На фигуре 5 представлена схема однократного использования нормализованных блоков HOG- дескрипторов. Figure 5 shows a diagram of the one-time use of normalized HOG descriptor blocks.
На фигуре 6 показана схема поэтапного перемножения векторов Figure 6 shows a diagram of step-by-step vector multiplication
На фигуре 7 представлен пример распознавания объектов на тепловизионном изображении Figure 7 shows an example of object recognition in a thermal image
Цифрами на фигурах обозначены: 1 - объектив, 2- матричный детектор, 3- аналого-цифровой блок, 4 - вычислительный блок, 5 - блок питания, 6 - блок интерфейса Ethernet, 7 - корпус электронного блока, 8 - тепловизионная матрица, 9 - память, 10 - динамическая память, 11 - flash-память, 12 - локальный носитель (SD-карта), 13- первое окно, 14- второе окно, 15- третье окно, 16-первый дескриптор, 17- второй дескриптор, 18- третий дескриптор. The numbers in the figures indicate: 1 - lens, 2 - matrix detector, 3 - analog-digital unit, 4 - computing unit, 5 - power supply, 6 - Ethernet interface unit, 7 - electronic unit housing, 8 - thermal imaging matrix, 9 - memory, 10 - dynamic memory, 11 - flash memory, 12 - local storage (SD card), 13 - first window, 14 - second window, 15 - third window, 16 - first descriptor, 17 - second descriptor, 18- third descriptor.
Осуществление изобретения Carrying out the invention
Система и способ распознавания объектов в режиме реального времени в составе тепловизионного модуля позволяет имплементировать интеллектуальную обработку изображения - алгоритм распознавания объектов, на процессор в составе тепловизионного модуля и совместить видеосъёмку и видеоаналитику в одном устройстве (фиг.1). The system and method for recognizing objects in real time as part of a thermal imaging module makes it possible to implement intelligent image processing - an object recognition algorithm - on a processor as part of a thermal imaging module and combine video shooting and video analytics in one device (Fig. 1).
Разработанное устройство для видеосъёмки представляет собой тепловизионный модуль (фиг.2) со встроенным вычислительным блоком на базе цифрового сигнального процессора (фиг. 3) и включает в себяThe developed device for video recording is a thermal imaging module (Fig. 2) with a built-in computing unit based on a digital signal processor (Fig. 3) and includes
7 7
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) вычислительный блок (4), систему питания (5), узел записи данных на SD- накопитель (9,10,11), блок аналогового преобразователя (3) и блок интерфейса Ethernet (6). SUBSTITUTE SHEET (RULE 26) computing unit (4), power system (5), data recording unit on SD drive (9,10,11), analog converter unit (3) and Ethernet interface unit (6).
Система питания (5) состоит из импульсных преобразователей и интегральных схем управления питанием, конфигурирующих необходимое напряжение для всех узлов платы. В качестве номинального значения используется напряжение равное 5В. The power system (5) consists of switching converters and power management integrated circuits that configure the required voltage for all board components. A voltage of 5V is used as the nominal value.
Блок записи данных (9,10,11) выполнен в виде платы расширения, устанавливающейся на 60-контактный разъем. Питание, сигналы ММС и U ART приходят с платы питания. UART конвертируются в сигналы стандарта RS-232 специальной микросхемой, отличительной особенностью которой является возможность обеспечения преобразования от напряжения питания 1.8В. The data recording unit (9,10,11) is made in the form of an expansion board installed on a 60-pin connector. Power, MMC and U ART signals come from the power board. UARTs are converted to RS-232 standard signals by a special microcircuit, the distinctive feature of which is the ability to provide conversion from a 1.8V supply voltage.
Блок аналогового преобразования (3) предназначен для усиления и оцифровки видеосигнала с тепловизионной матрицы. Данный блок представляет из себя входной каскад питания, состоящий из линейных стабилизаторов напряжения с низким падением. В блоке аналогового преобразования происходит формирование напряжений для цифрового и аналогового питания матрицы, аналогово-цифрового преобразователя, а также для источника опорных напряжений матрицы и дифференциального усилителя АЦП (аналого- цифровой преобразователь). Опорные напряжения конфигурируются цифро- аналоговым преобразователем. The analog conversion block (3) is designed to amplify and digitize the video signal from the thermal imaging matrix. This block is a power input stage consisting of low-dropout linear voltage regulators. In the analog conversion block, voltages are generated for the digital and analog power supply of the matrix, the analog-to-digital converter, as well as for the matrix reference voltage source and the ADC differential amplifier (analog-to-digital converter). The reference voltages are configured by the D/A converter.
Для передачи данных по протоколу Gigabit Ethernet необходимо обеспечить взаимодействие МАС (уникальный идентификатор, присваиваемый каждой единице активного оборудования или некоторым их интерфейсам в компьютерных сетях Ethernet) и физического уровня PHY (интегральная схема, предназначенная для выполнения функций физического уровня сетевой модели). Для этого в разработке применяется Ethernet приемопередатчик физического уровня. Питание микросхемы формируется двумя понижающими преобразователями. To transmit data via the Gigabit Ethernet protocol, it is necessary to ensure interaction between the MAC (a unique identifier assigned to each piece of active equipment or some of their interfaces in Ethernet computer networks) and the PHY physical layer (an integrated circuit designed to perform the functions of the physical layer of the network model). For this purpose, the development uses an Ethernet physical layer transceiver. The power supply for the microcircuit is generated by two step-down converters.
В вычислительном узле (4) расположены непосредственно система на кристалле, микросхема оперативной памяти объемом 1 гигабит, а также микросхема FLASH накопителя объемом 512 мегабит. The computing node (4) houses the system-on-chip, a 1-gigabit RAM chip, and a 512-megabit FLASH drive chip.
Благодаря встроенному вычислительному блоку разработанный тепловизионный модуль способен в дополнение к видеосъёмке и базовойThanks to the built-in computing unit, the developed thermal imaging module is capable of, in addition to video recording and basic
8 8
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) обработке кадров осуществлять распознавания объектов, сжатие видеопотока, запись данных на локальный носитель и передачу данных по сетевому интерфейсу за счёт собственных вычислительных ресурсов (фиг. 3). SUBSTITUTE SHEET (RULE 26) frame processing to perform object recognition, video stream compression, data recording to local media and data transfer via the network interface using its own computing resources (Fig. 3).
Разработанный способ распознавания объектов предназначен для определения местоположения объектов заданного класса в системе координат изображения в режиме реального времени (25 кадров в секунду) на процессоре в составе тепловизионного модуля. Под определением местоположения объекта в системе координат изображения понимается локализация объекта путём его выделения на изображении локализующей рамкой. The developed object recognition method is intended to determine the location of objects of a given class in the image coordinate system in real time (25 frames per second) on a processor as part of a thermal imaging module. Determining the location of an object in the image coordinate system means localizing the object by highlighting it in the image with a localizing frame.
Для снижения затрачиваемых вычислительных ресурсов разработанный алгоритм распознавания имеет каскадную структуру, состоящую из базового детектора, проверочного классификатора и искусственной нейронной сети (ИНС). Уникальное сочетание разнородных алгоритмов позволяет сохранить высокое качество распознавания объектов при значительном повышении быстродействия. To reduce the required computational resources, the developed recognition algorithm has a cascade structure consisting of a base detector, a testing classifier and an artificial neural network (ANN). A unique combination of heterogeneous algorithms allows maintaining high quality of object recognition while significantly increasing performance.
Локализация человека на изображении происходит путём определения координат рамки, описывающей человека, в системе координат изображения. Базовым компонентом для определения местоположения объекта на изображении является алгоритм скользящего окна. Данный алгоритм производит сканирование изображения окном заданного размера. Процесс сканирования начинается с левого верхнего угла изображения, где генерируется первое окно. Фрагмент изображения, попавший в данное окно анализируется на сходство с классом «человек». Далее окно сдвигается влево на заданное расстояние (шаг скользящего окна) и процесс анализа повторяется. Процесс сдвига повторяется до тех пор, пока окно не дойдёт до правого края изображения, после чего происходит сдвиг полосы сканирования вниз на заданное. Таким образом, алгоритм скользящего окна позволяет обеспечить анализ всего изображения за счёт поэтапного перемещения от верхнего левого угла до правого нижнего. Localization of a person in an image occurs by determining the coordinates of the frame describing the person in the image coordinate system. The basic component for determining the location of an object in an image is the sliding window algorithm. This algorithm scans an image with a window of a given size. The scanning process starts from the upper left corner of the image, where the first window is generated. A fragment of the image that falls into this window is analyzed for similarity to the “person” class. Next, the window is shifted to the left by a specified distance (sliding window step) and the analysis process is repeated. The shifting process is repeated until the window reaches the right edge of the image, after which the scanning strip is shifted down by the specified value. Thus, the sliding window algorithm allows for analysis of the entire image by moving step by step from the upper left corner to the lower right.
Для обеспечения распознавания объектов, чьи размеры на изображении варьируется в широком диапазоне, служит генератор пирамиды масштабов. Исходным масштабом изображения является размер 640x480 пикселей. Постоянный размер окна сканирования равняется 32x64 пикселя. Таким образом, на первой ступени пирамиды масштабов осуществляется поиск объектов размером около 30x60 пикселей. Для поиска более крупных объектов происходит уменьшение размера исходного изображения на заданную величину (шаг масштабирования). Так как размер окна сканирования остаётся 9 To ensure recognition of objects whose sizes in the image vary over a wide range, a scale pyramid generator is used. The original image scale is 640x480 pixels. The constant scanning window size is 32x64 pixels. Thus, at the first stage of the pyramid of scales, objects with a size of about 30x60 pixels are searched. To search for larger objects, the size of the original image is reduced by a specified amount (scaling step). Since the scanning window size remains 9
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) неизменным, отношение размера окна сканирования к размеру изображения увеличивается, что позволяет проводить поиск объектов большего размера, чем на первой ступени. Процесс уменьшения размера изображения повторяется до тех пор, пока высота изображения не сравняется с высотой окна сканирования, что соответствует поиску объектов, чья высота на исходном изображении близка к 480 пикселям. SUBSTITUTE SHEET (RULE 26) unchanged, the ratio of the scanning window size to the image size increases, which makes it possible to search for objects larger than at the first stage. The process of reducing the image size is repeated until the height of the image is equal to the height of the scanning window, which corresponds to the search for objects whose height in the original image is close to 480 pixels.
Классический алгоритм скользящего окна, применяемый в алгоритмах распознавания, генерирует огромное количество окон, для каждого из которых необходимо провести анализ. При этом, окна в значительной степени перекрываются с соседними, что подразумевает большое количество повторных вычислений. The classic sliding window algorithm used in recognition algorithms generates a huge number of windows, for each of which it is necessary to analyze. At the same time, the windows overlap significantly with neighboring ones, which implies a large number of repeated calculations.
Для обеспечения работы в режиме реального времени используется метод формирования HOG-дескрипторов с помощью скользящего окна с последующим перемножением полученного дескриптора на вектор коэффициентов SVM-классификатора. To ensure real-time operation, the method of generating HOG descriptors using a sliding window is used, followed by multiplying the resulting descriptor by a vector of SVM classifier coefficients.
Для оптимизации вычислений был осуществлён переход из пространства пикселей к сетке заранее вычисленных ячеек, по которой будет перемещаться скользящее окно. Тогда, каждая ячейка будет генерироваться один раз, что позволит избежать большого количества повторяющихся вычислений. To optimize the calculations, a transition was made from pixel space to a grid of pre-calculated cells along which the sliding window will move. Then, each cell will be generated once, which will avoid a large number of repeated calculations.
Так как минимальный размер шага скользящего окна, обеспечивающий надёжное распознавание объектов, равен четырём пикселям (на первых ступенях пирамиды масштабов), а минимальный шаг перемещения по сетке ячеек равен размеру одной ячейки HOG- дескриптора, то есть 8-ми пикселям, изображения разбивается на фрагменты размером 4x4 пикселя (субъячейки). Это позволяет устранить повторяющиеся вычисления не внося никаких изменений в конечный результат распознавания. Since the minimum step size of a sliding window, ensuring reliable recognition of objects, is equal to four pixels (at the first steps of the scale pyramid), and the minimum step size for moving along a grid of cells is equal to the size of one cell of the HOG descriptor, that is, 8 pixels, the image is divided into fragments 4x4 pixels (subcells). This allows you to eliminate repetitive calculations without making any changes to the final recognition result.
Субъячейки вычисляются аналогично стандартным ячейкам HOG- дескриптора и представляют собой гистограммы из 8-ти бинов. Далее для формирования стандартной ячейки требуется провести суммирование бинов четырёх соседних субъячеек (32 сложения). При этом была устранена необходимость в ресурсозатратном вычислении градиентов, углов их ориентаций и формирования гистограммы для каждого окна. Таким образом, на данном этапе оптимизации алгоритма процесс формирования HOG- дескриптора сводится к перемещению скользящим окном по сетке субъячеек, суммированию гистограмм четырёх субъячеек для формирования гистограмм ячеек, нормализация гистограмм HOG-блоков, конкатенация гистограммSubcells are calculated similarly to standard HOG descriptor cells and are histograms of 8 bins. Next, to form a standard cell, it is necessary to sum the bins of four neighboring subcells (32 additions). At the same time, the need for resource-intensive calculation of gradients, the angles of their orientations and the formation of a histogram for each window was eliminated. Thus, at this stage of algorithm optimization, the process of forming a HOG descriptor is reduced to moving a sliding window along a grid of subcells, summing the histograms of four subcells to form histograms of cells, normalizing histograms of HOG blocks, concatenating histograms
10 10
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) блоков в конечной дескриптор и векторное перемножение с коэффициентами линейного SVM-классификатора. Для каждого окна отпадает необходимость в попиксельном вычислении градиента и его ориентации, а также в генерации гистограммы ориентаций ячеек - данные операции проводятся один раз для всего изображения на каждом из масштабов. SUBSTITUTE SHEET (RULE 26) blocks into the final descriptor and vector multiplication with coefficients of a linear SVM classifier. For each window, there is no need for pixel-by-pixel calculation of the gradient and its orientation, as well as for generating a histogram of cell orientations - these operations are performed once for the entire image at each scale.
Однако, к повторяющимся вычислениям, которые требуют большое количество операций, также относится нормализация блока HOG- дескриптора. However, repetitive calculations that require a large number of operations also include normalization of the HOG descriptor block.
Для снижения числа операций на нормализацию блоков HOG-дескриптора было решено перейти от скользящего окна к набору скользящих блоков, перемещающихся по сетке субъячеек. Тогда, при формировании блока и его нормализации, итоговое представление блока в виде конкатенированных нормализованных гистограмм помещается в соответствующее положение всех HOG- дескрипторов, включающих данный блок (фиг. 5). To reduce the number of operations for normalizing HOG descriptor blocks, it was decided to switch from a sliding window to a set of sliding blocks moving along a grid of subcells. Then, when forming a block and normalizing it, the final representation of the block in the form of concatenated normalized histograms is placed in the corresponding position of all HOG descriptors that include this block (Fig. 5).
Таким образом, при получении итогового результата нормализации блока одновременно формируются несколько HOG- дескрипторов. Однако существенным недостатком данного метода является необходимость постоянного размещения в оперативной памяти большого количества формирующихся HOG- дескрипторов. Максимальное число дескрипторов, одновременно находящихся в оперативной памяти при данном методе, равняется восьми. При размере одного HOG-дескриптора в 720 16-битных элементов, требуемый объём памяти равняется 11 520 байтам, что составляет значительную часть L1 -памяти. Thus, when obtaining the final result of block normalization, several HOG descriptors are simultaneously formed. However, a significant disadvantage of this method is the need to permanently place a large number of emerging HOG descriptors in RAM. The maximum number of descriptors simultaneously located in RAM with this method is eight. With the size of one HOG descriptor being 720 16-bit elements, the required memory size is 11,520 bytes, which is a significant portion of L1 memory.
Результатом использования HOG-дескриптора является взвешенная сумма, коэффициентами для которой служат коэффициенты SVM-классификатора. Учитывая свойства взвешенного суммирования, было решено проводить перемножение векторов по частям, а затем складывать результаты перемножений для получения конечного результата (фиг. 6). The result of using the HOG descriptor is a weighted sum, the coefficients of which are the coefficients of the SVM classifier. Taking into account the properties of weighted summation, it was decided to multiply the vectors in parts, and then add the results of the multiplications to obtain the final result (Fig. 6).
Таким образом, вместо целого HOG-дескриптора можно хранить в памяти лишь одно число, к которому поэтапно прибавляются результаты перемножений блоков и фрагментов вектора коэффициентов SVM. Thus, instead of a whole HOG descriptor, only one number can be stored in memory, to which the results of multiplying blocks and fragments of the SVM coefficient vector are gradually added.
Результатом классификации всех блоков, составляющих HOG-дескриптор является классифицированная рамка скользящего окна. Для обработки классифицированных рамок используется алгоритм многомасштабной иерархической кластеризации, нацеленный на выделения регионов интереса -The result of the classification of all blocks that make up the HOG descriptor is the classified frame of the sliding window. To process classified frames, a multi-scale hierarchical clustering algorithm is used, aimed at highlighting regions of interest -
11 eleven
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) потенциальных объектов. Алгоритм иерархической кластеризации формирует на основе входных данных результирующий кластер, что позволяет более точно локализовать объект. Более точная локализация обуславливается тем, что положение рамок скользящего окна является фиксированным и зависит от шага скользящего окна и масштабного коэффициента алгоритма генерации пирамиды масштабов, то есть число вариантов положений рамок скользящего окна является конечным. В свою очередь, положение результирующего кластера вычисляется на основе координат образующих кластер рамок скользящего окна, а также результатов классификации данных рамок. Таким образом, положение результирующего кластера не ограничивается конечным множеством возможных положений, а вычисляется на основе полученных данных о местоположении объекта. SUBSTITUTE SHEET (RULE 26) potential objects. The hierarchical clustering algorithm forms the resulting cluster based on the input data, which allows for more accurate localization of the object. More accurate localization is due to the fact that the position of the frames of the sliding window is fixed and depends on the step of the sliding window and the scale factor of the scale pyramid generation algorithm, that is, the number of options for the positions of the frames of the sliding window is finite. In turn, the position of the resulting cluster is calculated based on the coordinates of the sliding window frames that form the cluster, as well as the classification results of these frames. Thus, the position of the resulting cluster is not limited to a finite set of possible positions, but is calculated based on the obtained data about the location of the object.
Для формирования результирующих кластеров для объектов различающегося размера была используется методика многомасштабной кластеризации, по которой из всех масштабов изображения генерируются перекрывающиеся наборы масштабов, в рамках каждого из которых происходит иерархическая кластеризация. Данная методика позволяет успешно формировать результирующие кластеры для объектов всего размерного диапазона. Разбиение масштабов на перекрывающиеся наборы реализовано на результатах эмпирических данных, полученных в результате тестирования.To form the resulting clusters for objects of varying sizes, a multiscale clustering technique was used, in which overlapping sets of scales are generated from all image scales, within each of which hierarchical clustering occurs. This technique allows you to successfully form the resulting clusters for objects of the entire size range. The division of scales into overlapping sets is implemented based on the results of empirical data obtained as a result of testing.
Результирующие кластеры с потенциальными объектами далее подаются проверочному классификатору и ИНС для проверки наличия и уточнения местоположения объекта в регионе интереса. Комбинация быстрого базового детектора и качественных проверочных алгоритмов позволяет совместить высокие точность и надёжность распознавания объектов, не уступающие показателям современных архитектур ИНС, и значительно более низкую по сравнению современными архитектурами ИНС вычислительную сложность, необходимую для работы в режиме реального времени на процессоре тепловизионного модуля. The resulting clusters with potential objects are then fed to the testing classifier and ANN to check the presence and clarify the location of the object in the region of interest. The combination of a fast base detector and high-quality verification algorithms makes it possible to combine high accuracy and reliability of object recognition, which is not inferior to that of modern ANN architectures, and a significantly lower computational complexity compared to modern ANN architectures, necessary for real-time operation on the processor of a thermal imaging module.
Пример результата работы алгоритма распознавания в составе тепловизионного модуля представлен на (фиг. 7). An example of the result of the recognition algorithm as part of the thermal imaging module is presented in (Fig. 7).
Уникальная возможность осуществления распознавания объектов непосредственно на процессоре тепловизионного модуля даёт разработанной системе ряд существенных преимуществ по сравнению с существующими системами с внешним вычислительным блоком. The unique ability to perform object recognition directly on the processor of the thermal imaging module gives the developed system a number of significant advantages compared to existing systems with an external computing unit.
12 12
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Имплементация алгоритма распознавания на процессор тепловизионного модуля обеспечивает минимально возможную задержку обработки видеопотока за счёт отсутствия необходимости передачи видеопотока на периферийные устройства, что является крайне важным при использовании алгоритмов распознавания в системах с жёстким реальным временем. Также, отсутствие необходимости передачи видеопотока значительно снижает нагрузку на коммуникационные каналы систем. SUBSTITUTE SHEET (RULE 26) The implementation of the recognition algorithm on the processor of the thermal imaging module ensures the minimum possible delay in processing the video stream due to the absence of the need to transmit the video stream to peripheral devices, which is extremely important when using recognition algorithms in systems with hard real time. Also, the absence of the need to transmit a video stream significantly reduces the load on the systems’ communication channels.
Ещё одним существенным преимуществом при интеграции разработанного тепловизионного модуля являются высокая масштабируемость и реконфигурируемость систем. Масштабируемость обеспечивается тем, что при увеличении числа тепловизионных модулей в системе отпадает необходимость в пропорциональном увеличении вычислительных возможностей системы, а также пропускной способности коммуникационного канала, так как вся необходимая обработка выполняется непосредственно самой видеокамерой. Реконфигурируемость обуславливается тем, что для интеграции тепловизионного модуля нет необходимости в наличии специализированного вычислительного блока и широкополосного коммуникационного канала для передачи видеопотока. Another significant advantage when integrating the developed thermal imaging module is the high scalability and reconfigurability of the systems. Scalability is ensured by the fact that when the number of thermal imaging modules in the system increases, there is no need to proportionally increase the computing capabilities of the system, as well as the throughput of the communication channel, since all the necessary processing is performed directly by the video camera itself. Reconfigurability is due to the fact that to integrate a thermal imaging module there is no need for a specialized computing unit and a broadband communication channel for transmitting a video stream.
13 13
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) SUBSTITUTE SHEET (RULE 26)

Claims

Формула Formula
1. Система распознавания объектов в режиме реального времени, состоящая из устройства для видеосъёмки, являющегося тепловизионным модулем со встроенным вычислительным блоком на базе цифрового сигнального процессора, отличающаяся тем, что содержит вычислительный блок, имеющий систему на кристалле, микросхему оперативной памяти объемом один гигабит и микросхему FLASH накопителя объемом 512 мегабит, систему питания, состоящую из импульсных преобразователей и интегральных схем управления питанием, конфигурирующих необходимое напряжение для всех узлов платы, узел записи данных на SD -накопитель, выполненный в виде платы расширения, устанавливающейся на 60-контактный разъем, где сигналы ММС и UART приходят с платы питания, a UART конвертируются в сигналы стандарта RS-232 микросхемой, обеспечивающей преобразования от напряжения питания 1.8В, блок аналогового преобразователя для усиления и оцифровки видеосигнала с тепловизионной матрицы являющийся входным каскадом питания, имеющий линейные стабилизаторы напряжения с низким падением и блок интерфейса Ethernet. 1. A real-time object recognition system, consisting of a video recording device, which is a thermal imaging module with a built-in computing unit based on a digital signal processor, characterized in that it contains a computing unit having a system on a chip, a one-gigabit RAM chip and a microcircuit FLASH drive with a capacity of 512 megabits, a power system consisting of pulse converters and power management integrated circuits that configure the required voltage for all board nodes, a data recording unit on an SD drive, made in the form of an expansion board installed on a 60-pin connector where signals MMC and UART come from the power board, and UART are converted into RS-232 standard signals by a microcircuit that provides conversions from a 1.8V supply voltage, an analog converter unit for amplification and digitization of the video signal from the thermal imaging matrix, which is the input power stage, having linear voltage regulators with low dropout and an Ethernet interface block.
2. Способ распознавания объектов в режиме реального времени с использованием системы по п.1, который включает в себя этап базовой обработки сигнала в блоке базовой обработки сигнала, включающий в себя замену сбойных точек, бесшовную коррекцию неоднородностей, подавление шумов, подавление тепловых артефактов, сжатие динамического диапазона, компенсацию оптических искажений; обработку данных в вычислительном блоке тепловизионного модуля с использованием алгоритма сжатия, где происходит запись на локальный носитель и передача видеопотока либо в вычислительном блоке тепловизионного модуля используют алгоритм распознавания, имеющий каскадную структуру, состоящую из базового детектора, проверочного классификатора и искусственной нейронной сети; в базовом детекторе происходит обработка локализации человека на изображении путём определения координат рамки, описывающей человека, в системе координат изображения, алгоритм скользящего окна сканирует изображение окном заданного размера определяя местоположение объекта, генератор пирамиды масштабов распознает вариативные изображения, формирования HOG-дескрипторов с помощью скользящего окна с 2. A method for recognizing objects in real time using the system according to claim 1, which includes a basic signal processing stage in a basic signal processing block, including replacement of faulty points, seamless correction of inhomogeneities, noise suppression, thermal artifact suppression, compression dynamic range, optical distortion compensation; data processing in the computing unit of the thermal imaging module using a compression algorithm, where recording occurs on local media and transmission of the video stream, or in the computing unit of the thermal imaging module, a recognition algorithm is used, which has a cascade structure consisting of a base detector, a verification classifier and an artificial neural network; in the basic detector, the localization of a person in the image is processed by determining the coordinates of the frame describing the person in the image coordinate system, the sliding window algorithm scans the image with a window of a given size, determining the location of the object, the scale pyramid generator recognizes variable images, generating HOG descriptors using a sliding window with
14 14
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) последующим перемножением полученного дескриптора на вектор коэффициентов SVM-классификатора обеспечивает распознавание в режиме реального времени. SUBSTITUTE SHEET (RULE 26) subsequent multiplication of the resulting descriptor by the vector of coefficients of the SVM classifier ensures recognition in real time.
3. Способ распознавания объектов в режиме реального времени по и.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют базовый детектор, в котором для нормализации блока одновременно формируют несколько HOG- дескрипторов. 3. A method for recognizing objects in real time according to step 2, characterized in that a base detector is used in the computing unit of the thermal imaging module, in which several HOG descriptors are simultaneously generated to normalize the unit.
4. Способ распознавания объектов в режиме реального времени по и.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют базовый детектор, который хранит в памяти одно число, к которому поэтапно прибавляются результаты перемножений блоков и фрагментов вектора коэффициентов SVM. 4. A method for recognizing objects in real time according to point 2, characterized in that in the computing unit of the thermal imaging module a basic detector is used, which stores in memory one number, to which the results of multiplications of blocks and fragments of the vector of SVM coefficients are gradually added.
5. Способ распознавания объектов в режиме реального времени по и.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют алгоритм распознавания, который содержит проверочный классификатор для обработки классифицированных рамок, нацеленный на выделение регионов интереса формирования результирующих кластеров для объектов различающегося размера, используя многомасштабную кластеризации, по которой из всех масштабов изображения генерируются перекрывающиеся наборы масштабов, в рамках каждого из которых происходит иерархическая кластеризация. 5. A method for recognizing objects in real time according to point 2, characterized in that in the computing unit of the thermal imaging module a recognition algorithm is used, which contains a verification classifier for processing classified frames, aimed at identifying regions of interest to form the resulting clusters for objects of varying sizes, using multiscale clustering, according to which overlapping sets of scales are generated from all image scales, within each of which hierarchical clustering occurs.
6. Способ распознавания объектов в режиме реального времени по и.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют алгоритм распознавания, который содержит искусственную нейронную сеть, проверяющую наличие и уточняющую местоположение объекта в регионе интереса. 6. A method for recognizing objects in real time according to point 2, characterized in that in the computing unit of the thermal imaging module a recognition algorithm is used, which contains an artificial neural network that checks the presence and specifies the location of an object in the region of interest.
15 15
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) SUBSTITUTE SHEET (RULE 26)
PCT/RU2023/050080 2022-09-21 2023-04-10 Detecting objects in real time WO2024063667A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2022124830 2022-09-21
RU2022124830A RU2802280C1 (en) 2022-09-21 System and method for real-time data processing and object recognition

Publications (1)

Publication Number Publication Date
WO2024063667A1 true WO2024063667A1 (en) 2024-03-28

Family

ID=90454775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2023/050080 WO2024063667A1 (en) 2022-09-21 2023-04-10 Detecting objects in real time

Country Status (1)

Country Link
WO (1) WO2024063667A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239936A1 (en) * 2015-02-13 2016-08-18 Samsung Electronics Co. Ltd. Image signal processing device performing image signal processing through plural channels
US10706321B1 (en) * 2016-05-20 2020-07-07 Ccc Information Services Inc. Image processing system to align a target object in a target object image with an object model
US20220157136A1 (en) * 2018-10-29 2022-05-19 Hexagon Technology Center Gmbh Facility surveillance systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239936A1 (en) * 2015-02-13 2016-08-18 Samsung Electronics Co. Ltd. Image signal processing device performing image signal processing through plural channels
US10706321B1 (en) * 2016-05-20 2020-07-07 Ccc Information Services Inc. Image processing system to align a target object in a target object image with an object model
US20220157136A1 (en) * 2018-10-29 2022-05-19 Hexagon Technology Center Gmbh Facility surveillance systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUJIKIETGUMJORN SITAPA; WATCHARAPINCHAI NATTACHAI: "Real-Time HOG-based pedestrian detection in thermal images for an embedded system", 2017 14TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE (AVSS), IEEE, 29 August 2017 (2017-08-29), pages 1 - 6, XP033233413, DOI: 10.1109/AVSS.2017.8078561 *

Similar Documents

Publication Publication Date Title
TWI427541B (en) System and method for performing rapid facial recognition
CN109711228B (en) Image processing method and device for realizing image recognition and electronic equipment
CN109359556B (en) Face detection method and system based on low-power-consumption embedded platform
CN111667514A (en) Quick and accurate vehicle tracking system
US20240265525A1 (en) Method and device for defect detection
CN109800659B (en) Action recognition method and device
CN112989894A (en) Target detection method, task processing method, device, equipment and storage medium
CN114119489A (en) Automatic detection method for excess of electric connector and needle retracting and needle reversing defects
CN113874877A (en) Neural network and classifier selection system and method
CN112911171B (en) Intelligent photoelectric information processing system and method based on accelerated processing
RU2802280C1 (en) System and method for real-time data processing and object recognition
WO2024063667A1 (en) Detecting objects in real time
US20220327862A1 (en) Method for detecting whether a face is masked, masked-face recognition device, and computer storage medium
CN116486392A (en) License plate face intelligent recognition method and system based on FPGA
WO2021071258A1 (en) Mobile security image learning device and method based on artificial intelligence
CN111488889B (en) Intelligent image processor for extracting image edges
CN113776491A (en) Multi-dimensional distance measurement method, MEC and distance measurement unit based on B-M2M
CN110501709B (en) Target detection system, autonomous vehicle, and target detection method thereof
US20220230421A1 (en) Dynamic, contextualized ai models
CN117710755B (en) Vehicle attribute identification system and method based on deep learning
CN212850797U (en) Scene change detection system based on unmanned aerial vehicle cruises
CN113989630B (en) Lens shielding judging method based on semantic analysis
CN116452878B (en) Attendance checking method and system based on deep learning algorithm and binocular vision
CN109993172B (en) License plate recognition method for road traffic flow
CN113393401B (en) Object detection hardware accelerator, system, method, apparatus and medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23868691

Country of ref document: EP

Kind code of ref document: A1