RU2698157C1 - Система поиска нарушений в порядке расположения объектов - Google Patents
Система поиска нарушений в порядке расположения объектов Download PDFInfo
- Publication number
- RU2698157C1 RU2698157C1 RU2019103947A RU2019103947A RU2698157C1 RU 2698157 C1 RU2698157 C1 RU 2698157C1 RU 2019103947 A RU2019103947 A RU 2019103947A RU 2019103947 A RU2019103947 A RU 2019103947A RU 2698157 C1 RU2698157 C1 RU 2698157C1
- Authority
- RU
- Russia
- Prior art keywords
- objects
- image
- order
- location
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к вычислительной технике. Техническим результатом изобретения является поиск нарушений в порядке расположения объектов с улучшенной функциональностью и большей точностью. Система поиска нарушений в порядке расположения объектов содержит: телекамеру; блок формирования обобщенных признаков области для разделения изображения на области и формирования для каждой области изображения многомерного цифрового вектора; блок формирования пространства признаков для формирования с помощью нейронной сети пространства признаков объектов для всего изображения в виде тензора признаков; блок анализа упорядоченности для анализа упорядоченности расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формирования карты связанных компонент в двумерном пространстве признаков объектов; блок принятия решений для определения нарушения порядка расположения объектов на изображении, при этом анализ карты связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принятия решения о наличии или отсутствии нарушения. 1 з.п. ф-лы, 3 ил.
Description
Изобретение относится к области компьютерного зрения, а именно к системам поиска нарушений в порядке расположения объектов, и может применяться в системах видеонаблюдения для анализа порядка расположения однотипных объектов.
Одним из примеров упорядоченного расположения объектов являются хранящиеся на складе вещи. Для складского учета важно фиксировать нарушение в порядке расположения хранимых вещей, поэтому актуальной является задача автоматической фиксации фактов нарушения порядка хранения.
Типичный подход к определению нарушений в порядке расположения объектов заключается в переходе от частной задачи распознавания типов объектов, присутствующих на изображении, и определения области их расположения к общей задаче определения нарушения порядка расположения распознанных на изображении объектов. Например, с помощью методов, подобных методам, представленным в научных публикациях [1-3], можно на изображении выделить положение всех объектов, порядок расположения которых необходимо контролировать, с помощью ограничивающего прямоугольника с вертикальными и горизонтальными сторонами, и при этом осуществить распознавание типов объектов внутри каждого такого прямоугольника. Пример такого поиска объектов представлен на Фиг. 1. После того, как на изображении выделены и классифицированы расположенные на нем объекты, формируют алгоритм принятия решения о правильности расположения объектов в месте хранения, или о нарушении порядка расположения объектов в месте хранения, поскольку полученное представление расположения объектов достаточно просто сопоставить с эталонным расположением объектов.
Для того, чтобы системы подобного типа работали корректно, необходимо построить точный многокатегориальный алгоритм идентификации объектов, а также метод точный метод определения положения (локализации) объектов на изображении. Для приведенного выше примера учета порядка расположения объектов на складе, количество категорий объектов может достигать несколько десятков тысяч, и при этом состав номенклатуры объектов может обновляться в процессе функционирования склада. Построение системы и способа классификации и детектирования объектов с таким количеством их классов является очень трудоемкой задачей, которая до сих пор не решена с достаточной степенью достоверности: количество ошибок идентификации довольно велико, и превышает 10% по показателям ошибок первого рода и второго рода. На Фиг. 1 видно, что не все объекты идентифицированы корректно, есть примеры неточной локализации объектов, пропуска объектов, ложного определения объектов, а также примеры некорректной классификации объектов по типам.
Наиболее близким к заявленному изобретению является описанный в патенте на изобретение [4] способ определения, с помощью нейронных сетей, отклонения от исходного значения параметров газотурбинного двигателя. Данный способ выбран в качестве прототипа заявленного изобретения.
Недостаток способа прототипа заключается в недостаточном удобстве его использования и функциональности, в связи с применением контактного, с помощью контактных датчиков, метода определения параметров газотурбинного двигателя. Кроме того, способ прототипа имеет меньшую точность, в связи с применением в нем для осуществления кластеризации нейронной сети Кохонена, которая обладает меньшей обобщающей способностью по сравнению с нейронными сетями других типов.
Техническим результатом изобретения является создание системы поиска нарушений в порядке расположения объектов с улучшенным удобством пользования, функциональностью и большей точностью, за счет бесконтактного, с помощью телекамеры, определения расположения объектов, а также за счет отсутствия многокатегориальной классификации объектов.
Отсутствие в заявленном изобретении многокатегориальной классификации объектов позволяет существенно упростить процесс принятия решения о наличии нарушений в порядке расположения объектов, поскольку позволяет не учитывать исходные данные, описывающие внешний вид новых объектов в тех случаях, когда категориальный состав объектов меняется, а также позволяет не учитывать существенный уровень ошибок, присущих многокатегориальной классификации.
Технический результат достигнут путем создания системы поиска нарушений в порядке расположения объектов, содержащей, по меньшей мере, одну телекамеру, которая соединена с блоком формирования признаков области, который соединен с блоком формирования пространства признаков, который соединен с блоком анализа упорядоченности, который соединен с блоком принятия решения, причем
- телекамера выполнена с возможностью формирования изображения объектов и передачи его в
- блок формирования обобщенных признаков области, выполненный с возможностью разделения изображения на области и формирования для каждой области изображения многомерного цифрового вектора, описывающего обобщенные признаки объектов, расположенных в этой области изображения, и с возможностью передачи многомерных цифровых векторов областей изображения в
- блок формирования пространства признаков, выполненный с возможностью формирования с помощью нейронной сети пространства признаков объектов для всего изображения в виде тензора признаков, описывающего обобщенные признаки объектов, расположенных во всех областях изображения, и с возможностью передачи тензора признаков в
- блок анализа упорядоченности, выполненный с возможностью анализа упорядоченности расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формирования карты связанных компонент в двумерном пространстве признаков объектов, и с возможностью передачи карты связанных компонент в
- блок принятия решений, выполненный с возможностью определения нарушения порядка расположения объектов на изображении, при этом анализа карты связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принятия решения о наличии или отсутствии нарушения порядка расположения объектов на изображении.
В предпочтительном варианте осуществления системы телекамера установлена на поворотной платформе и выполнена с возможностью изменения фокусного расстояния объектива.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг. 1. Схема функционирования методов локализации объектов на изображении и идентификации их типов (разный вид рамок соответствует объектам разного типа на изображении) с примерами ошибок, выполненная согласно уровню техники.
Фиг. 2. Схема функционирования системы поиска нарушений в порядке расположения объектов, выполненная согласно изобретению.
Фиг. 3. Блок-схема системы поиска нарушений в порядке расположения объектов, выполненная согласно изобретению.
Рассмотрим более подробно функционирование заявленной системы поиска нарушений в порядке расположения объектов, содержащей, телекамеру 1, которая соединена с блоком 2 формирования признаков области, который соединен с блоком 3 формирования пространства признаков, который соединен с блоком 4 анализа упорядоченности, который соединен с блоком 5 принятия решения (Фиг. 1-3).
С помощью телекамеры 1 формируют изображение объектов и передают его в блок 2 формирования обобщенных признаков области.
С помощью блока 2 формирования обобщенных признаков области разделяют изображение на области и формируют для каждой области изображения многомерный цифровой вектор, описывающий обобщенные признаки объектов, расположенных в этой области изображения, и передают многомерные цифровые вектора областей изображения в блок 3 формирования пространства признаков.
С помощью блока 3 формирования пространства признаков формируют с помощью нейронной сети пространство признаков объектов для всего изображения в виде тензора признаков, описывающего обобщенные признаки объектов, расположенных во всех областях изображения, и передают тензор признаков в блок 4 анализа упорядоченности.
С помощью блока 4 анализа упорядоченности анализируют упорядоченность расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формируют карты связанных компонент в двумерном пространстве признаков объектов, и передают карты связанных компонент в блок 5 принятия решений.
С помощью блока 5 принятия решений определяют нарушение порядка расположения объектов на изображении, при этом анализируют карту связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принимают решение о наличии или отсутствии нарушения порядка расположения объектов на изображении.
Телекамера 1 установлена на поворотной платформе и выполнена с возможностью изменения фокусного расстояния объектива, что позволяет использовать для контроля порядка расположения объектов вместо нескольких телекамер 1 одну, используемую в режиме автоматического сканирования с программным выбором параметров управления увеличением объектива для формирования оптимального изображения объектов в процессе сканирования.
Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.
ЛИТЕРАТУРА
1. Ren S. et al. Faster r-cnn: Towards real-time object detection with region proposal networks // Advances in neural information processing systems. - 2015. - C. 91-99.
2. Redmon J., Farhadi A. YOLO9000: better, faster, stronger // arXiv preprint. - 2017.
3. Liu W. et al. Ssd: Single shot multibox detector // European conference on computer vision. - Springer, Cham, 2016. - C. 21-37.
4. Добродеев И.П. Способ диагностики технического состояния газотурбинного двигателя // патент на изобретение РФ №2445598.
Claims (7)
1. Система поиска нарушений в порядке расположения объектов, содержащая по меньшей мере одну телекамеру, которая соединена с блоком формирования признаков области, который соединен с блоком формирования пространства признаков, который соединен с блоком анализа упорядоченности, который соединен с блоком принятия решения, причем
телекамера выполнена с возможностью формирования изображения объектов и передачи его в
блок формирования обобщенных признаков области, выполненный с возможностью разделения изображения на области и формирования для каждой области изображения многомерного цифрового вектора, описывающего обобщенные признаки объектов, расположенных в этой области изображения, и с возможностью передачи многомерных цифровых векторов областей изображения в
блок формирования пространства признаков, выполненный с возможностью формирования с помощью нейронной сети пространства признаков объектов для всего изображения в виде тензора признаков, описывающего обобщенные признаки объектов, расположенных во всех областях изображения, и с возможностью передачи тензора признаков в
блок анализа упорядоченности, выполненный с возможностью анализа упорядоченности расположения объектов на изображении путем осуществления кластерного анализа тензора признаков с помощью многослойных нейронных сетей, при этом формирования карты связанных компонент в двумерном пространстве признаков объектов, и с возможностью передачи карты связанных компонент в
блок принятия решений, выполненный с возможностью определения нарушения порядка расположения объектов на изображении, при этом анализа карты связанных компонент в двумерном пространстве признаков объектов путем сравнения ее с заданным пользователем порядком расположения объектов на изображении и принятия решения о наличии или отсутствии нарушения порядка расположения объектов на изображении.
2. Система по п. 1, отличающаяся тем, что телекамера установлена на поворотной платформе и выполнена с возможностью изменения фокусного расстояния объектива.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019103947A RU2698157C1 (ru) | 2019-02-12 | 2019-02-12 | Система поиска нарушений в порядке расположения объектов |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019103947A RU2698157C1 (ru) | 2019-02-12 | 2019-02-12 | Система поиска нарушений в порядке расположения объектов |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2698157C1 true RU2698157C1 (ru) | 2019-08-22 |
Family
ID=67733780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019103947A RU2698157C1 (ru) | 2019-02-12 | 2019-02-12 | Система поиска нарушений в порядке расположения объектов |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2698157C1 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2730112C1 (ru) * | 2020-03-02 | 2020-08-17 | ООО "Ай Ти Ви групп" | Система и способ идентификации объектов в составном объекте |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2007130631A (ru) * | 2007-08-10 | 2009-02-20 | Общество с ограниченной ответственностью "Рекогмишн" (RU) | Способ индексации объектов на цифровых изображениях и способ поиска объектов на цифровых изображениях |
US20090190798A1 (en) * | 2008-01-25 | 2009-07-30 | Sungkyunkwan University Foundation For Corporate Collaboration | System and method for real-time object recognition and pose estimation using in-situ monitoring |
US20090196493A1 (en) * | 2004-10-07 | 2009-08-06 | Bernard Widrow | Cognitive Memory And Auto-Associative Neural Network Based Search Engine For Computer And Network Located Images And Photographs |
US20100329513A1 (en) * | 2006-12-29 | 2010-12-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for determining a position on the basis of a camera image from a camera |
RU2445598C1 (ru) * | 2010-08-13 | 2012-03-20 | Открытое акционерное общество "Научно-производственное объединение "Сатурн" | Способ диагностики технического состояния газотурбинного двигателя |
US20170236292A1 (en) * | 2014-10-29 | 2017-08-17 | Alibaba Group Holding Limited | Method and device for image segmentation |
-
2019
- 2019-02-12 RU RU2019103947A patent/RU2698157C1/ru active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196493A1 (en) * | 2004-10-07 | 2009-08-06 | Bernard Widrow | Cognitive Memory And Auto-Associative Neural Network Based Search Engine For Computer And Network Located Images And Photographs |
US20100329513A1 (en) * | 2006-12-29 | 2010-12-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for determining a position on the basis of a camera image from a camera |
RU2007130631A (ru) * | 2007-08-10 | 2009-02-20 | Общество с ограниченной ответственностью "Рекогмишн" (RU) | Способ индексации объектов на цифровых изображениях и способ поиска объектов на цифровых изображениях |
US20090190798A1 (en) * | 2008-01-25 | 2009-07-30 | Sungkyunkwan University Foundation For Corporate Collaboration | System and method for real-time object recognition and pose estimation using in-situ monitoring |
RU2445598C1 (ru) * | 2010-08-13 | 2012-03-20 | Открытое акционерное общество "Научно-производственное объединение "Сатурн" | Способ диагностики технического состояния газотурбинного двигателя |
US20170236292A1 (en) * | 2014-10-29 | 2017-08-17 | Alibaba Group Holding Limited | Method and device for image segmentation |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2730112C1 (ru) * | 2020-03-02 | 2020-08-17 | ООО "Ай Ти Ви групп" | Система и способ идентификации объектов в составном объекте |
DE102020117545A1 (de) | 2020-03-02 | 2021-09-02 | Limited Liability Company "Itv Group" | System und methode zur identifizierung von objekten in einem zusammengesetzten objekt |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Automated excavators activity recognition and productivity analysis from construction site surveillance videos | |
CN109644255B (zh) | 标注包括一组帧的视频流的方法和装置 | |
US7567704B2 (en) | Method and apparatus for identifying physical features in video | |
WO2021146703A1 (en) | Systems and methods for identifying an object of interest from a video sequence | |
JP2020101799A (ja) | 顕微鏡システムにおけるサンプル面の距離判定 | |
EP4137901A1 (en) | Deep-learning-based real-time process monitoring system, and method therefor | |
US20220012884A1 (en) | Image analysis system and analysis method | |
KR102584708B1 (ko) | 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 | |
CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
CN116311063A (zh) | 监控视频下基于人脸识别的人员细粒度跟踪方法及系统 | |
CN116580333A (zh) | 基于YOLOv5和改进StrongSORT的粮库车辆追踪方法 | |
CN110263719B (zh) | 基于大数据监控的人工智能油气田防范判别系统与方法 | |
US9256786B2 (en) | Method of identification from a spatial and spectral object model | |
CN111739056A (zh) | 一种轨迹追踪系统 | |
RU2698157C1 (ru) | Система поиска нарушений в порядке расположения объектов | |
KR101509593B1 (ko) | 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치 | |
EP3761228A1 (en) | Computer-implemented method | |
US20230260259A1 (en) | Method and device for training a neural network | |
WO2023196661A1 (en) | Systems and methods for monitoring trailing objects | |
Castellano et al. | Crowd flow detection from drones with fully convolutional networks and clustering | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
Patel et al. | Vehicle tracking and monitoring in surveillance video | |
Badal et al. | Online multi-object tracking: multiple instance based target appearance model | |
US20240087365A1 (en) | Systems and methods for identifying an object of interest from a video sequence | |
CN114332694A (zh) | 电梯烟雾识别方法、系统、终端设备及存储介质 |