RU2651147C1 - Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей - Google Patents
Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей Download PDFInfo
- Publication number
- RU2651147C1 RU2651147C1 RU2017110058A RU2017110058A RU2651147C1 RU 2651147 C1 RU2651147 C1 RU 2651147C1 RU 2017110058 A RU2017110058 A RU 2017110058A RU 2017110058 A RU2017110058 A RU 2017110058A RU 2651147 C1 RU2651147 C1 RU 2651147C1
- Authority
- RU
- Russia
- Prior art keywords
- moving objects
- images
- neural network
- generalized
- image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 37
- 239000012634 fragment Substances 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000008859 change Effects 0.000 description 5
- 241000271566 Aves Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Группа изобретений относится к области автоматического анализа изображений. Техническим результатом является повышение достоверности автоматического определения движущихся объектов в поле зрения видеокамеры за счет сочетания быстрого метода определения движущихся объектов и метода нейросетевой обработки. Предложено устройство каскадной обработки потока изображений с помощью сверточной нейронной сети. Устройство содержит блок определения движения, соединенный с блоком нейросетевой фильтрации, который содержит блоки определения обобщенных признаков и блок принятия решения, при этом блок определения движения соединен параллельно со входами блоков определения обобщенных признаков, выходы которых соединены с первым входом блока принятия решения, второй вход которого соединен с выходом блока определения движения. Блок определения движения выполнен с возможностью получения на входе потока изображений, с возможностью определения положения фрагментов изображений с движущимися объектами на последовательных кадрах и передачи информации о положении фрагментов изображений с движущимися объектами в блоки определения обобщенных признаков. 2 н. и 8 з.п. ф-лы, 2 ил.
Description
Изобретение относится к области автоматического анализа изображений, а именно к устройствам и способам каскадной обработки потока изображений с помощью сверточных нейронных сетей, и может быть использовано в системах видеонаблюдения для автоматического определения значимых событий в поле зрения видеокамеры.
Известны способы автоматического анализа изображений [1], которые позволяют выделять движущиеся объекты в поле зрения видеокамеры и использовать при этом сравнительно малопроизводительные вычислительные устройства. В данных способах, как правило, строят модель неподвижной сцены, сравнивают каждый новый кадр видеопотока с построенной моделью и выделяют различия нового кадра и неподвижной сцены. Как правило, выделяют не только движущиеся объекты, но и шум, обусловленный влиянием множества помех: движением нежестких объектов сцены на ветру, переменной освещенностью сцены вследствие влияния внешних движущихся осветителей и переменной облачности. В большинстве случаев к помехам относят движение животных, птиц, насекомых в непосредственной близости от видеокамер. Таким образом, быстродействующие разностные методы определения движущихся объектов имеют проблему различения помех на изображении.
В последнее время для анализа изображений применяют аппарат сверточных нейронных сетей [2, 3], с помощью которого можно отличить события от помех. Однако достоверные результаты анализа изображений на основе нейронных сетей достижимы только с помощью вычислительных устройств с высокой вычислительной мощностью, и для адаптации нейронных сетей к фильтрации помех требуется огромный набор изображений, на которых нейросеть будет обучаться. Объем таких изображений по порядку величины составляет десятки миллионов отдельных картинок, принадлежащих разным сценам, полученным в разных условиях съемки - климатических, географических, временных.
Методы обработки изображений, которые фиксируют изменения на наблюдаемой сцене, известны достаточно давно, при этом недостатки этих методов тоже хорошо изучены [4]. Не смотря на относительно невысокие требования к вычислительной мощности исполнительных устройств, практически каждый метод определения движения обладает следующим главным недостатком: как правило, фиксирует в том числе и такие изменения на сцене, которые не представляют интереса с точки зрения назначения систем видеонаблюдения. К изменениям-помехам относятся: изменение освещенности вследствие переменной облачности или вследствие включения, выключения, движения искусственных источников света, движение объектов сцены из-за ветра, движение теней объектов, движение животных, птиц и насекомых, изменение сцены вследствие хозяйственной деятельности коммунальных служб (уборка, ремонт) и т.д. Классификация всех возможных помех с помощью простых алгоритмических подходов является затруднительной, поэтому предпочтительным является метод обработки изображений с помощью нейронных сетей, которые выполняют классификацию изображений событий, и в результате определяют, является ли изменение изображения помехой или событием, на которое необходимо обращать внимание.
Анализ уровня техники показывает, что до сих пор аппарат нейронных сетей не применяют в полной мере в охранных системах видеонаблюдения. Этому способствует три фактора.
Во-первых, обработку с помощью нейронных сетей успешно осуществляют для изображений с высоким разрешением, а в охранных системах видеонаблюдения, как правило, требуется фиксировать события на изображениях с низким разрешением, поскольку в охранных системах видеонаблюдения стремятся использовать как можно меньше камер, а для этого выбирают объективы видеокамер с широкими углами зрения. Даже переход на видеокамеры высокого разрешения не снижает требования к способности обработки изображений с невысоким разрешением: увеличение разрешения сенсора видеокамеры приводит к тому, что угол обзора видеокамеры увеличивают для того, чтобы использовать как можно меньшее число камер для зоны наблюдения с той же площадью, и в итоге на изображение событий, которые должна выделять система видеонаблюдения, приходится примерно такое же число точек изображения.
Во-вторых, для обучения нейронных сетей требуется, как отмечалось выше, многомиллионный набор изображений. Большинство современных нейронных сетей настраивают на общедоступных базах изображений (например, базах ImageNet, CIFAR, PASCAL и др.), а в них представлены изображения с высоким разрешением, и не представлены изображения с низким разрешением, поэтому попытка применить современные наработки напрямую не дает хороших результатов по достоверности. При этом процесс сбора видеоданных (набора изображений) из действующих систем видеонаблюдения для настройки нейросетей сопряжен с юридическими и организационными проблемами, что затрудняет получение больших наборов изображений с низким разрешением, необходимый для настройки нейронной сети.
В-третьих, операция по обработке одного изображения с помощью эффективных нейронных сетей составляет несколько терафлопов, поскольку нейросети, обладающие высокой достоверностью по определению событий, являются многоуровневыми и состоят из большого числа нейронов. Количество весов у типичной нейронной сети, предназначенной для определения изображений конкретного типа, составляет несколько десятков миллионов чисел. Из-за высоких требований к вычислительным устройствам применение обработки изображений на основе современных сверточных нейронных сетей пока экономически не оправдано в крупных системах видеонаблюдения с большим количеством видеокамер.
Известны устройство и способ [5] обработки изображений с помощью сверточной нейронной сети, в которых классифицируют объект на изображении с помощью сверточной нейронной сети.
Недостатком устройства и способа-прототипа является большая аппаратная вычислительной мощность устройства, требуемая для классификации объекта с помощью только сверточной нейронной сети без использования быстрых методов обработки изображения до этапа обработки сверточной нейронной сетью.
Техническим результатом заявленного изобретения является создание устройства и способа каскадной обработки потока изображений с помощью сверточной нейронной сети с улучшенной достоверностью автоматического определения движущихся объектов в поле зрения видеокамеры, без увеличения аппаратной вычислительной мощности устройства, за счет применения каскада из быстрого метода определения движущихся объектов и метода нейросетевой обработки.
То есть заявленные устройство и способ являются столь же быстродействующими, как известный из уровня техники способ определения движущихся объектов на основе сопоставления с фоновой моделью сцены. При этом в заявленном изобретении также применяется метод настройки нейросети на данных сравнительно небольшого объема.
Поставленный технический результат выполнен путем создания устройства каскадной обработки потока изображений с помощью сверточной нейронной сети, содержащего блок определения движения, соединенный с блоком нейросетевой фильтрации, который содержит блоки определения обобщенных признаков и блок принятия решения, при этом блок определения движения соединен параллельно со входами блоков определения обобщенных признаков, выходы которых соединены с первым входом блока принятия решения, второй вход которого соединен с выходом блока определения движения, причем
- блок определения движения выполнен с возможностью получения на входе потока изображений, с возможностью определения положения фрагментов изображений с движущимися объектами на последовательных кадрах и передачи информации о положении фрагментов изображений с движущимися объектами в блоки определения обобщенных признаков, а также с возможностью определения характеристик движущихся объектов и передачи их в блок принятия решения;
- блоки определения обобщенных признаков выполнены с возможностью получения на входе потока изображений и информации о положении фрагментов изображений с движущимися объектами, с возможностью параллельной обработки фрагментов изображений с движущимися объектами на серии последовательных кадров и определения обобщенных признаков движущихся объектов с помощью каскада из сверток и нелинейных преобразований посредством сверточной нейронной сети, а также с возможностью передачи обобщенных признаков в
- блок принятия решения, который выполнен с возможностью обработки обобщенных признаков и характеристик движущихся объектов, при этом принятия решения о том, являются движущиеся объекты помехами или действительными объектами.
В предпочтительном варианте осуществления устройства блок определения движения выполнен с возможностью определения характеристик движущихся объектов, таких как текстура и траектория движения.
В предпочтительном варианте осуществления устройства блок принятия решений состоит из последовательности полносвязных слоев.
В предпочтительном варианте осуществления устройства в каждом из параллельных блоков определения обобщенных признаков веса сверток выполнены с возможностью предварительной настройки с помощью большого количества изображений из открытых источников, а затем тонкой настройки на тех изображениях, с которыми предстоит работать в качестве исходных изображений потока.
В предпочтительном варианте осуществления устройства сверточная нейронная сеть адаптирована для изображений низкого разрешения.
Поставленный технический результат выполнен также путем создания способа каскадной обработки потока изображений с помощью сверточной нейронной сети, в котором
- с помощью блока определения движения получают на входе поток изображений, определяют положения фрагментов изображений с движущимися объектами на последовательных кадрах и передают информациию о положении фрагментов изображений с движущимися объектами в блоки определения обобщенных признаков, а также определяют характеристики движущихся объектов и передают их в блок принятия решения;
- с помощью блока определения обобщенных признаков получают на его входе поток изображений и информацию о положении фрагментов изображений с движущимися объектами, параллельно обрабатывают фрагменты изображений с движущимися объектами на серии последовательных кадров и определяют обобщенные признаки движущихся объектов с помощью каскада из сверток и нелинейных преобразований посредством сверточной нейронной сети, а также передают обобщенные признаки в
- блок принятия решения, с помощью которого обрабатывают обобщенные признаки и характеристики движущихся объектов, при этом принимают решение о том, являются движущиеся объекты помехами или действительными объектами.
В предпочтительном варианте осуществления способа определяют характеристики движущихся объектов, такие как текстура и траектория движения.
В предпочтительном варианте осуществления способа блок принятия решений состоит из последовательности полносвязных слоев.
В предпочтительном варианте осуществления способа с помощью каждого из параллельных блоков определения обобщенных признаков с помощью весов сверток осуществляют предварительную настройку, используя большое количество изображений из открытых источников, а затем тонкую настройку на тех изображениях, с которыми предстоит работать в качестве исходных изображений потока.
В предпочтительном варианте осуществления способа сверточная нейронная сеть адаптирована для изображений низкого разрешения.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг. 1.
Элементы:
1 - блок определения движения;
2 - блок нейросетевой фильтрации;
3 - блоки определения обобщенных признаков;
4 - блок принятия решения.
Рассмотрим более подробно функционирование заявленных устройства и способа каскадной обработки потока изображений, представленных на фиг. 1 и 2.
Обработку потока изображений осуществляют два основных блока, блок 1 определения движения и блок 2 нейросетевой фильтрации. Блок 1 определения движения осуществляет первичное определение движущихся объектов с помощью быстрого типа обработки изображений. Дополнительно блок 1 определения движения вычисляет различные характеристики объекта, описывающие его текстуру и траекторию, блок 2 нейросетевой фильтрации функционирует на основе нейросети, имеющей архитектуру. Блок 2 нейросетевой фильтрации состоит из блоков 3 определения обобщенных признаков объектов с помощью каскада из сверток и нелинейных преобразований, и блока 4 принятия решения, состоящего из некоторой последовательности полносвязных слоев. В качестве входа блок 4 принятия решения принимает на вход помимо обобщенных признаков, определенных с помощью каскада сверток, свойства объектов, вычисленных блоком 1 определения движения.
Блоки 3 определения обобщенных признаков соединены параллельно и применяются к изображениям объекта на последовательных кадрах потока изображений. При такой структуре нейросети сначала производят предварительную настройку весов сверток в каждом из параллельных блоков 3 с помощью изображений из открытых источников с большим количеством примеров, а затем производят тонкую настройку на тех изображениях, с которыми предстоит работать в системах видеонаблюдения. Тем самым решается проблема набора большого количества примеров изображений.
За счет того, что нейросеть ориентирована на изображения малого разрешения, количество весов в нейронах в ней может быть существенно меньше, чем в нейросетях, предназначенных для обработки изображений высокого разрешения. Кроме того, нейросеть применяют не для каждого фрагмента изображения, а только для каждого потенциального объекта, который выделят блок 1 определения движения. Отсюда следует, что блок 2 нейросетевой фильтрации функционирует с существенно более низкой частотой, чем частота обработки кадров, и поэтому применение такого блока не повышает существенно уровень требований к вычислительной мощности исполнительных устройств.
Применяемый в заявленном изобретении каскад из блока 1 определения движения и блока 2 нейросетевой фильтрации позволяет, с одной стороны, существенно сократить время обработки изображений блоком 2 нейросетевой фильтрации, поскольку нейросеть применяется не к каждому фрагменту изображения по методу сканирующего окна с перебором масштаба, а лишь к тем фрагментам, которые выдает блок 1 определения движения, а с другой стороны, существенная доля ошибок нейросетей при классификации изображений компенсируется тем, что на ее вход подают не все множество фрагментов кадра изображения, а только те фрагменты, которые могут потенциально представлять интерес. Применение данного каскада стало возможным благодаря отличительным свойствам архитектуры нейронной сети, представленной на фиг. 2. Во-первых, применение отдельных блоков 3 определения обобщенных признаков к каждому кадру изображения позволяет формировать признаки с учетом особенностей движения объектов: зачастую понять, является ли изображение низкого разрешения помехой, можно только с помощью наблюдения за изображением на последовательных кадрах. Во-вторых, использование отдельных блоков 3 определения обобщенных признаков позволяет производить их предварительную настройку на большом объеме данных из открытых баз данных изображений, и затем производить тонкую настройку нейронной сети на данных ограниченного объема, полученных в процессе реальной эксплуатации видеосистем. В-третьих, поскольку в системах видеонаблюдения требуется обрабатывать в том числе изображения низкого разрешения, используемые в заявленном изобретении сверточные нейронные сети для формирования обобщенных признаков адаптированы к изображениям малого разрешения, и за счет этого используют меньше вычислительных операций, чем известные нейросети для обработки изображений. В-четвертых, блок 4 принятия решения помимо обобщенных признаков, сформированных блоками 3 сверточных нейронных сетей, использует также характеристики траектории и текстуры объектов, которые предоставлет блок 1 определения движения, что существенно повышает достоверность классификации изображений по категориям «действительный объект» или «помеха».
Как и любая архитектура нейронной сети, заявленная архитектура допускает дополнительную тонкую настройку на конкретных сценах, которые контролируются системами видеонаблюдения, с помощью так называемой процедуры дообучения на новых изображениях, с целью повышения достоверности фильтрации помех.
Быстродействие заявленных устройства и способа достигается за счет каскадирования двух блоков, блока определения движения и блока нейросетевой фильтрации.
Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.
СПИСОК ЛИТЕРАТУРЫ
1. N. Goyette, Р.-М. Jodoin, F. Porikli, J. Konrad, and P. Ishwar, changedetection.net: A new change detection benchmark dataset, in Proc. IEEE Workshop on Change Detection (CDW-2012) at CVPR-2012, Providence, RI, 16-21 Jun., 2012.
2. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. - 2012. - C. 1097-1105.
3. Redmon J. et al. You only look once: Unified, real-time object detection // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - C. 779-788.
4. Сравнение методов разностного выделения движущихся объектов, http://www.changedetection.net, дата обращения 14.03.2017.
5. US 2016140424 (A1), 19.05.2016, Object-centric Fine-grained Image Classification.
Claims (16)
1. Устройство каскадной обработки потока изображений с помощью сверточной нейронной сети, содержащее блок определения движения, соединенный с блоком нейросетевой фильтрации, который содержит блоки определения обобщенных признаков и блок принятия решения, при этом блок определения движения соединен параллельно со входами блоков определения обобщенных признаков, выходы которых соединены с первым входом блока принятия решения, второй вход которого соединен с выходом блока определения движения, причем:
- блок определения движения выполнен с возможностью получения на входе потока изображений, с возможностью определения положения фрагментов изображений с движущимися объектами на последовательных кадрах и передачи информации о положении фрагментов изображений с движущимися объектами в блоки определения обобщенных признаков, а также с возможностью определения характеристик движущихся объектов и передачи их в блок принятия решения;
- блоки определения обобщенных признаков выполнены с возможностью получения на входе потока изображений и информации о положении фрагментов изображений с движущимися объектами, с возможностью параллельной обработки фрагментов изображений с движущимися объектами на серии последовательных кадров и определения обобщенных признаков движущихся объектов с помощью каскада из сверток и нелинейных преобразований посредством сверточной нейронной сети, а также с возможностью передачи обобщенных признаков в
- блок принятия решения, который выполнен с возможностью обработки обобщенных признаков и характеристик движущихся объектов, при этом принятия решения о том, являются движущиеся объекты помехами или действительными объектами.
2. Устройство по п. 1, отличающееся тем, что блок определения движения выполнен с возможностью определения характеристик движущихся объектов, таких как текстура и траектория движения.
3. Устройство по п. 1, отличающееся тем, что блок принятия решений состоит из последовательности полносвязных слоев.
4. Устройство по п. 1, отличающееся тем, что в каждом из параллельных блоков определения обобщенных признаков веса сверток выполнены с возможностью предварительной настройки с помощью большого количества изображений из открытых источников, а затем тонкой настройки на тех изображениях, с которыми предстоит работать в качестве исходных изображений потока.
5. Устройство по п. 1, отличающееся тем, что сверточная нейронная сеть адаптирована для изображений низкого разрешения.
6. Способ каскадной обработки потока изображений с помощью сверточной нейронной сети, в котором:
- с помощью блока определения движения получают на входе поток изображений, определяют положения фрагментов изображений с движущимися объектами на последовательных кадрах и передают информациию о положении фрагментов изображений с движущимися объектами в блоки определения обобщенных признаков, а также определяют характеристики движущихся объектов и передают их в блок принятия решения;
- с помощью блока определения обобщенных признаков получают на его входе поток изображений и информацию о положении фрагментов изображений с движущимися объектами, параллельно обрабатывают фрагменты изображений с движущимися объектами на серии последовательных кадров и определяют обобщенные признаки движущихся объектов с помощью каскада из сверток и нелинейных преобразований посредством сверточной нейронной сети, а также передают обобщенные признаки в
- блок принятия решения, с помощью которого обрабатывают обобщенные признаки и характеристики движущихся объектов, при этом принимают решение о том, являются движущиеся объекты помехами или действительными объектами.
7. Способ по п. 6, отличающийся тем, что определяют характеристики движущихся объектов, такие как текстура и траектория движения.
8. Способ по п. 6, отличающийся тем, что блок принятия решений состоит из последовательности полносвязных слоев.
9. Способ по п. 6, отличающийся тем, что с помощью каждого из параллельных блоков определения обобщенных признаков с помощью весов сверток осуществляют предварительную настройку, используя большое количество изображений из открытых источников, а затем тонкую настройку на тех изображениях, с которыми предстоит работать в качестве исходных изображений потока.
10. Способ по п. 6, отличающийся тем, что сверточная нейронная сеть адаптирована для изображений низкого разрешения.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017110058A RU2651147C1 (ru) | 2017-03-27 | 2017-03-27 | Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017110058A RU2651147C1 (ru) | 2017-03-27 | 2017-03-27 | Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2651147C1 true RU2651147C1 (ru) | 2018-04-18 |
Family
ID=61977092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017110058A RU2651147C1 (ru) | 2017-03-27 | 2017-03-27 | Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2651147C1 (ru) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2697613C1 (ru) * | 2018-11-20 | 2019-08-15 | Общество с ограниченной ответственностью "Вокорд СофтЛаб" | Способ распознавания объектов с помощью нейронных сетей |
| RU2713850C1 (ru) * | 2018-12-10 | 2020-02-07 | Федеральное государственное бюджетное учреждение науки Институт теплофизики им. С.С. Кутателадзе Сибирского отделения Российской академии наук (ИТ СО РАН) | Система мониторинга режимов горения топлива путем анализа изображений факела при помощи классификатора на основе свёрточной нейронной сети |
| RU2718419C1 (ru) * | 2018-12-21 | 2020-04-02 | Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") | Интеллектуальная космическая система для мониторинга участков недропользования открытого типа |
| US10635951B1 (en) | 2018-10-24 | 2020-04-28 | Alibaba Group Holding Limited | Fast computation of a convolutional neural network |
| RU201367U1 (ru) * | 2020-07-28 | 2020-12-11 | Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») | Система детектирования беспилотных летальных аппаратов (бпла) |
| RU2743886C1 (ru) * | 2020-08-21 | 2021-03-01 | Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») | Система и способ автоматической настройки комплекса технического зрения |
| RU2746394C1 (ru) * | 2020-07-28 | 2021-04-13 | Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") | Система и способ детектирования беспилотных летальных аппаратов (бпла) |
| RU2764395C1 (ru) * | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625707A (en) * | 1993-04-29 | 1997-04-29 | Canon Inc. | Training a neural network using centroid dithering by randomly displacing a template |
| RU2424561C2 (ru) * | 2005-08-31 | 2011-07-20 | Майкрософт Корпорейшн | Обучение сверточных нейронных сетей на графических процессорах |
| RU2476825C2 (ru) * | 2011-03-01 | 2013-02-27 | Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) | Способ управления движущимся объектом и устройство для его осуществления |
| US20160140424A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Object-centric Fine-grained Image Classification |
| US20160148079A1 (en) * | 2014-11-21 | 2016-05-26 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
| US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
-
2017
- 2017-03-27 RU RU2017110058A patent/RU2651147C1/ru active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625707A (en) * | 1993-04-29 | 1997-04-29 | Canon Inc. | Training a neural network using centroid dithering by randomly displacing a template |
| RU2424561C2 (ru) * | 2005-08-31 | 2011-07-20 | Майкрософт Корпорейшн | Обучение сверточных нейронных сетей на графических процессорах |
| RU2476825C2 (ru) * | 2011-03-01 | 2013-02-27 | Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) | Способ управления движущимся объектом и устройство для его осуществления |
| US20160140424A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Object-centric Fine-grained Image Classification |
| US20160148079A1 (en) * | 2014-11-21 | 2016-05-26 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
| US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10635951B1 (en) | 2018-10-24 | 2020-04-28 | Alibaba Group Holding Limited | Fast computation of a convolutional neural network |
| RU2722473C1 (ru) * | 2018-10-24 | 2020-06-01 | Алибаба Груп Холдинг Лимитед | Быстрое вычисление сверточной нейронной сети |
| RU2697613C1 (ru) * | 2018-11-20 | 2019-08-15 | Общество с ограниченной ответственностью "Вокорд СофтЛаб" | Способ распознавания объектов с помощью нейронных сетей |
| RU2697613C9 (ru) * | 2018-11-20 | 2022-04-15 | Хуавей Текнолоджис Ко., Лтд. | Способ распознавания объектов с помощью нейронных сетей |
| RU2713850C1 (ru) * | 2018-12-10 | 2020-02-07 | Федеральное государственное бюджетное учреждение науки Институт теплофизики им. С.С. Кутателадзе Сибирского отделения Российской академии наук (ИТ СО РАН) | Система мониторинга режимов горения топлива путем анализа изображений факела при помощи классификатора на основе свёрточной нейронной сети |
| RU2718419C1 (ru) * | 2018-12-21 | 2020-04-02 | Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") | Интеллектуальная космическая система для мониторинга участков недропользования открытого типа |
| RU201367U1 (ru) * | 2020-07-28 | 2020-12-11 | Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») | Система детектирования беспилотных летальных аппаратов (бпла) |
| RU2746394C1 (ru) * | 2020-07-28 | 2021-04-13 | Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") | Система и способ детектирования беспилотных летальных аппаратов (бпла) |
| RU2743886C1 (ru) * | 2020-08-21 | 2021-03-01 | Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») | Система и способ автоматической настройки комплекса технического зрения |
| RU2764395C1 (ru) * | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
| US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2651147C1 (ru) | Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей | |
| Kim et al. | Transfer learning for automated optical inspection | |
| EP3631756B1 (en) | Block-matching optical flow and stereo vision for dynamic vision sensors | |
| US9830736B2 (en) | Segmenting objects in multimedia data | |
| CN105930822A (zh) | 一种人脸抓拍方法及系统 | |
| Li et al. | Foreground object detection in changing background based on color co-occurrence statistics | |
| RU173468U1 (ru) | Устройство каскадной обработки потока изображений с помощью свёрточных нейронных сетей | |
| US10089551B2 (en) | Self-optimized object detection using online detector selection | |
| CN111191535B (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
| CN109800329B (zh) | 一种监控方法及装置 | |
| CN116402852A (zh) | 基于事件相机的动态高速目标追踪方法及装置 | |
| Zhang et al. | Multi-domain collaborative feature representation for robust visual object tracking | |
| Singh et al. | Animal localization in camera-trap images with complex backgrounds | |
| Wang et al. | Video SAR ground moving target indication based on multi-target tracking neural network | |
| JP6935850B2 (ja) | 情報処理装置、方法、およびプログラム | |
| CN114741185A (zh) | 面向多目标视频监控的边缘计算系统及其工作方法 | |
| Raghavendra et al. | A novel image fusion scheme for robust multiple face recognition with light-field camera | |
| Tiwari | A pattern classification based approach for blur classification | |
| CN111480180B (zh) | 用于检测和跟踪目标的方法和装置、光电设备 | |
| CN115767424A (zh) | 一种基于rss与csi融合的视频定位方法 | |
| Pandey et al. | Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos | |
| Dash et al. | Blur parameter identification using support vector machine | |
| Al-Hadrusi et al. | Efficient control of PTZ cameras in automated video surveillance systems | |
| CN111476129A (zh) | 一种基于深度学习的土壤杂质检测方法 | |
| Rabidas et al. | Investigation and Improvement of VGG based Encoder-Decoder Architecture for Background Subtraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| QB4A | Licence on use of patent |
Free format text: LICENCE FORMERLY AGREED ON 20191211 Effective date: 20191211 |