RU2697613C9 - Method of objects recognition using neural networks - Google Patents

Method of objects recognition using neural networks Download PDF

Info

Publication number
RU2697613C9
RU2697613C9 RU2018140925A RU2018140925A RU2697613C9 RU 2697613 C9 RU2697613 C9 RU 2697613C9 RU 2018140925 A RU2018140925 A RU 2018140925A RU 2018140925 A RU2018140925 A RU 2018140925A RU 2697613 C9 RU2697613 C9 RU 2697613C9
Authority
RU
Russia
Prior art keywords
objects
camera
neural network
interest
neural networks
Prior art date
Application number
RU2018140925A
Other languages
Russian (ru)
Other versions
RU2697613C1 (en
Inventor
Алексей Андреевич Кадейшвили
Александр Юрьевич Соколов
Original Assignee
Хуавей Текнолоджис Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Хуавей Текнолоджис Ко., Лтд. filed Critical Хуавей Текнолоджис Ко., Лтд.
Priority to RU2018140925A priority Critical patent/RU2697613C9/en
Application granted granted Critical
Publication of RU2697613C1 publication Critical patent/RU2697613C1/en
Publication of RU2697613C9 publication Critical patent/RU2697613C9/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

FIELD: data processing.SUBSTANCE: invention relates to object recognition. Obtaining an image of an object using a camera comprising an image frame processing module using one or a plurality of multiple neural networks F, detecting using said image module and selecting image regions Oiwith objects of interest, transferring image regions Oiwith selected objects of interest at input of one or plurality of several neural networks F inside chamber, calculating, along selected areas, significant features of objects f(Oi), transmitting same image regions Oiwith selected areas of interest to third-party more powerful server, on which the second one or more complex neural networks G is installed, significant features of objects g(Oi) on external neural network G, transmitting back to camera features of objects g(Oi), performing neural network re-education in chamber F using images accumulated in the camera Oiand values of feature vectors g(i) calculated using an external neural network G.EFFECT: high speed and reliability of identifying objects with a camera by training a neural network built into the camera using a more powerful external neural network.5 cl, 3 dwg, 5 tbl

Description

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

Настоящее изобретение относится к области распознавания объектов, а именно к способам распознавания объектов с помощью нейронных сетей, при которых: получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений Oi с объектами интереса, передают областей изображений Oi с выделенными объектами интереса, на вход одной или совокупности нескольких нейронных сетей F внутри камеры, вычисляют по выделенным областям значимые признаки объектов f(Oi), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере.The present invention relates to the field of object recognition, namely to methods for recognizing objects using neural networks, in which: an image of an object is obtained using a camera containing an image frame processing module using one or a combination of several neural networks F, detected using the specified processing module image frames and allocate image areas O i with objects of interest, transmit image areas O i with selected objects of interest, to the input of one or a combination of several neural networks F inside the camera, calculate significant features of objects f(O i ) necessary for recognition from the selected areas objects in the search list stored inside the camera or on a third-party server.

В данном описании используются следующие термины:In this description, the following terms are used:

Искусственная нейронная сеть (нейронная сеть) - математическая модель, а также ее программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Она представляет собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее будучи соединенными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.Artificial neural network (neural network) - a mathematical model, as well as its software or hardware implementation, built on the principle of organization and functioning of biological neural networks - networks of nerve cells of a living organism. It is a system of connected and interacting simple processors (artificial neurons). Such processors are usually quite simple (especially when compared to the processors used in personal computers). Each processor in such a network deals only with the signals it periodically receives and the signals it periodically sends to other processors. Nevertheless, when connected in a sufficiently large network with controlled interaction, such individually simple processors together are able to perform quite complex tasks.

Объект интереса - область на изображении, содержащая распознаваемый объект. Например, может стоять задача распознавания автомобильных номеров, тогда на кадрах изображения будут выделены и будут подвергнуты распознаванию только те области, которые содержат изображения автомобильного номера. Или это могут быть лица людей в потоке.An object of interest is an area in an image that contains a recognizable object. For example, there may be a task of recognizing license plates, then on the image frames only those areas that contain images of a license plate will be selected and subjected to recognition. Or it could be the faces of the people in the stream.

Значимые признаки объектов - те признаки распознаваемых объектов, которые содержатся в базе данных, списке поиска, хранящемся внутри камеры или на стороннем сервере. Например, для примера выше - собственно база данных автомобильных номеров или база данных ФИО людей.Significant features of objects are those features of recognizable objects that are contained in the database, the search list stored inside the camera or on a third-party server. For example, for the example above - the actual database of license plates or the database of people's full names.

Сервер (англ. server) - электронное устройство, выполняющее сервисные функции по запросу клиента, предоставляя ему доступ к определенным ресурсам. В целях настоящего описания рассматривается сервер, имеющий постоянное подключение к объединенной сети, которая может передавать данные на сервер с клиентских устройств. Сервер может обрабатывать эти данные и передавать результат обработки обратно на клиентское устройство.Server (English server) - an electronic device that performs service functions at the request of the client, providing him with access to certain resources. For the purposes of this description, a server is considered that has a permanent connection to an internetwork that can transmit data to the server from client devices. The server can process this data and send the result of processing back to the client device.

Камера - устройство захвата и сохранение изображения, фотоаппарат, видеокамера и аналогичные им устройства.Camera - a device for capturing and storing images, a camera, a video camera and similar devices.

Уровень техникиState of the art

В настоящее время проблема распознавания объектов становится все более актуальной. И к ней предъявляются все более высокие требования. Становится важным решить задачу быстрого и точного распознавания объектов, например автомобильных номеров в быстродвижущимся потоке автомобилей.Currently, the problem of object recognition is becoming more and more relevant. And ever higher demands are placed on it. It becomes important to solve the problem of fast and accurate recognition of objects, such as license plates in a fast-moving stream of cars.

Для этого используют камеры, которые получают изображение, которое потом обрабатывается в расположенном в камере модуле обработки кадров с применением нейронной сети. Так, известен способ распознавания объектов с помощью нейронных сетей, при котором: получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений Oi с объектами интереса, передают областей изображений Oi с выделенными объектами интереса, на вход одной или совокупности нескольких нейронных сетей F внутри камеры, вычисляют по выделенным областям значимые признаки объектов f(Oi), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере. Такой способ описан в патенте РФ №2651147, опубликованном в 2018 году.For this, cameras are used that receive an image, which is then processed in the frame processing module located in the camera using a neural network. Thus, a method for recognizing objects using neural networks is known, in which: an image of an object is obtained using a camera containing an image frame processing module using one or a combination of several neural networks F, detected using the specified image frame processing module, and image areas O i with objects of interest, image areas O i with selected objects of interest are transmitted to the input of one or a combination of several neural networks F inside the camera, significant features of objects f(O i ) are calculated from the selected areas, necessary for recognizing objects in the search list stored inside the camera or on a third party server. This method is described in RF patent No. 2651147, published in 2018.

Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения.This method is the closest in technical essence and achieved technical result and is chosen as the prototype of the present invention.

Недостатком этого прототипа является недостаточная достоверность распознавания и невысокая скорость распознавания объектов.The disadvantage of this prototype is the lack of reliability of recognition and the low rate of recognition of objects.

Действительно, так как все процессы распознавания происходят в расположенном в камере модуле обработки кадров, то очевидно, что при практическом применении ее мощности ограничены. И при большом потоке кадров, содержащих разные объекты интереса, их не хватит для качественного, достоверного распознавания, при этом скорость распознавания будет невысокой.Indeed, since all recognition processes take place in the frame processing module located in the camera, it is obvious that its power is limited in practical application. And with a large stream of frames containing different objects of interest, they will not be enough for high-quality, reliable recognition, while the recognition rate will be low.

Раскрытие изобретенияDisclosure of invention

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ распознавания объектов с помощью нейронных сетей, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно обеспечить повышение скорости и достоверности распознавания объектов одной камерой за счет обучения встроенной в камеру нейронной сети с помощью более мощной внешней нейронной сети, что и является поставленной технической задачей настоящего изобретения.Based on this original observation, the present invention mainly aims to propose a method for object recognition using neural networks, which allows at least to mitigate at least one of the above disadvantages, namely, to increase the speed and reliability of object recognition with a single camera. by training the neural network built into the camera using a more powerful external neural network, which is the technical task of the present invention.

Для достижения этой цели способ дополнительно сдержит этапы, при которых:To achieve this goal, the method further comprises the steps of:

• передают те же самые области изображений Oi с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса,• transfer the same image areas O i with selected areas of interest to a third-party more powerful server, on which the second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest,

• вычисляют по выделенным областям значимые признаки объектов g(Oi) на внешней нейронной сети G,• calculate the significant features of objects g(O i ) on the external neural network G from the selected areas,

• передают обратно в камеру признаки объектов g(Oi),• transmit object features g(O i ) back to the camera,

• производят переобучение нейронной сети в камере F в процессе ее эксплуатации в режиме отложенного или реального времени, с использованием накопленных в камере изображений Oi и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.• the neural network is retrained in the camera F during its operation in the delayed or real time mode, using the images O i accumulated in the camera and the values of the feature vectors g(i) calculated using the external neural network G.

Альтернативно существует примерно такое же решение, которое несколько отличается, но все же является независимым, а именно:Alternatively, there is a similar solution that is somewhat different, but still independent, namely:

• передают те же самые области изображений Oi с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса,• transfer the same image areas O i with selected areas of interest to a third-party more powerful server, on which the second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest,

• вычисляют по выделенным областям значимые признаки объектов g(Oi) на внешней нейронной сети G,• calculate the significant features of objects g(O i ) on the external neural network G from the selected areas,

• производят переобучение нейронной сети F на удаленном сервере, с использованием накопленных изображений Oi и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.• the neural network F is retrained on a remote server using the accumulated images O i and the values of the feature vectors g(i) calculated using the external neural network G.

• передают обратно в камеру переобученную нейронную сеть F.• transmit the retrained neural network F back to the camera.

Благодаря данным выгодным характеристикам появляется возможность подключать сторонние ресурсы с одной или несколько более сложными нейронными сетями, и с их помощью производить переобучение нейронной сети в камере (первый вариант) в процессе ее эксплуатации в режиме отложенного или реального времени или (второй вариант) производить переобучение нейронной сети F на удаленном сервере и передавать обратно в камеру переобученную нейронную сеть F.Thanks to these advantageous characteristics, it becomes possible to connect third-party resources with one or more more complex neural networks, and with their help to retrain the neural network in the camera (first option) during its operation in deferred or real time mode or (second option) to retrain the neural network network F on a remote server and send the retrained neural network F back to the camera.

Это все позволяет с помощью более мощных внешних ресурсов быстрее производить переобучение нейронной сети в камере F и впоследствии быстрее и точнее осуществлять распознавание объектов.All this allows, with the help of more powerful external resources, to quickly retrain the neural network in camera F and subsequently perform object recognition faster and more accurately.

Существует также вариант изобретения, в котором осуществляют переобучение нейронной сети F с использованием нормы разности || f(Oi)-g(Oi) || в функции потерь в методе обратного распространения ошибки.There is also a variant of the invention in which the neural network F is retrained using the difference norm || f(O i )-g(O i ) || in the loss function in the backpropagation method.

Благодаря данным выгодным характеристикам появляется возможность конкретной реализации механизма переобучения нейронной сети F.Thanks to these advantageous characteristics, it becomes possible to specifically implement the retraining mechanism of the neural network F.

Существует также вариант изобретения, в котором осуществляют переобучение нейронной сети F с использованием нормы разности || f(Oi)-<g(Oi)> || в функции потерь в методе обратного распространения ошибки, где <g(Oi)> - среднее значение вектора признаков, усредненного по всем Oi, принадлежащим одному классу объектов.There is also a variant of the invention in which the neural network F is retrained using the difference norm || f(O i )-<g(O i )> || in the loss function in the backpropagation method, where <g(O i )> is the average value of the feature vector averaged over all O i belonging to the same class of objects.

Благодаря данным выгодным характеристикам появляется еще одна возможность конкретной реализации механизма переобучения нейронной сети F.Thanks to these advantageous characteristics, there is another possibility of concrete implementation of the retraining mechanism of the neural network F.

Существует еще один вариант изобретения, в котором осуществляют переобучение нейронной сети F с использованием нормы разности ||f(Oi)-g(Oi)||+λ||<f(Oi)>-f(Oi)||, где <f(Oi)> - центр для f(Oi), а λ - параметр регуляризации.There is another variant of the invention, in which the neural network F is retrained using the difference norm ||f(O i )-g(O i )||+λ||<f(O i )>-f(O i )| |, where <f(O i )> is the center for f(O i ) and λ is the regularization parameter.

Благодаря данным выгодным характеристикам появляется еще одна возможность конкретной реализации механизма переобучения нейронной сети F.Thanks to these advantageous characteristics, there is another possibility of concrete implementation of the retraining mechanism of the neural network F.

Совокупность существенных признаков предлагаемого изобретения не известна из уровня техники для способов аналогичного назначения, что позволяет сделать вывод о соответствии критерию «новизна» для изобретения в отношении способа. Неочевидность решения и глобальность решаемой задачи, которая до сих пор оставалась нерешенной, говорит о неочевидности решения для специалиста в данной области техники и, таким образом, о соответствии изобретения критерию «изобретательский уровень».The set of essential features of the invention is not known from the prior art for methods of similar purpose, which allows us to conclude that the criterion of "novelty" for the invention in relation to the method. The non-obviousness of the solution and the global nature of the problem being solved, which has so far remained unsolved, indicates the non-obviousness of the solution for a specialist in this field of technology and, thus, the compliance of the invention with the criterion of "inventive step".

Краткое описание чертежейBrief description of the drawings

Другие отличительные признаки и преимущества данного изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:Other features and advantages of the present invention will be clear from the description which follows, by way of illustration and without being restrictive, with reference to the accompanying drawings, in which:

- фигура 1 схематично изображает систему распознавания объектов с помощью нейронных сетей, согласно изобретению,- figure 1 schematically depicts an object recognition system using neural networks, according to the invention,

- фигура 2 схематично изображает этапы способа распознавания объектов с помощью нейронных сетей, согласно первому независимому пункт формулы изобретения,- figure 2 schematically depicts the steps of the method of object recognition using neural networks, according to the first independent claim,

- фигура 3 схематично изображает этапы способа распознавания объектов с помощью нейронных сетей, согласно второму независимому пункт формулы изобретения.- figure 3 schematically depicts the steps of the method of object recognition using neural networks, according to the second independent claim.

Согласно фигуре 1 получают изображение объекта или объектов 1 с помощью камеры 2, содержащей модуль 21 обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F. Детектируют с помощью указанного модуля 21 обработки кадров изображения и выделяют области изображений Oi с объектами интереса, 11. Передают области изображений Oi с выделенными областями интереса стороннему более мощному серверу 3, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса, расположенная в модуле 31.According to figure 1, an image of an object or objects 1 is obtained using a camera 2 containing an image frame processing module 21 using one or a combination of several neural networks F. Detected using the specified image frame processing module 21 and select image areas O i with objects of interest, 11 The image areas O i with selected areas of interest are transmitted to a third-party more powerful server 3, on which the second one or more more complex neural networks G are installed, characterized by smaller errors in the classification of objects of interest, located in module 31.

Передачу сигналов осуществляют любым доступным способом, преимущественно через беспроводное соединение через объединенную сеть 4, которая включает в себя различные топологии, конфигурации и компоновки компонентов межсетевого соединения, выполненные с возможностью соединять между собой корпоративные, глобальные и локальные вычислительные сети, и включает в себя, без ограничения, традиционные проводные, беспроводные, спутниковые, оптические и эквивалентные сетевые технологии. Преимущественно, в качестве объединенной сети обычно используется сеть интернет.The transmission of signals is carried out in any available way, mainly through a wireless connection through the unified network 4, which includes various topologies, configurations and layouts of interconnection components, made with the ability to interconnect corporate, global and local computer networks, and includes, without limitations, traditional wired, wireless, satellite, optical and equivalent network technologies. Preferably, the internet is usually used as the internetwork.

Осуществление изобретенияImplementation of the invention

Способ распознавания объектов с помощью нейронных сетей работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения. Имея в виду, что данный пример не ограничивает применения изобретения.The method of object recognition using neural networks works as follows. We give the most comprehensive example of the implementation of the invention. Bearing in mind that this example does not limit the application of the invention.

Согласно фигурам 2 и 3:According to figures 2 and 3:

Этап А1. Получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F.Stage A1. An image of an object is obtained using a camera containing an image frame processing module using one or a combination of several neural networks F.

Этап А2. Детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений Oi с объектами интереса.Stage A2. Detected using the specified image frame processing module and allocate image areas O i with objects of interest.

Этап A3. Передают области изображений Oi с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры. Или передают те же самые области изображений Oi с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса.Stage A3. The image areas O i with selected objects of interest are transmitted to the input of one or a combination of several neural networks F inside the camera. Or transfer the same areas of images O i with selected areas of interest to a third-party more powerful server on which a second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest.

Этап А4. Вычисляют по выделенным областям значимых признаков объектов g(Oi) на внешней нейронной сети G.Stage A4. Calculate from the selected areas of significant features of objects g(O i ) on the external neural network G.

Этап А5. Передают обратно в камеру признаки объектов g(Oi).Stage A5. The features of the objects g(O i ) are transmitted back to the camera.

Этап А6. Производят переобучение нейронной сети в камере F в процессе ее эксплуатации в режиме отложенного или реального времени, с использованием накопленных в камере изображений Oi и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.Stage A6. The neural network is retrained in the camera F during its operation in the delayed or real time mode, using the images O i accumulated in the camera and the values of the feature vectors g(i) calculated using the external neural network G.

Этап А7. Вычисляют по выделенным областям значимые признаки объектов f(Oi), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере.Stage A7. Significant features of objects f(O i ) are calculated from the selected areas, which are necessary for recognizing objects in the search list stored inside the camera or on a third-party server.

Этап В1. Получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F.Stage B1. An image of an object is obtained using a camera containing an image frame processing module using one or a combination of several neural networks F.

Этап В2. Детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений Oi с объектами интереса.Stage B2. Detected using the specified image frame processing module and allocate image areas O i with objects of interest.

Этап В3. Передают области изображений Oi с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры. Или передают те же самые области изображений Oi с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса.Stage B3. The image areas O i with selected objects of interest are transmitted to the input of one or a combination of several neural networks F inside the camera. Or transfer the same areas of images O i with selected areas of interest to a third-party more powerful server on which a second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest.

Этап В4. Вычисляют по выделенным областям значимые признаки объектов g(Oi) на внешней нейронной сети G.Stage B4. Significant features of objects g(O i ) are calculated from the selected areas on the external neural network G.

Этап В5. Производят переобучение нейронной сети F на удаленном сервере, с использованием накопленных изображений Oi и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.Stage B5. The neural network F is retrained on a remote server using the accumulated images O i and the values of the feature vectors g(i) calculated using the external neural network G.

Этап В6. Передают обратно в камеру переобученную нейронную сеть F.Stage B6. The retrained neural network F is transmitted back to the camera.

Этап В7. Вычисляют по выделенным областям значимые признаки объектов f(Oi), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере.Stage B7. Significant features of objects f(O i ) are calculated from the selected areas, which are necessary for recognizing objects in the search list stored inside the camera or on a third-party server.

Последовательность этапов может быть изменена без потери возможности производить распознавание и переобучение нейронной сети.The sequence of stages can be changed without losing the ability to recognize and retrain the neural network.

Промышленная применимостьIndustrial Applicability

Предлагаемый способ распознавания объектов с помощью нейронных сетей может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.The proposed method for recognizing objects using neural networks can be implemented by a specialist in practice and, when implemented, ensures the implementation of the stated purpose, which allows us to conclude that the invention meets the criterion of "industrial applicability".

В соответствии с предложенным изобретением изготовлена опытная система распознавания объектов с помощью нейронных сетей, то есть испытаны серверы, специально сконфигурированные с возможностью обработки всех данных и камера, содержащая модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей.In accordance with the proposed invention, an experimental object recognition system using neural networks was made, that is, servers specially configured to process all data and a camera containing an image frame processing module using one or a combination of several neural networks were tested.

Испытания опытной системы показали, что она обеспечивает возможность:Tests of the pilot system have shown that it provides the ability to:

- автоматического обучения одиночной камеры, производящей получение и обработку изображений за счет подключения к более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса.- automatic training of a single camera that receives and processes images by connecting to a more powerful server on which a second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest.

Таким образом, в данном изобретении достигнута поставленная задача - повышение скорости и достоверности распознавания объектов одной камерой за счет обучения встроенной в камеру нейронной сети с помощью более мощной внешней нейронной сети.Thus, in this invention, the task set is achieved - increasing the speed and reliability of object recognition with one camera by training the neural network built into the camera using a more powerful external neural network.

Дополнительным полезным техническим результатом заявленного изобретения является то, что:An additional useful technical result of the claimed invention is that:

- данный способ дает возможность обучать множество различных камер, каждая из которых распознает свои объекты интереса, одной мощной внешней нейронной сетью.- this method makes it possible to train many different cameras, each of which recognizes its own objects of interest, with one powerful external neural network.

Данный способ является оптимальным решением при построении крупных распределенных систем в масштабах города или региона, на объектах массового пребывания людей: на вокзалах, в метро, в аэропортах, на спортивных аренах.This method is the optimal solution when building large distributed systems on a city or region scale, at crowded facilities: at stations, in the subway, at airports, at sports arenas.

Claims (21)

1. Способ распознавания объектов с помощью нейронных сетей, при котором: 1. A method for recognizing objects using neural networks, in which: получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, an image of an object is obtained using a camera containing an image frame processing module using one or a combination of several neural networks F, детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений Oi с объектами интереса, detecting using the specified image frame processing module and extracting areas of images O i with objects of interest, передают области изображений Oi с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры, transmit image areas O i with selected objects of interest to the input of one or a combination of several neural networks F inside the camera, вычисляют по выделенным областям значимые признаки объектов f(Oi), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере, отличающийся тем, что significant features of objects f(O i ) are calculated from the selected areas, necessary for recognizing objects in the search list stored inside the camera or on a third-party server, characterized in that передают те же самые области изображений Oi с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса,transfer the same areas of images O i with selected areas of interest to a third-party more powerful server, on which a second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest, вычисляют по выделенным областям значимые признаки объектов g(Oi) на внешней нейронной сети G,the significant features of objects g(O i ) are calculated from the selected areas on the external neural network G, передают обратно в камеру признаки объектов g(Oi),transmit back to the camera features of objects g(O i ), производят переобучение нейронной сети в камере F в процессе ее эксплуатации в режиме отложенного или реального времени с использованием накопленных в камере изображений Oi и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.the neural network is retrained in the camera F during its operation in the delayed or real time mode using the images O i accumulated in the camera and the values of the feature vectors g(i) calculated using the external neural network G. 2. Способ распознавания объектов с помощью нейронных сетей, при котором: 2. A method for recognizing objects using neural networks, in which: получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, an image of an object is obtained using a camera containing an image frame processing module using one or a combination of several neural networks F, детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений Oi с объектами интереса, detecting using the specified image frame processing module and extracting areas of images O i with objects of interest, передают области изображений Oi с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры, transmit image areas O i with selected objects of interest to the input of one or a combination of several neural networks F inside the camera, вычисляют по выделенным областям значимые признаки объектов f(Oi), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере, отличающийся тем, что significant features of objects f(O i ) are calculated from the selected areas, necessary for recognizing objects in the search list stored inside the camera or on a third-party server, characterized in that передают те же самые области изображений Oi с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса,transfer the same areas of images O i with selected areas of interest to a third-party more powerful server, on which a second one or more more complex neural networks G is installed, characterized by smaller errors in the classification of objects of interest, вычисляют по выделенным областям значимые признаки объектов g(Oi) на внешней нейронной сети G,the significant features of objects g(O i ) are calculated from the selected areas on the external neural network G, производят переобучение нейронной сети F на удаленном сервере с использованием накопленных изображений Oi и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G,the neural network F is retrained on a remote server using the accumulated images O i and the values of the feature vectors g(i) calculated using the external neural network G, передают обратно в камеру переобученную нейронную сеть F.transmit the retrained neural network F back to the camera. 3. Способ по п. 2 или 3, отличающийся тем, что осуществляют переобучение нейронной сети F с использованием нормы разности || f(Oi)-g(Oi) || в функции потерь в методе обратного распространения ошибки.3. The method according to claim 2 or 3, characterized in that the neural network F is retrained using the difference norm || f(O i )-g(O i ) || in the loss function in the backpropagation method. 4. Способ по п. 2 или 3, отличающийся тем, что осуществляют переобучение нейронной сети F с использованием нормы разности || f(Oi)-<g(Oi)> || в функции потерь в методе обратного распространения ошибки, где <g(Oi)> - среднее значение вектора признаков, усредненного по всем Oi, принадлежащим одному классу объектов.4. The method according to claim 2 or 3, characterized in that the neural network F is retrained using the difference norm || f(O i )-<g(O i )> || in the loss function in the backpropagation method, where <g(O i )> is the average value of the feature vector averaged over all O i belonging to the same class of objects. 5. Способ по п. 2 или 3, отличающийся тем, что осуществляют переобучение нейронной сети F с использованием нормы разности ॥f(Oi)−g(Oi)॥+λ॥<f(Oi)>−f(Oi)॥, где <f(Oi)> - центр для f(Oi), а λ - параметр регуляризации. 5. The method according to claim 2 or 3, characterized in that the neural network F is retrained using the difference norm ॥f(O i )−g(O i )॥+λ॥<f(O i )>−f(O i )॥, where <f(O i )> is the center for f(O i ) and λ is the regularization parameter.
RU2018140925A 2018-11-20 2018-11-20 Method of objects recognition using neural networks RU2697613C9 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018140925A RU2697613C9 (en) 2018-11-20 2018-11-20 Method of objects recognition using neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018140925A RU2697613C9 (en) 2018-11-20 2018-11-20 Method of objects recognition using neural networks

Publications (2)

Publication Number Publication Date
RU2697613C1 RU2697613C1 (en) 2019-08-15
RU2697613C9 true RU2697613C9 (en) 2022-04-15

Family

ID=67640276

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018140925A RU2697613C9 (en) 2018-11-20 2018-11-20 Method of objects recognition using neural networks

Country Status (1)

Country Link
RU (1) RU2697613C9 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2814825C1 (en) * 2023-04-03 2024-03-05 Мария Вячеславовна Кузнецова Method of determining adhesive activity of lactobacilli and/or bifidobacteria of probiotic or autoprobiotic preparation and method of individual selection of these preparations

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2563161C2 (en) * 2013-07-18 2015-09-20 Федеральное государственное бюджетное учреждение науки Институт конструкторско-технологической информатики Российской академии наук (ИКТИ РАН) Method and device of technical diagnostics of complex process equipment on basis of neuron net
US20160358070A1 (en) * 2015-06-04 2016-12-08 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
US20170177965A1 (en) * 2015-12-17 2017-06-22 Xerox Corporation Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks
RU2651147C1 (en) * 2017-03-27 2018-04-18 Акционерное общество "ЭЛВИС-НеоТек" Device of cascade processing of a stream of images by means of convolutional neural network
RU2656990C1 (en) * 2017-09-11 2018-06-07 Самсунг Электроникс Ко., Лтд. System and method for artificial neural network invariant to transferring
US20180307894A1 (en) * 2017-04-21 2018-10-25 General Electric Company Neural network systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2563161C2 (en) * 2013-07-18 2015-09-20 Федеральное государственное бюджетное учреждение науки Институт конструкторско-технологической информатики Российской академии наук (ИКТИ РАН) Method and device of technical diagnostics of complex process equipment on basis of neuron net
US20160358070A1 (en) * 2015-06-04 2016-12-08 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
US20170177965A1 (en) * 2015-12-17 2017-06-22 Xerox Corporation Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks
RU2651147C1 (en) * 2017-03-27 2018-04-18 Акционерное общество "ЭЛВИС-НеоТек" Device of cascade processing of a stream of images by means of convolutional neural network
US20180307894A1 (en) * 2017-04-21 2018-10-25 General Electric Company Neural network systems
RU2656990C1 (en) * 2017-09-11 2018-06-07 Самсунг Электроникс Ко., Лтд. System and method for artificial neural network invariant to transferring

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2814825C1 (en) * 2023-04-03 2024-03-05 Мария Вячеславовна Кузнецова Method of determining adhesive activity of lactobacilli and/or bifidobacteria of probiotic or autoprobiotic preparation and method of individual selection of these preparations

Also Published As

Publication number Publication date
RU2697613C1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
Ding et al. A cloud-edge collaboration framework for cognitive service
Wu et al. Pruning deep convolutional neural networks for efficient edge computing in condition assessment of infrastructures
CN110569695B (en) Image processing method and device based on loss assessment image judgment model
US11138903B2 (en) Method, apparatus, device and system for sign language translation
WO2021043112A1 (en) Image classification method and apparatus
CN107609597B (en) Elevator car number detection system and detection method thereof
US8463025B2 (en) Distributed artificial intelligence services on a cell phone
EP4250189A1 (en) Model training method, data processing method and apparatus
WO2016183766A1 (en) Method and apparatus for generating predictive models
Deep et al. Leveraging CNN and transfer learning for vision-based human activity recognition
KR20170136538A (en) Emotion recognition in video conferencing
US10929676B2 (en) Video recognition using multiple modalities
CN113065635A (en) Model training method, image enhancement method and device
WO2021155832A1 (en) Image processing method and related device
WO2020238353A1 (en) Data processing method and apparatus, storage medium, and electronic apparatus
WO2020093724A1 (en) Method and device for generating information
CN112861659A (en) Image model training method and device, electronic equipment and storage medium
WO2024002211A1 (en) Image processing method and related apparatus
CN115081588A (en) Neural network parameter quantification method and device
Qi et al. IoT edge device based key frame extraction for face in video recognition
Zhang A real-time deep transfer learning model for facial mask detection
RU2697613C9 (en) Method of objects recognition using neural networks
Putro et al. An efficient face detector on a cpu using dual-camera sensors for intelligent surveillance systems
CN112348809B (en) No-reference screen content image quality evaluation method based on multitask deep learning
Rawf et al. Effective Kurdish sign language detection and classification using convolutional neural networks

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20201022

PC41 Official registration of the transfer of exclusive right

Effective date: 20210427

TH4A Reissue of patent specification