RU2702965C1 - Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки - Google Patents
Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки Download PDFInfo
- Publication number
- RU2702965C1 RU2702965C1 RU2019125009A RU2019125009A RU2702965C1 RU 2702965 C1 RU2702965 C1 RU 2702965C1 RU 2019125009 A RU2019125009 A RU 2019125009A RU 2019125009 A RU2019125009 A RU 2019125009A RU 2702965 C1 RU2702965 C1 RU 2702965C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- features
- identifying information
- images
- parts
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010295 mobile communication Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008439 repair process Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000314 lubricant Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K5/00—Methods or arrangements for verifying the correctness of markings on a record carrier; Column detection devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к вычислительной технике. Технический результат - повышение точности и скорости идентификации железнодорожных номерных деталей. Способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, выполняемый с помощью процессора, в котором осуществляют автоматическую разметку изображений поверхностей с идентифицирующей информацией заранее заданных номерных деталей посредством выделения областей и элементов, содержащих идентифицирующую информацию; осуществляют построение набора признаков с вычислением параметров, характеризующих взаимное расположение элементов идентифицирующей информации для каждого размеченного изображения; сохраняют размеченные изображения и построенные наборы признаков для каждого изображения в хранилище эталонных изображений и индексной базе данных соответственно; осуществляют поиск по набору признаков, сформированному на основе изображения идентифицируемой номерной детали, в индексной базе данных, в результате чего получают список деталей-кандидатов, наиболее подобных идентифицируемой детали по набору признаков. 2 н. и 8 з.п. ф-лы, 6 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
[001] Данное техническое решение в общем относится к области вычислительной техники, а в частности к системам и способам идентификации номерных деталей железнодорожных вагонов по изображению их поверхностей с идентифицирующей информацией. Изобретение может быть использовано для идентификации номерных деталей при входном и выходном контроле на вагоноремонтном предприятии, либо на предприятии, изготавливающем номерные детали.
УРОВЕНЬ ТЕХНИКИ
[002] В настоящее время идентифицировать железнодорожные номерные детали посредством визуального осмотра приходится многократно на различных этапах их жизненного цикла. Помимо целей номерного учета деталей, идентификация необходима для выявления инцидентов, связанных с несанкционированной заменой номерных деталей железнодорожных вагонов изношенными, контрафактными или ранее забракованными изделиями. Так, например, идентификация колесной пары вагона производится при ее поступлении в ремонт на позиции входного контроля (подготовки колесной пары к ремонту) вагоноремонтного предприятия. Для визуального считывания индивидуального номера колесной пары (номер завода-изготовителя, серийный номер, год производства), выгравированного на торце шейки оси, вскрывается смотровая крышка буксового узла колесной пары. Одной из проблем идентификации колесных пар вагонов по маркировке на торце шейки оси является плохая читаемость индивидуального номера в связи с повреждениями поверхности торца шейки оси в ходе эксплуатации, а также в связи с наличием трудноудаляемых загрязнений. Также часто встречающейся проблемой является то, что в эксплуатации одновременно находятся колесные пары с одинаковыми номерами, так называемые «детали-дубликаты», что не позволяет только по индивидуальному номеру однозначно определить колесную пару. Кроме того, контроль на основе номера детали не позволяет выявлять случаи несанкционированной замены при искажении идентифицирующей информации на подменяющей детали. Для более точного решения данной задачи в предложенном способе идентификации учитываются особенности взаимного расположения элементов идентифицирующей информации на поверхностях номерных деталей, дополняющие идентифицирующую информацию и позволяющие отличить деталь от других деталей, в том числе с совпадающими номерами.
[003] Из уровня техники известен патент на полезную модель RU 141674 U1 «СИСТЕМА ОПРЕДЕЛЕНИЯ ПРИНАДЛЕЖНОСТИ КОЛЕСНЫХ ПАР И ТЕЛЕЖЕК ЖЕЛЕЗНОДОРОЖНОГО ВАГОНА», патентообладатель: Финк Юрий Михайлович (RU), дата публикации: 10.06.2014. Полезная модель относится к области железнодорожного транспорта и направлена на осуществление автоматизированного контроля за несанкционированной заменой узлов тележки железнодорожного вагона во время эксплуатации. Указанный технический результат достигается в системе контроля несанкционированной замены колесных пар и тележек железнодорожного вагона, содержащей, по меньшей мере, одно устройство идентификации, установленное на каждой оси колесной пары и тележке и выполненное с возможностью взаимодействия с, по меньшей мере, одним устройством опроса, размещенным на путях железнодорожных станций и связанным с, по меньшей мере, одним устройством обработки и анализа данных.
[004] Также из уровня техники известна автоматизированная система контроля и учета ответственных деталей подвижного состава, содержащая электронные метки (ЭМ), размещаемые непосредственно на ответственных деталях подвижного состава, кодовые бортовые датчики (КБД), размещаемые на каждой подвижной единице состава, напольные считывающие устройства (НСУ) для осуществления считывания информации с КБД и ЭМ и передачи ее в персональные электронно-вычислительные машины (ПВЭМ), размещаемые на выходных путях в каждом вагонном депо, на пунктах технического осмотра вагонов, на станциях перехода с одной железной дороги на другую, на пограничных станциях перехода с другими (пограничными) государствами, ручные считывающие устройства (РСУ), предназначенные для считывания информации с КБД на вагоне и с установленных на вагонах электронных меток, с возможностью передачи информации от РСУ по радиоканалу или непосредственно в ПЭВМ (персональную электронно-вычислительную машину), которые выполнены с возможностью передачи по сетям информации в информационно-вычислительные центры (ИВЦ) железных дорог и главного вычислительного центра железных дорог государства для формирования баз данных о номерах вагонов и номерах ответственных деталей данного вагона, а ПЭВМ, установленная на пограничной станции одного государства, связана с ПЭВМ, установленной на пограничной станции другого государства, для обеспечения дублирования баз данных о номерах вагонов и номерах ответственных деталей, которые находятся на территории данного государства (номер патента RU 2199461, опубликовано: 27.02.2003).
[005] Однако в функцию данной системы не входит идентификация железнодорожных номерных деталей посредством машинного зрения и обнаружение «деталей-дубликатов».
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[006] Основной технической задачей или технической проблемой, решаемой в данном техническом решении, является реализация способа и системы для идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки.
[007] Техническим результатом, достигающимся при решении вышеуказанной технической проблемы, является повышение точности и скорости идентификации железнодорожных номерных деталей, а также возможность автоматизированного обнаружения «деталей-дубликатов».
[008] Дополнительным техническим результатом является расширение возможностей последующего аудита учета железнодорожных номерных деталей за счет сохранения первичной информации в виде фотографий номерных деталей с привязкой ко времени, месту создания и сотруднику, ответственному за ввод информации.
[009] Указанный технический результат достигается за счет того, что идентификация производится по косвенным признакам, а не по текстовому представлению номера детали, что уменьшает количество случаев, при которых была бы необходима пересъемка фотографий для успешной идентификации.
[0010] Указанный технический результат достигается за счет осуществления способа идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, выполняемого с помощью по меньшей мере одного процессора, в котором получают изображения поверхностей с идентифицирующей информацией заранее заданных номерных деталей; осуществляют автоматическую разметку объектов на изображениях, полученных на предыдущем шаге, посредством выделения областей и элементов, содержащих идентифицирующую информацию; осуществляют построение набора признаков с вычислением параметров, характеризующих взаимное расположение элементов идентифицирующей информации для каждого размеченного на предыдущем шаге изображения; сохраняют размеченные изображения и построенные на предыдущем шаге наборы признаков для каждого изображения в хранилище эталонных изображений и индексной базе данных соответственно; получают по меньшей мере одно изображение поверхности железнодорожной номерной детали с клеймами и знаками маркировки для осуществления ее идентификации; выполняют шаги разметки изображения и выделения признаков, в результате чего получают набор признаков для идентифицируемой номерной детали; осуществляют поиск по набору признаков, сформированному на основе изображения идентифицируемой номерной детали, в индексной базе данных, в результате чего получают список деталей-кандидатов, наиболее подобных идентифицируемой детали по набору признаков; осуществляют для каждой детали-кандидата из сформированного на предыдущем шаге списка построение множества всех возможных взаимно однозначных отображений между индексами объектов одинаковых классов из набора признаков идентифицируемой детали и набора признаков детали-кандидата, а также построение соответствующих им отображений между признаками; вычисляют для каждой детали-кандидата величину, характеризующую схожесть наборов признаков идентифицируемой номерной детали и детали-кандидата при применении различных отображений, построенных ранее; принимают решение об идентификации конкретной номерной детали посредством выбора детали-кандидата из списка, сформированного ранее, с максимальным значением величины, рассчитанной на предыдущем шаге.
[0011] В некоторых вариантах реализации изобретения изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают с носимого терминала пользователя и/или из хранилища данных, и/или с мобильного устройства связи пользователя.
[0012] В некоторых вариантах реализации изобретения изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в режиме реального времени.
[0013] В некоторых вариантах реализации изобретения изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в формате JPEG и/или PNG, и/или TIFF.
[0014] В некоторых вариантах реализации изобретения осуществляют автоматическую разметку объектов на изображении поверхности номерной детали с идентифицирующей информацией посредством искусственной нейронной сети глубокого обучения.
[0015] В некоторых вариантах реализации изобретения искусственная нейронная сеть имеет архитектуру R-CNN или Fast R-CNN, или Faster R-CNN, или Cascade R-CNN.
[0016] В некоторых вариантах реализации изобретения при осуществлении автоматической разметки объектов на изображении идентифицирующей информацией является номер завода-изготовителя и/или серийный номер детали, и/или год изготовления, и/или приемочные клейма, и/или клеймо формирования, и/или клеймо ОТК.
[0017] В некоторых вариантах реализации изобретения в качестве идентифицируемых номерных деталей используются оси колесных пар и/или колесные пары.
[0018] Также технический результат достигается за счет реализации системы идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, содержащей хранилище данных, выполненное с возможностью хранения эталонных размеченных изображений поверхностей номерных деталей с идентифицирующей информацией и хранения изображений, обрабатываемых модулем распознавания; индексную базу данных, выполненную с возможностью хранения набора признаков для каждого изображения поверхности номерной детали с идентифицирующей информацией, обработанного с помощью модуля распознавания; модуль распознавания железнодорожных номерных деталей с применением методов машинного зрения, выполненный с возможностью обучения на основе данных из хранилища, выделения областей с идентифицирующими данными на изображении поверхности номерной детали, выделения объектов на изображении; модуль построения набора признаков для изображения на основе выделенных объектов; модуль поиска, выполненный с возможностью получения списка деталей-кандидатов по набору признаков в индексной базе данных; определения результата поиска на основе списка деталей-кандидатов; мобильное устройство связи пользователя со встроенным фотоаппаратом, выполненное с возможностью предварительной обработки изображений.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0019] Признаки и преимущества настоящего технического решения станут очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:
[0020] На Фиг. 1 показана блок-схема первого этапа реализации способа по настоящему изобретению: формирование хранилища размеченных изображений и индексной базы данных для дальнейшей идентификации железнодорожных номерных деталей.
[0021] На Фиг. 2 показана блок-схема второго этапа реализации способа по настоящему изобретению: идентификация железнодорожных номерных деталей на основе индивидуальных признаков, характеризующих взаимное расположение элементов идентифицирующей информации на поверхностях номерных деталей.
[0022] На Фиг. 3 показана схема компонентов системы идентификации железнодорожных номерных деталей.
[0023] На Фиг. 4 показана схема вычислительной системы.
[0024] На Фиг. 5 показан пример вычисления признаков по размеченному изображению детали.
[0025] На Фиг. 6 показаны примеры масок объектов, полученных с помощью ИНС, и результаты их обработки.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0026] Ниже будут подробно рассмотрены термины и их определения, используемые в описании технического решения.
[0027] В данном изобретении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
[0028] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы). Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
[0029] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[0030] СУБД - система управления базами данных.
[0031] Искусственна нейронная сеть (ИНС) - математическая модель, а также ее программные или аппаратные реализации, построенная из однородных процессорных элементов, являющихся упрощенными функциональными моделями нервных клеток, по принципу организации и функционирования биологических нейронных сетей.
[0032] Колесная пара - элемент ходовой части рельсовых транспортных средств, представляющий собой пару колес, жестко посаженных на ось и вращающихся вместе с осью как единое целое.
[0033] Букса (буксовый узел) - составная часть колесной пары, опорный переходник замкнутой формы с установленными подшипниками, предназначенный для передачи на шейку оси колесной пары нагрузок от боковой рамы.
[0034] Клейма и знаки маркировки наносят на поверхность торца оси колесной пары при ее изготовлении (формировании) из новых элементов, а также при ремонте со сменой элементов. Правой стороной колесной пары считают ту, на торце оси которой находятся знаки и клейма, относящиеся к изготовлению оси. Клейма и знаки на правом торце оси должны сохраняться на все время ее эксплуатации. На левом торце ставятся клейма полного освидетельствования. Каждая колесная пара должна удовлетворять требованиям действующей инструкции по освидетельствованию, ремонту и формированию колесных пар, и иметь на торцах оси четко поставленные знаки о дате и месте формирования и полного освидетельствования колесной пары, а также приемочные клейма. По клеймам и знакам маркировки можно установить, каким заводом и когда были изготовлены ось, цельнокатаное колесо, бандаж, где и кем производилось формирование колесной пары.
[0035] Способ идентификации железнодорожных номерных деталей на примере колесных пар по изображению их поверхностей с идентифицирующей информацией, согласно настоящему техническому решению, состоит из раскрытых ниже шагов.
[0036] Первый этап, проиллюстрированный на Фиг. 1, заключается в формировании хранилища эталонных изображений, размеченных с помощью известных методов машинного зрения (например, ИНС), и индексной базы данных для дальнейшей идентификации номерных деталей. СУБД, используемая для индексации и поиска номерных деталей по признакам, может быть реляционной СУБД, не ограничиваясь.
[0037] Согласно Фиг. 1 сначала получают набор изображений правого торца шейки оси заранее заданных колесных пар (шаг 110). Данные изображения могут быть получены с носимого терминала пользователя или из хранилища, например, которое размещено на сервере, в режиме реального времени. Изображения могут иметь формат JPEG, PNG и т.п., не ограничиваясь. Для идентификации колесной пары в конкретном варианте реализации достаточно по меньшей мере одного изображения поверхности правого торца шейки оси. Носимый терминал может использоваться совместно со специализированным программным обеспечением, расположенным как на носимом терминале, так и в хранилище на сервере.
[0038] Далее для каждого изображения посредством методов машинного зрения (например, заранее обученной ИНС) производится автоматическая разметка объектов - выделяются области и элементы, содержащие идентифицирующую информацию (шаг 120). Затем в случае необходимости производится ручная корректировка результатов автоматической разметки.
[0039] В данном техническом решении может использоваться ИНС глубокого обучения, например, с архитектурой R-CNN, Fast R-CNN, Faster R-CNN, Cascade R-CNN. и т.д., не ограничиваясь, решающая задачу обнаружения объектов на изображении (англ. object detection). Обучение ИНС в данном техническом решении и ее работа осуществляется по известному в уровне техники алгоритму работы с ИНС: предварительно размечаются изображения для обучения, формируется обучающая и тестовая выборка, ИНС тренируется на обучающей выборке, оцениваются результаты ИНС на тестовой выборке, если качество работы ИНС перестает расти, обучение завершается. Для обучения ИНС используется, например, набор изображений торцов осей колесных пар, на которых вручную или автоматически выделены области и объекты: поверхность торца оси, центральное отверстие торца оси, клейма и знаки, торцевое крепление, болты, нарезные отверстия для болтов и др. Например, внутренний цикл обучения ИНС состоит в следующем:
1) очередное изображение из обучающей выборки подается на вход ИНС;
2) вычисляется функция потерь, характеризующая степень несоответствия выданных сетью результатов обучающему примеру;
3) методом обратного распространения ошибки корректируются внутренние параметры ИНС;
4) изображения из тестовой выборки подаются на вход ИНС, оценивается качество работы ИНС;
5) в случае, если прирост качества работы ИНС перестает наблюдаться, производится выход из цикла обучения, иначе выполняется переход на шаг 1.
[0040] В конкретном варианте реализации в качестве выделяемых элементов идентифицирующей информации могут использоваться, не ограничиваясь, номер завода-изготовителя, серийный номер детали и год изготовления. В других вариантах реализации идентифицирующей информацией могут быть также приемочные клейма, клеймо формирования, клеймо ОТК и другие знаки, например, знак опробования на сдвиг, знак формирования и т.д., выгравированные на поверхности детали.
[0041] Выделение объектов на изображении осуществляют с помощью ИНС, например, следующим образом. На вход ИНС подается изображение поверхности детали, содержащей идентифицирующую информацию, в результате обработки получаются объекты, представляемые в виде набора (score, class, pmask), где score∈[0, 1] - степень уверенности ИНС в корректности определения объекта, - изображение в оттенках серого с равным исходному разрешением w×h, задающее вероятность принадлежности пикселей исходного изображения объекту, равную pmaskpixelxy для пикселя с координатами (x,y) (Фиг. 6);
[0042] Далее над каждым полученным объектом (score, class, pmask) выполняют следующие операции, преобразующие его в набор (class, mask):
1) отбрасываются объекты со значением score менее заранее заданного порогового значения (например, в интервале от 0 до 1), в конкретном варианте реализации равняющегося 0,5;
2) pmask преобразуется в бинаризованное (черно-белое) изображение mask, как показано на Фиг. 6;
3) вычисляются свойства маски mask - например, наименьший ограничивающий прямоугольник.
[0043] После обработки получается множество объектов, представленных в виде набора:
object=(class, mask)
где
mask - маска объекта с вычисленными свойствами (например, наименьший ограничивающий прямоугольник), которая представляет собой - черно-белое изображение с равным исходному разрешением w×h, задающее принадлежность пикселей исходного изображения объекту (Фиг. 6).
[0044] Далее формируется множество признаков (шаг 130) на основе пар объектов, выделенных на изображении на предыдущем шаге. Используются всех возможных пар различных n объектов. В конкретном варианте реализации возможно введение определенных критериев выбора для сокращения объема хранимых данных и ускорения вычислений, что может привести к снижению точности идентификации. Например, возможен выбор только k ближайших объектов либо определенных сочетаний классов.
[0045] Признак - это набор
ƒeature=(indexaxle, class1, class2, index1, index2, parameter1, …, parametern)
где
indexaxle - идентификатор детали, к которой относится признак,
class1, class2 - классы объектов из пары, на основе которой сформирован признак,
index1, index2 - идентификаторы объектов из пары, на основе которой сформирован признак, уникальные в пределах набора признаков для детали indexaxle,
- числовое значение i-го параметра, характеризующее взаимное расположение пары объектов на изображении.
[0046] Для построения признака для каждой пары объектов о1 и о2 вычисляются параметры parameteri. При этом вычисляемые параметры должны быть инвариантны относительно сдвига, поворота, масштабирования изображения, а также относительно перспективных преобразований изображения. Примерами параметров, обладающих такими свойствами, являются:
где
distance(о1, о2) - расстояние между центрами ограничивающих прямоугольников объектов о1 и о2,
size(o) - расстояние от центра ограничивающего прямоугольника объекта о до точки пересечения отрезка, соединяющего его с другим объектом, с ограничивающим прямоугольником объекта о.
где
[0047] Для иллюстрации механизма построения набора признаков с вычислением параметров для пар выделенных объектов приведен пример расчета для колесной пары с изображением поверхности торца оси на Фиг. 5:
a. Показано вычисление значений параметров признака, сформированного на основе двух распознанных объектов классов "цифра 9" и "цифра 9";
b. Точками А и D на Фиг. 5 обозначены центры ограничивающих прямоугольников объектов, на основе которых вычисляется признак;
c. Точками В и С на чертеже обозначены точки пересечения отрезка AD и ограничивающих прямоугольников входящих в признак объектов;
d. parameter1=AD/(AB+CD);
e. parameter2=2, так как отрезок AD пересекает 2 объекта помимо входящих в признак.
[0048] После построения множества признаков размеченные изображения добавляют в хранилище, а вычисленные для каждого изображения признаки добавляют в индексную базу данных (шаг 140).
[0049] Добавление в базу данных информации о детали для последующего поиска сводится к добавлению соответствующей записи с полями (indexaxle - идентификатор детали, nfactory - код завода-изготовителя, nserial - серийный номер, y - год изготовления) в таблицу осей колесных пар (axles), а также добавлению записей по признакам, которые были сформированы для изображения торца оси данной колесной пары, в таблицу признаков (features).
[0050] В конкретном варианте реализации для обеспечения возможности различать детали с одинаковыми номерами (nfactory, nserial, y), но различным расположением элементов идентифицирующей информации (т.н. «детали-дубликаты»), в качестве идентификатора колесной пары используют indexaxle:
axle=(indexaxle, nƒactory, nserial, y)
[0051] В конкретном варианте реализации для ускорения поиска в базе данных для таблицы признаков (features) индексы строятся по столбцам (class1, class2, parameteri), для таблицы осей колесных пар (axles) - по столбцу indexaxle.
[0052] Таким образом, с каждой колесной парой ассоциированы следующие данные: эталонное размеченное изображение поверхности правого торца оси в хранилище данных и информация в индексной базе данных.
[0053] Эти данные используются далее на втором этапе предлагаемого способа для идентификации конкретных колесных пар.
[0054] Второй этап способа настоящего технического решения иллюстрируется на Фиг. 2.
[0055] Для идентификации эталонное изображение торца оси колесной пары и идентифицирующая информация должны быть предварительно обработаны и занесены в хранилище данных и в индексную базу данных соответственно.
[0056] На первом шаге осуществляют фотографирование правого торца оси колесной пары посредством мобильного устройства связи пользователя. Торец оси на изображении может быть частично закрыт торцевым креплением, иными посторонними объектами, в том числе смазочными материалами (например, скрыто не более 25% идентифицирующей информации).
[0057] Формируют набор признаков search_features на основе полученного на предыдущем шаге изображения, аналогично тому, как это производится на шаге 130 первого этапа, но уже для изображения торца оси колесной пары, которую необходимо идентифицировать.
[0058] Поиск производится по набору признаков search_features (шаг 240), сформированному на предыдущем шаге. Для каждого признака
ƒeaturej=(classj,1, classj,2, indexj,1, indexj,2, parameterj,1, …, parameterj,n)
ƒeaturej∈search_features
и для каждой детали с идентификатором i=indexaxle выполняется поиск в индексной базе данных признаков
ƒeaturesi={(i, classi,1, classi,2, indexi,1, indexi,2, parameteri,1, …, parameteri,n)},
удовлетворяющих следующим условиям:
1) classj,1=classi,1
2) classj,2=classi,2
3) где thresholdk - порог отсечения кандидатов по параметру k, зависящий от способа вычисления параметра. Например, для способа вычисления параметра parameter1 в конкретном варианте реализации threshold1 может равняться 1,0.
[0059] Затем для каждой детали вычисляют значение feature_scorej,i по следующей формуле:
где
feature_scorej,i - минимальное значение меры подобия между j-м признаком из search features и признаками, хранимыми в индексной базе данных для оси i;
fk(p1, p2) - мера подобия значений k-ых параметров, зависит от способа вычисления параметра (например, fk(p1,p2) может быть равна для приведенного выше parameter1);
parameterj,k - значение k-го параметра для j-го признака изображения, по которому осуществляется поиск;
parameteri,k - значение k-го параметра для признака из множества featuresi, с которым производится сравнение.
[0062] В конкретных вариантах реализации набор candidates содержит не более 100 элементов из начала упорядоченного списка, имеющих наибольшее по сравнению с остальными значение scorei.
[0063]Далее для каждой детали-кандидата (scorei, i)∈candidates выполняют следующие действия (шаг 260):
1) строится множество всех возможных инъективных отображений индексов объектов из search_features в индексы объектов детали-кандидата одинаковых классов Mindexes={mindexes:{indexj}→{indexi}}, а также множество соответствующих им отображений признаков Mfeatures={mfeatures:search_features→featuresi};
2) вычисляется величина, характеризующая схожесть наборов признаков при применении различных отображений из Mfeatures:
[0064] Принимают решение об идентификации конкретной номерной детали посредством выбора детали-кандидата с идентификатором i, для которой значение object_scorei максимально (шаг 270).
[0065] В данном описании настоящий способ проиллюстрирован примерами своей реализации, вместе с тем эти примеры не ограничивают объема настоящего изобретения, определяемого лишь прилагаемой формулой изобретения с учетом возможных эквивалентных признаков. Чертежи приведены лишь в целях иллюстрации предпочтительных вариантов воплощения и не должны рассматриваться как ограничивающие изобретение.
[0066] Также техническое решение может быть реализовано как система автоматизации идентификации железнодорожных номерных деталей, которая содержит следующие компоненты (Фиг. 3):
301 - хранилище данных: хранение эталонных размеченных изображений поверхностей номерных деталей с идентифицирующей информацией (например, изображение поверхности торца оси колесной пары), временное хранение изображений, обрабатываемых модулем распознавания 303;
302 - индексная база данных: хранение множества признаков для каждого изображения поверхности номерной детали с идентифицирующей информацией (например, для изображения поверхности торца оси колесной пары), обработанного с помощью модуля распознавания 303;
303 - модуль распознавания на основе методов машинного зрения (например, ИНС), выполняющий следующие функции: выделение областей с идентифицирующими данными (например, поверхностей торцов осей колесных пар) на изображении; выделение объектов (например, текстовые символы, клейма, торцевое крепление, болты, центральное отверстие торца оси, нарезные отверстия для болтов и др.); обучение ИНС на основе изображений из хранилища данных;
304 - носимый терминал сотрудника с встроенным фотоаппаратом, модулем для предварительной обработки изображений, с поддержкой коммуникации по беспроводному каналу связи;
305 - клиент для разметки или корректировки автоматической разметки изображений поверхностей торцов осей колесных пар, представляет собой программное обеспечение, установленное на стационарном терминале сотрудника;
[0067] Принцип работы системы состоит в следующем (на примере варианта реализации системы для идентификации колесных пар):
[0068] Колесные пары идентифицируются в автоматическом режиме по изображениям поверхностей торцов осей, фотографируемых с помощью носимого терминала 304 и передаваемых с 304 на сервис 306 для обработки с помощью модулей распознавания 303, построения множества признаков 307 и поиска 308;
[0069] Для формирования индексной базы данных и добавления изображений в хранилище 301 полученные с помощью носимого терминала 304 или из хранилища 301 изображения с идентифицирующей информацией и информацией о времени, месте и ответственном сотруднике, создавшем изображения, передаются на сервис 306 по беспроводным или проводным каналам связи и далее обрабатываются им с использованием модулей 303, 307 и 308, после обработки размеченные изображению передаются в хранилище данных 301.
[0070] Построенные признаки, сохраненные в индексной базе данных 302, позволяют производить идентификацию колесных пар не только по распознанному номеру, но и по индивидуальным особенностям, характеризующим взаимное расположение элементов идентифицирующей информации на поверхности торца оси колесной пары.
[0071] Модуль распознавания 303 работает на основе ИНС, обучение которой осуществляется следующим образом.
[0072] С помощью терминала сбора данных 304 производят сбор фотоматериалов с помещением их в хранилище 301. В случае наличия заранее обученной ИНС, с помощью сервиса распознавания 303 производят автоматическую разметку объектов на изображении. Далее с помощью клиента разметки 305, установленного на стационарном терминале, производят корректировку результатов автоматической разметки, либо полностью ручную разметку. Затем с помощью сервиса распознавания 303 производят обучение ИНС на основе новых данных, полученных на предыдущих шагах.
[0073] Построение наборов признаков для размеченных изображений торцов осей колесных пар осуществляется следующим образом.
[0074] Из хранилища 301 получают размеченные изображения. Далее посредством модуля построения признаков 307 для каждого изображения торца оси колесной пары производят построение набора признаков, после чего выполняется добавление соответствующих колесным парам наборов признаков в индексную базу данных 302.
[0075] Поиск колесной пары по изображению поверхности торца оси работает следующим образом.
[0076] С помощью терминала сбора данных 304 выполняют фотографирование поверхности торца оси с передачей на сервис 306 для обработки. Сервис 306 сохраняет изображение во временное хранилище 301, далее с помощью модуля распознавания 303 производит автоматическую разметку изображения, с помощью модуля 307 производит построение набора признаков по размеченному изображению, на основе построенного множества признаков с помощью модуля 308 производит поиск по индексной базы данных 302, результаты поиска передает на терминал сбора данных 304.
[0077] Таким образом, система и способ обеспечивают технический результат в виде повышения точности и скорости идентификации железнодорожных номерных деталей, а также возможности автоматизированного обнаружения «деталей-дубликатов».
[0078] Ссылаясь на Фиг. 4, данное техническое решение может быть реализовано в виде вычислительной системы 400, которая содержит один или более из следующих компонентов:
• компонент 401 обработки, содержащий по меньшей мере один процессор 402,
• память 403,
• компонент 404 питания,
• компонент 405 мультимедиа,
• компонент 406 аудио,
• интерфейс 407 ввода/вывода (I/О),
• сенсорный компонент 408,
• компонент 409 передачи данных.
[0079] Компонент 401 обработки в основном управляет всеми операциями системы 400, например, управляет обработкой изображений для идентификации железнодорожных номерных деталей, а также управляет дисплеем, телефонным звонком, передачей данных, работой камеры и операцией записи мобильного устройства связи пользователя. Модуль 401 обработки может включать в себя один или более процессоров 402, реализующих инструкции для завершения всех или части шагов из указанных выше способов. Кроме того, модуль 401 обработки может включать в себя один или более модулей для удобного процесса взаимодействия между другими модулями 401 обработки и другими модулями. Например, модуль 401 обработки может включать в себя мультимедийный модуль для удобного облегченного взаимодействия между компонентом 405 мультимедиа и компонентом 401 обработки.
[0080] Память 403 выполнена с возможностью хранения различных типов данных для поддержки работы системы 400, например, базу данных с профилями пользователей. Примеры таких данных включают в себя инструкции из любого приложения или способа, контактные данные, данные адресной книги, сообщения, изображения, видео, и т.д., и все они работают на системе 400. Память 403 может быть реализована в виде любого типа энергозависимого запоминающего устройства, энергонезависимого запоминающего устройства или их комбинации, например, статического оперативного запоминающего устройства (СОЗУ), Электрически-Стираемого Программируемого постоянного запоминающего устройства (ЭСППЗУ), Стираемого Программируемого постоянного запоминающего устройства (СППЗУ), Программируемого постоянного запоминающего устройства (ППЗУ), постоянного запоминающего устройства (ПЗУ), магнитной памяти, флэш-памяти, магнитного диска или оптического диска и другого, не ограничиваясь.
[0081] Компонент 404 питания обеспечивает электричеством различные компоненты системы 400. Компонент 404 питания может включать систему управления электропитанием, один или более источник питания, и другие узлы для генерации, управления и распределения электроэнергии к системе 400.
[0082] Компонент 405 мультимедиа включает в себя экран, обеспечивающий выходной интерфейс между системой 400, которая может быть установлена на мобильном устройстве связи пользователя, и пользователем. В некоторых вариантах реализации экран может быть жидкокристаллическим дисплеем (ЖКД) или сенсорной панелью (СП). Если экран включает в себя сенсорную панель, экран может быть реализован в виде сенсорного экрана для приема входного сигнала от пользователя. Сенсорная панель включает один или более сенсорных датчиков в смысле жестов, прикосновения и скольжения сенсорной панели. Сенсорный датчик может не только чувствовать границу прикосновения пользователя или жест перелистывания, но и определять длительность времени и давления, связанных с режимом работы на прикосновение и скольжение. В некоторых вариантах осуществления компонент 405 мультимедиа включает одну фронтальную камеру и/или одну заднюю камеру. Когда система 400 находится в режиме работы, например, режиме съемки или режиме видео, фронтальная камера и/или задняя камера могут получать данные мультимедиа извне. Каждая фронтальная камера и задняя камера может быть одной фиксированной оптической системой объектива или может иметь фокусное расстояние или оптический зум.
[0083] Компонент 406 аудио выполнен с возможностью выходного и/или входного аудио сигнала. Например, компонент 406 аудио включает один микрофон (MIC), который выполнен с возможностью получать внешний аудио сигнал, когда система 400 находится в режиме работы, например, режиме вызова, режима записи и режима распознавания речи. Полученный аудио сигнал может быть далее сохранен в памяти 403 или направлен по компоненту 409 передачи данных. В некоторых вариантах осуществления компонент 406 аудио также включает в себя один динамик, выполненный с возможностью вывода аудио сигнала.
[0084] Интерфейс 407 ввода/вывода (I/О) обеспечивает интерфейс между компонентом 401 обработки и любым периферийным интерфейсным модулем. Вышеуказанным периферийным интерфейсным модулем может быть клавиатура, руль, кнопка, и т.д. Эти кнопки могут включать, но не ограничиваясь, кнопку запуска, кнопку регулировки громкости, начальную кнопку и кнопку блокировки.
[0085] Сенсорный компонент 408 содержит один или более сенсоров и выполнен с возможностью обеспечения различных аспектов оценки состояния системы 400. Например, сенсорный компонент 408 может обнаружить состояния вкл/выкл системы 400, относительное расположение компонентов, например, дисплея и кнопочной панели, одного компонента системы 400, наличие или отсутствие контакта между пользователем и системой 400, а также ориентацию или ускорение/замедление и изменение температуры системы 400. Сенсорный компонент 408 содержит бесконтактный датчик, выполненный с возможностью обнаружения присутствия объекта, находящегося поблизости, когда нет физического контакта. Сенсорный компонент 408 содержит оптический датчик (например, КМОП или ПЗС-датчик изображения) выполненный с возможностью использования в визуализации приложения. В некоторых вариантах сенсорный компонент 408 содержит датчик ускорения, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.
[0086] Компонент 409 передачи данных выполнен с возможностью облегчения проводной или беспроводной связи между системой 400 и другими устройствами. Система 400 может получить доступ к беспроводной сети на основе стандарта связи, таких как WiFi, 2G, 3G, 5G, или их комбинации. В одном примерном варианте компонент 409 передачи данных получает широковещательный сигнал или трансляцию, связанную с ними информацию из внешней широковещательной системы управления через широковещательный канал. В одном варианте осуществления компонент 409 передачи данных содержит модуль коммуникации ближнего поля (NFC), чтобы облегчить ближнюю связь. Например, модуль NFC может быть основан на технологии радиочастотной идентификации (RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (IrDA), сверхширокополосных (UWB) технологии, Bluetooth (ВТ) технологии и других технологиях.
[0087] В примерном варианте осуществления система 400 может быть реализована посредством одной или более Специализированных Интегральных Схем (СИС), Цифрового Сигнального Процессора (ЦСП), Устройств Цифровой Обработки Сигнала (УЦОС), Программируемым Логическим Устройством (ПЛУ), логической микросхемой, программируемой в условиях эксплуатации (ППВМ), контроллера, микроконтроллера, микропроцессора или других электронных компонентов, и может быть сконфигурирован для реализации способа идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки.
[0088] В примерном варианте осуществления, энергонезависимый компьютерно-читаемый носитель, содержит инструкции также предусмотренные, например, память 403 включает инструкции, где инструкции выполняются процессором 401 системы 400 для реализации описанного выше способа идентификации железнодорожных номерных деталей. Например, энергонезависимым компьютерно-читаемым носителем может быть ПЗУ, оперативное запоминающее устройство (ОЗУ), компакт-диск, магнитная лента, дискеты, оптические устройства хранения данных и тому подобное.
[0089] Вычислительная система 400 может включать в себя интерфейс дисплея, который передает графику, текст и другие данные из коммуникационной инфраструктуры (или из буфера кадра, не показан) для отображения на компоненте 405 мультимедиа. Вычислительная система 400 дополнительно включает в себя устройства ввода или периферийные устройства. Периферийные устройства могут включать в себя одно или несколько устройств для взаимодействия с мобильным устройством связи пользователя, такие как клавиатура, микрофон, носимое устройство, камера, один или более звуковых динамиков и другие датчики. Периферийные устройства могут быть внешними или внутренними по отношению к мобильному устройству связи пользователя. Сенсорный экран может отображать, как правило, графику и текст, а также предоставляет пользовательский интерфейс (например, но не ограничиваясь ими, графический пользовательский интерфейс (GUI)), через который пользователь может взаимодействовать с мобильным устройством связи пользователя, например, получать доступ и взаимодействовать с приложениями, запущенными на устройстве.
[0090] Элементы заявляемого технического решения находятся в функциональной взаимосвязи, а их совместное использование приводит к созданию нового и уникального технического решения. Таким образом, все блоки функционально связаны.
[0091] Все блоки, используемые в системе, могут быть реализованы с помощью электронных компонент, используемых для создания цифровых интегральных схем, что очевидно для специалиста в данном уровне техники. Не ограничиваюсь, могут быть использоваться микросхемы, логика работы которых определяется при изготовлении, или программируемые логические интегральные схемы (ПЛИС), логика работы которых задается посредством программирования. Для программирования используются программаторы и отладочные среды, позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др. Альтернативой ПЛИС могут быть программируемые логические контроллеры (ПЛК), базовые матричные кристаллы (БМК), требующие заводского производственного процесса для программирования; ASIC - специализированные заказные большие интегральные схемы (БИС), которые при мелкосерийном и единичном производстве существенно дороже.
[0092] Обычно, сама микросхема ПЛИС состоит из следующих компонент:
• конфигурируемых логических блоков, реализующих требуемую логическую функцию;
• программируемых электронных связей между конфигурируемыми логическими блоками;
• программируемых блоков ввода/вывода, обеспечивающих связь внешнего вывода микросхемы с внутренней логикой.
[0093] Также блоки могут быть реализованы с помощью постоянных запоминающих устройств.
[0094] Таким образом, реализация всех используемых блоков достигается стандартными средствами, базирующимися на классических принципах реализации основ вычислительной техники.
[0095] Как будет понятно специалисту в данной области техники, аспекты настоящего технического решения могут быть выполнены в виде системы, способа или компьютерного программного продукта. Соответственно, различные аспекты настоящего технического решения могут быть реализованы исключительно как аппаратное обеспечение, как программное обеспечение (включая прикладное программное обеспечение и так далее) или как вариант осуществления, сочетающий в себе программные и аппаратные аспекты, которые в общем случае могут упоминаться как «модуль», «система» или «архитектура». Кроме того, аспекты настоящего технического решения могут принимать форму компьютерного программного продукта, реализованного на одном или нескольких машиночитаемых носителях, имеющих машиночитаемый программный код, который на них реализован.
[0096] Также может быть использована любая комбинация одного или нескольких машиночитаемых носителей. Машиночитаемый носитель хранилища может представлять собой, без ограничений, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппарат, устройство или любую подходящую их комбинацию. Конкретнее, примеры (неисчерпывающий список) машиночитаемого носителя хранилища включают в себя: электрическое соединение с помощью одного или нескольких проводов, портативную компьютерную дискету; жесткий диск, оперативную память (ОЗУ), постоянную память (ПЗУ), стираемую программируемую постоянную память (EPROM или Flash-память), оптоволоконное соединение, постоянную память на компакт-диске (CD-ROM), оптическое устройство хранения, магнитное устройство хранения или любую комбинацию вышеперечисленного. В контексте настоящего описания, машиночитаемый носитель хранилища может представлять собой любой гибкий носитель данных, который может содержать или хранить программу для использования самой системой, устройством, аппаратом или в соединении с ними.
[0097] Программный код, встроенный в машиночитаемый носитель, может быть передан с помощью любого носителя, включая, без ограничений, беспроводную, проводную, оптоволоконную, инфракрасную и любую другую подходящую сеть или комбинацию вышеперечисленного.
[0098] Компьютерный программный код для выполнения операций для некоторых шагов настоящего технического решения может быть написан на любом языке программирования или комбинаций языков программирования, включая объектно-ориентированный язык программирования, например Java, Smalltalk, С++ и так далее, и обычные процедурные языки программирования, например язык программирования «С» или аналогичные языки программирования. Программный код может выполняться на компьютере пользователя полностью, частично, или же как отдельный пакет программного обеспечения, частично на компьютере пользователя и частично на удаленном компьютере, или же полностью на удаленном компьютере. В последнем случае, удаленный компьютер может быть соединен с компьютером пользователя через сеть любого типа, включая локальную сеть (LAN), глобальную сеть (WAN) или соединение с внешним компьютером (например, через Интернет с помощью Интернет-провайдеров).
[0099] Аспекты настоящего технического решения были описаны подробно со ссылкой на блок-схемы, принципиальные схемы и/или диаграммы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления настоящего технического решения. Следует иметь в виду, что каждый блок из блок-схемы и/или диаграмм, а также комбинации блоков из блок-схемы и/или диаграмм, могут быть реализованы компьютерными программными инструкциями. Эти компьютерные программные инструкции могут быть предоставлены процессору компьютера общего назначения, компьютера специального назначения или другому устройству обработки данных для создания процедуры, таким образом, чтобы инструкции, выполняемые процессором компьютера или другим программируемым устройством обработки данных, создавали средства для реализации функций/действий, указанных в блоке или блоках блок-схемы и/или диаграммы.
[00100] Эти компьютерные программные инструкции также могут храниться на машиночитаемом носителе, который может управлять компьютером, отличным от программируемого устройства обработки данных или отличным от устройств, которые функционируют конкретным образом, таким образом, что инструкции, хранящиеся на машиночитаемом носителе, создают устройство, включающее инструкции, которые осуществляют функции/действия, указанные в блоке блок-схемы и/или диаграммы.
Claims (31)
1. Способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, выполняемый с помощью по меньшей мере одного процессора и включающий следующие шаги:
a) получают изображения поверхностей с идентифицирующей информацией заранее заданных номерных деталей;
b) осуществляют автоматическую разметку объектов на изображениях, полученных на предыдущем шаге, посредством выделения областей и элементов, содержащих идентифицирующую информацию;
c) осуществляют построение набора признаков с вычислением параметров, характеризующих взаимное расположение элементов идентифицирующей информации для каждого размеченного на предыдущем шаге изображения;
d) сохраняют размеченные изображения и построенные на предыдущем шаге наборы признаков для каждого изображения в хранилище эталонных изображений и индексной базе данных соответственно;
e) получают по меньшей мере одно изображение поверхности железнодорожной номерной детали с клеймами и знаками маркировки для осуществления ее идентификации;
f) выполняют шаги b), с) для изображения, полученного на шаге е), в результате чего получают набор признаков для идентифицируемой номерной детали;
g) осуществляют поиск по набору признаков, сформированному на основе изображения идентифицируемой номерной детали, в индексной базе данных, в результате чего получают список деталей-кандидатов, наиболее подобных идентифицируемой детали по набору признаков;
h) осуществляют для каждой детали-кандидата из сформированного на предыдущем шаге списка построение множества всех возможных отображений индексов объектов из набора признаков идентифицируемой детали в индексы объектов из набора признаков детали-кандидата одинаковых классов, а также построение соответствующих им отображений между признаками;
i) вычисляют для каждой детали-кандидата величину, характеризующую схожесть наборов признаков идентифицируемой номерной детали и детали-кандидата при применении различных отображений, построенных на шаге h);
j) принимают решение об идентификации конкретной номерной детали посредством выбора детали-кандидата из списка, сформированного на шаге g), с максимальным значением величины, рассчитанной на шаге i).
2. Способ по п. 1, характеризующийся тем, что эталонные изображения поверхностей номерных деталей с идентифицирующей информацией размечены с помощью методов машинного зрения.
3. Способ по п. 1, характеризующийся тем, что изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают с носимого терминала пользователя и/или из хранилища данных, и/или с мобильного устройства связи пользователя.
4. Способ по п. 1, характеризующийся тем, что изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в режиме реального времени.
5. Способ по п. 1, характеризующийся тем, что изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в формате JPEG и/или PNG, и/или TIFF.
6. Способ по п. 1, характеризующийся тем, что осуществляют автоматическую разметку объектов на изображении поверхности номерной детали с идентифицирующей информацией посредством искусственной нейронной сети глубокого обучения.
7. Способ по п. 6, характеризующийся тем, что искусственная нейронная сеть имеет архитектуру R-CNN или Fast R-CNN, или Faster R-CNN, или Cascade R-CNN.
8. Способ по п. 1, характеризующийся тем, что при осуществлении автоматической разметки объектов на изображении идентифицирующей информацией является номер завода-изготовителя и/или серийный номер детали, и/или год изготовления, и/или приемочные клейма, и/или клеймо формирования, и/или клеймо ОТК.
9. Способ по п. 1, характеризующийся тем, что в качестве идентифицируемых номерных деталей используются оси колесных пар и/или колесные пары.
10. Система идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, содержащая:
a) хранилище данных, выполненное с возможностью хранения эталонных размеченных изображений поверхностей номерных деталей с идентифицирующей информацией и хранения изображений, обрабатываемых модулем распознавания;
b) индексная база данных, выполненная с возможностью хранения набора признаков для каждого изображения поверхности номерной детали с идентифицирующей информацией, обработанного с помощью модуля распознавания;
c) модуль распознавания с применением методов машинного зрения, выполненный с возможностью:
- обучения на основе данных из хранилища;
- выделения областей с идентифицирующими данными на изображении поверхности номерной детали;
- выделения объектов на изображении;
d) модуль построения набора признаков для изображения на основе выделенных объектов;
e) модуль поиска, выполненный с возможностью:
- получения списка деталей-кандидатов по набору признаков в индексной базе данных;
- определения результата поиска на основе списка деталей-кандидатов;
f) мобильное устройство связи пользователя со встроенным фотоаппаратом, выполненное с возможностью предварительной обработки изображений.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/RU2019/000559 WO2021025579A1 (ru) | 2019-08-07 | 2019-08-07 | Система и способ идентификации железнодорожных номерных деталей |
RU2019125009A RU2702965C1 (ru) | 2019-08-07 | 2019-08-07 | Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019125009A RU2702965C1 (ru) | 2019-08-07 | 2019-08-07 | Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2702965C1 true RU2702965C1 (ru) | 2019-10-14 |
Family
ID=68280275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019125009A RU2702965C1 (ru) | 2019-08-07 | 2019-08-07 | Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки |
Country Status (2)
Country | Link |
---|---|
RU (1) | RU2702965C1 (ru) |
WO (1) | WO2021025579A1 (ru) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643340A (zh) * | 2021-08-16 | 2021-11-12 | 中冶东方工程技术有限公司 | 一种基于机器视觉的热轧钢轨物料跟踪方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU107733U1 (ru) * | 2011-04-12 | 2011-08-27 | Елена Ивановна Трошкина | Устройство для ремонта вагонов |
EP2546120A1 (en) * | 2011-07-12 | 2013-01-16 | ALSTOM Transport SA | Method and stationery system for monitoring equipment of a railway vehicle |
WO2013086578A1 (en) * | 2011-12-15 | 2013-06-20 | Multiskilled Resources Australia Pty Ltd | Rail car operating condition and identity monitoring system |
RU133082U1 (ru) * | 2013-04-08 | 2013-10-10 | Денис Сергеевич Гвоздев | Устройство идентификации подвижных единиц железнодорожного транспорта |
US20160093054A1 (en) * | 2014-09-29 | 2016-03-31 | General Electric Company | System and method for component detection |
EP3138754A1 (en) * | 2015-09-03 | 2017-03-08 | Rail Vision Europe Ltd | Rail track asset survey system |
WO2018175772A1 (en) * | 2017-03-23 | 2018-09-27 | Harsco Technologies LLC | Track feature detection using machine vision |
WO2019092248A1 (de) * | 2017-11-10 | 2019-05-16 | Db Fernverkehr Ag | Analyseverfahren und analysesystem für mit einem inspektionssystem zur optischen inspektion eines fahrzeugs aufgenommene rohdaten |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015125025A2 (en) * | 2014-02-10 | 2015-08-27 | Geenee Ug | Systems and methods for image-feature-based recognition |
-
2019
- 2019-08-07 RU RU2019125009A patent/RU2702965C1/ru active
- 2019-08-07 WO PCT/RU2019/000559 patent/WO2021025579A1/ru active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU107733U1 (ru) * | 2011-04-12 | 2011-08-27 | Елена Ивановна Трошкина | Устройство для ремонта вагонов |
EP2546120A1 (en) * | 2011-07-12 | 2013-01-16 | ALSTOM Transport SA | Method and stationery system for monitoring equipment of a railway vehicle |
WO2013086578A1 (en) * | 2011-12-15 | 2013-06-20 | Multiskilled Resources Australia Pty Ltd | Rail car operating condition and identity monitoring system |
RU133082U1 (ru) * | 2013-04-08 | 2013-10-10 | Денис Сергеевич Гвоздев | Устройство идентификации подвижных единиц железнодорожного транспорта |
US20160093054A1 (en) * | 2014-09-29 | 2016-03-31 | General Electric Company | System and method for component detection |
EP3138754A1 (en) * | 2015-09-03 | 2017-03-08 | Rail Vision Europe Ltd | Rail track asset survey system |
WO2018175772A1 (en) * | 2017-03-23 | 2018-09-27 | Harsco Technologies LLC | Track feature detection using machine vision |
WO2019092248A1 (de) * | 2017-11-10 | 2019-05-16 | Db Fernverkehr Ag | Analyseverfahren und analysesystem für mit einem inspektionssystem zur optischen inspektion eines fahrzeugs aufgenommene rohdaten |
Also Published As
Publication number | Publication date |
---|---|
WO2021025579A1 (ru) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086756A (zh) | 一种基于深度神经网络的文本检测分析方法、装置及设备 | |
Hadjidemetriou et al. | Vision-and entropy-based detection of distressed areas for integrated pavement condition assessment | |
CN103886189A (zh) | 用于无人机巡检的巡检结果数据处理系统及方法 | |
CN105372581A (zh) | 挠性电路板制造过程自动监测和智能分析系统及方法 | |
CN116975299B (zh) | 文本数据的判别方法、装置、设备及介质 | |
WO2023065798A1 (zh) | 道路动态事件的处理方法、装置、设备和介质 | |
US20190096254A1 (en) | Method and system for capturing operation variables for vehicles | |
Peraka et al. | Development of a multi-distress detection system for asphalt pavements: Transfer learning-based approach | |
Almutairy et al. | Arts: Automotive repository of traffic signs for the united states | |
RU2702965C1 (ru) | Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки | |
CN116958512A (zh) | 目标检测方法、装置、计算机可读介质及电子设备 | |
KR102467616B1 (ko) | 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템 | |
CN113779946A (zh) | 一种尺寸报告数据采集并结构化呈现的方法及系统 | |
Zhang et al. | License plate recognition model based on CNN+ LSTM+ CTC | |
KR20210097555A (ko) | 교통사고 정보를 제공하기 위한 서비스 방법 | |
CN117011106A (zh) | 一种工程监理安全督查系统 | |
CN114529721B (zh) | 一种基于深度学习的城市遥感影像植被覆盖识别方法 | |
Zhang et al. | Deep-learning generation of POI data with scene images | |
CN115049991A (zh) | 共享设备位姿整齐度判断方法、装置、终端及介质 | |
CN115147248A (zh) | 一种基于大数据的旅游信息咨询系统和方法 | |
Xiang | [Retracted] Application of Face Recognition Technology in Intelligent Education Management in Colleges and Universities | |
Golovnin et al. | Universal convolutional neural network for recognition of traffic lights and road signs in video frames | |
Cheng et al. | RETRACTED ARTICLE: Capacitance pin defect detection based on deep learning | |
Peng et al. | Paddle-OCR-Based Real-Time Online Recognition System for Steel Plate Slab Spray Marking Characters | |
CN114863400B (zh) | 一种确定车辆轨迹的方法、装置、电子设备及存储介质 |