WO2021025579A1 - Система и способ идентификации железнодорожных номерных деталей - Google Patents

Система и способ идентификации железнодорожных номерных деталей Download PDF

Info

Publication number
WO2021025579A1
WO2021025579A1 PCT/RU2019/000559 RU2019000559W WO2021025579A1 WO 2021025579 A1 WO2021025579 A1 WO 2021025579A1 RU 2019000559 W RU2019000559 W RU 2019000559W WO 2021025579 A1 WO2021025579 A1 WO 2021025579A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
features
identifying information
identifying
images
Prior art date
Application number
PCT/RU2019/000559
Other languages
English (en)
French (fr)
Inventor
Игорь Валерьевич СУДАРИКОВ
Юлия Владимировна ТАРАСЕНКО
Original Assignee
Общество с ограниченной ответственностью "Новотранс Актив"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Новотранс Актив" filed Critical Общество с ограниченной ответственностью "Новотранс Актив"
Publication of WO2021025579A1 publication Critical patent/WO2021025579A1/ru

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K5/00—Methods or arrangements for verifying the correctness of markings on a record carrier; Column detection devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns

Definitions

  • This technical solution generally relates to the field of computing, and in particular to systems and methods for identifying numbered parts of railway cars by the image of their surfaces with identifying information.
  • the invention can be used for identification of numbered parts during input and output control at a car repair enterprise, or at an enterprise that produces numbered parts.
  • One of the problems of identifying wheelsets of cars by marking on the axle neck end is poor readability of the individual number due to damage to the axle neck end surface during operation, as well as due to the presence of stubborn dirt. It is also a common problem that wheelsets with the same numbers, the so-called “duplicate parts", are in operation at the same time, which does not allow the wheelset to be uniquely identified by the individual number.
  • part number control prevents detection of unauthorized replacements due to misrepresentation of identifying information. on the replacement part.
  • the proposed identification method takes into account the peculiarities of the mutual arrangement of the elements of identifying information on the surfaces of numbered parts, complementing the identifying information and allowing the part to be distinguished from other parts, including those with matching numbers.
  • a patent for a useful model RU141674U1 "A SYSTEM FOR DETERMINING THE APPLICATION OF WHEEL SETS AND CARRIERS OF A RAILWAY CAR" is known from the prior art, patentee: Fink Yuri Mikhailovich (RU), publication date: 10.06.2014.
  • the utility model relates to the field of railway transport and is aimed at the implementation of automated control over unauthorized replacement of railcar bogie units during operation.
  • the specified technical result is achieved in the monitoring system for unauthorized replacement of wheelsets and bogies of a railway car, containing at least one identification device installed on each axle of the wheelset and bogie and configured to interact with at least one interrogation device located on the tracks of railway stations and associated with at least one data processing and analysis device.
  • ICC
  • the main technical problem or technical problem to be solved in this technical solution is the implementation of a method and system for identifying railway numbered parts by the image of their surfaces with stamps and marks.
  • An additional technical result is the enhancement of the possibilities of the subsequent audit of the accounting of railway numbered parts by storing primary information in the form of photographs of numbered parts with reference to the time, place of creation and the employee responsible for entering the information.
  • the specified technical result is achieved due to the fact that identification is made by indirect signs, and not by the textual representation of the part number, which reduces the number of cases in which it would be necessary to reshoot photographs for successful identification.
  • the specified technical result is achieved by implementing a method for identifying railway license plates by the image of their surfaces with stamps and marking signs, performed using the at least one processor in which images of surfaces with identifying information of predetermined numbering parts are obtained; carry out automatic marking of objects in the images obtained in the previous step, by highlighting areas and elements containing identifying information; carry out the construction of a set of features with the calculation of parameters characterizing the relative position of the elements of identifying information for each marked at the previous step of the image; store the tagged images and the sets of features built in the previous step for each image in the reference image storage and the index database, respectively; obtain at least one image of the surface of the railway license plate with stamps and marks for its identification; performing image marking and feature extraction steps, resulting in a feature set for an identifiable license plate
  • a surface image with identifying information of predefined numbering parts is obtained from a user's wearable terminal and / or from a data store and / or from a user's mobile communication device.
  • an image of the surface with identifying information of predetermined numbering parts is obtained in real time.
  • an image of a surface with identifying information of predetermined numbering parts is obtained in JPEG and / or PNG and / or TIFF format.
  • objects are automatically marked on an image of the surface of a license plate with identifying information using a deep learning artificial neural network.
  • the artificial neural network has an R-CNN or Fast R-CNN or Faster R-CNN or Cascade R-CNN architecture.
  • the identifying information is the manufacturer's number and / or the serial number of the part, and / or the year of manufacture, and / or the acceptance marks, and / or the formation mark, and / or OTK brand.
  • wheelset axles and / or wheelsets are used as identifiable numbered parts.
  • a system for identifying railway license plates by the image of their surfaces with stamps and marks containing a data storage configured to store reference marked images of the surfaces of license plates with identifying information and store images processed by the recognition module; an index database configured to store a set of features for each surface image of the license plate with identification information processed by the recognition module; a module for recognizing railway license plates using machine vision methods, capable of training based on data from storage, highlighting areas with identifying data on the image of the license plate surface, highlighting objects in the image; a module for constructing a set of features for an image based on the selected objects; a search module, configured to obtain a list of candidate parts by a set of features in the index database; determining a search result based on the list of candidate parts; a user's mobile communication device with a built-in camera capable of image preprocessing.
  • FIG. 1 shows a block diagram of the first stage of the implementation of the method according to the present invention: the formation of a storage of marked images and an index database for further identification of railway license plates.
  • FIG. 2 shows a block diagram of the second stage of the implementation of the method according to the present invention: identification of railway license plates on the basis of individual features characterizing the mutual arrangement of elements of identifying information on the surfaces of the license plates.
  • FIG. 3 is a schematic diagram of the components of a rail license plate identification system.
  • FIG. 4 shows a diagram of a computing system.
  • FIG. 5 shows an example of calculating features from a marked image of a part.
  • FIG. 6 shows examples of masks of objects obtained using ANN and the results of their processing.
  • the system means a computer system, a computer (electronic computer), CNC (numeric programmed control), PLC (programmable logic controller), computerized control systems and any other devices capable of performing a given, clearly defined sequence of operations (actions, instructions).
  • a command processing device is meant an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).
  • a command processor reads and executes machine instructions (programs) from one or more storage devices.
  • Data storage devices can be, but are not limited to, hard disks (HDD), flash memory, ROM (read only memory), solid-state drives (SSD), optical drives.
  • a program is a sequence of instructions for execution by a computer control device or command processing device.
  • An artificial neural network is a mathematical model, as well as its software or hardware implementations, built from homogeneous processing elements, which are simplified functional models of nerve cells, according to the principle of organization and functioning of biological neural networks.
  • a wheelset is an element of the running gear of rail vehicles, which is a pair of wheels rigidly mounted on an axle and rotating together with the axle as a whole.
  • Axle box (axle box) is a part of a wheelset, a closed-form support adapter with installed bearings, designed to transfer loads from the side frame to the axle neck of the wheelset.
  • the first step illustrated in FIG. 1, consists in forming a repository of reference images, marked using known machine vision methods (for example, ANN), and an index database for further identification of serialized parts.
  • the DBMS used for indexing and searching for numbered parts by attributes can be a relational DBMS, but not limited to.
  • a set of images of the right end of the axle journal of predetermined wheelsets is first acquired (step 110).
  • the image data can be obtained from the user's wearable terminal or from storage, for example, which is hosted on a server, in real time. Images can be in JPEG, PNG, etc. format, but are not limited to. To identify a wheelset in a particular embodiment, at least one image of the surface of the right end of the axle journal is sufficient.
  • the wearable terminal can be used in conjunction with specialized software located both on the wearable terminal and in storage on the server.
  • step 120 For each image by means of machine vision methods (for example, a pre-trained ANN), objects are automatically marked - areas and elements containing identifying information are highlighted (step 120). Then, if necessary, manual correction of automatic marking results is performed.
  • machine vision methods for example, a pre-trained ANN
  • a deep learning ANN can be used, for example, with the architecture R-CNN, Fast R-CNN, Faster R-CNN, Cascade R-CNN. and so on, not limited to solving the problem of detecting objects in the image (object detection).
  • the training of the ANN in this technical solution and its work is carried out according to the algorithm for working with the ANN known in the prior art: images for training are preliminarily marked, a training and test sample is formed, the ANN is trained on the training sample, the results of the ANN are evaluated on the test sample, if the quality of the ANN stops working. grow, training ends.
  • ANN training for example, a set of images of wheelset axle ends is used, on which areas and objects are manually or automatically selected: axle end surface, axle end center hole, stamps and signs, end fixing, bolts, threaded holes for bolts, etc.
  • the internal learning cycle of ANN is as follows:
  • step 5 if an increase in the quality of the ANN ceases to be observed, the learning cycle is exited, otherwise the transition to step 1 is performed.
  • the manufacturer's number, part serial number, and year of manufacture may be used as the identifying information elements to be separated.
  • the identifying information may also be acceptance marks, a formation mark, an OTK mark, and other signs, for example, a shear test mark, a formation mark, etc., engraved on the surface of the part.
  • ANN ANN
  • score e [0,1] is the degree of confidence of the ANN in correctness object definitions
  • y 0 .. (h-1) ⁇ - grayscale image with equal original resolution w * h, specifying the probability of belonging of pixels in the original image an object equal to pmaskpixel xy for a pixel with coordinates (x, y) (Fig. 6);
  • pmask is converted to a binarized (black and white) mask image as shown in FIG. 6;
  • the properties of the mask are calculated - for example, the smallest bounding box.
  • ClaSS e ⁇ 0..9, A..Z, *, -, Sformation, Smps1, S m ps2, ... ⁇ - CLESS Object, mask - object mask with calculated properties (for example, the smallest bounding rectangle) that represents yourself ⁇ maskpixel xy
  • a plurality of features are generated (step 130) based on the pairs of objects highlighted in the image in the previous step. Are used
  • the parameters parameter are calculated.
  • the calculated parameters should be invariant with respect to shift, rotation, image scaling, as well as with respect to perspective transformations of the image. Examples of parameters with these properties are: where distance (oi, 02) is the distance between the centers of the bounding rectangles of the objects oi and 02, size (o) is the distance from the center of the bounding rectangle of the object o to the point of intersection of the line segment connecting it with another object with the bounding rectangle of the object o.
  • the tagged images are added to the storage, and the features calculated for each image are added to the index database (step 140).
  • Adding information about a part to the database for subsequent search is reduced to adding a corresponding record with fields (index aXie - part identifier, factory - manufacturer's code, n S enai - serial number, y - year of manufacture) to the wheel axle table pairs (axles), as well as adding records for features that were formed to image the end of the axle of a given wheelset, in the table of features.
  • index is used as the wheelset identifier.
  • axie a: rlr ⁇ ind ⁇ u, n / w ⁇ r ⁇ n er y)
  • the indexes are built on columns (class-i, class2, parameten), for the axles table, on the indexaxie column.
  • each wheelset a reference markup image of the surface of the right end of the axle in the data store and information in the index database.
  • This data is used further in the second stage of the proposed method to identify specific wheelsets.
  • the reference image of the wheelset axle end and the identifying information must be pre-processed and entered into the data store and the index database, respectively.
  • the right end of the wheelset axle is photographed by the user's mobile communication device.
  • the end face of the axle in the image may be partially covered by the end mount, other foreign objects, including lubricants (for example, no more than 25% of the identifying information is hidden).
  • a set of search_features is generated based on the image obtained in the previous step, similarly to how it is done in step 130 of the first step, but for the image of the axle end of the wheelset to be identified.
  • the search is performed on the set of features search_features (step 240) generated in the previous step. For every sign
  • thresholdk is the threshold for cutting off candidates by parameter k, which depends on the method for calculating the parameter. For example, for the way parameten is calculated in a particular implementation, thresholdi may be 1, 0.
  • feature_score j, i is then calculated for each part using the following formula: where feature_score j, i is the minimum value of the similarity measure between the j-th feature from search_features and the features stored in the index database for axis i; f k (pi, pg) - a measure of the similarity of the values of the k-th parameters, depends on the method of calculating the parameter (for example, f k (pi, pg) can be equal to
  • the set of candidates contains no more than 100 elements from the beginning of the ordered list having the highest score over the rest.
  • search features "features, ⁇ ;
  • ⁇ 301 - data storage storage of reference marked images of the surfaces of license plates with identifying information (for example, an image of the surface of the end face of the axle of a wheel pair), temporary storage of images processed by the recognition module 303;
  • ⁇ 302 - index database storing a plurality of features for each image of the surface of the license plate with identification information (for example, for the image of the surface of the end face of the axle of a wheel pair), processed by the recognition module 303;
  • ⁇ 303 - a recognition module based on machine vision methods (for example, ANN), which performs the following functions: selection of areas with identifying data (for example, surfaces of wheelset axle ends) in the image; selection of objects (for example, text symbols, stamps, end fasteners, bolts, center hole of the end of the axis, threaded holes for bolts, etc.); ANN training based on images from the data warehouse;
  • a client for marking or adjusting the automatic marking of images of the surfaces of the ends of the axles of wheelsets is software installed on the stationary terminal of the employee;
  • the wheelsets are automatically identified by the images of the axle end surfaces, photographed using the wearable terminal 304 and transmitted from 304 to the service 306 for processing by the recognition modules 303, building a set of features 307 and search 308;
  • images obtained using the wearable terminal 304 or from the storage 301 with identifying information and information about the time, place and responsible officer who created the images are transmitted to the service 306 via wireless or wired channels. links are further processed by it using modules 303, 307 and 308, after processing the marked images are transferred to the data store 301.
  • the constructed features stored in the index database 302, allow identification of wheelsets not only by the recognized number, but also by individual features characterizing the mutual arrangement of the elements of identifying information on the surface of the wheelset axle end.
  • Recognition module 303 operates on the basis of ANN, which is trained as follows.
  • Marked images are obtained from storage 301. Further, by means of the module for constructing features 307 for each image of the end face of the axle of the wheelset, a set of features is built, after which the sets of features corresponding to the wheelsets are added to the index database 302.
  • the system and method provide the technical result in the form of increasing the accuracy and speed of identification of railway license plates, as well as the possibility of automated detection of "duplicate parts”.
  • this solution may be implemented as a computing system 400 that includes one or more of the following components:
  • the processing component 401 generally controls all operations of the system 400, for example, controls image processing for identifying railroad license plates, as well as controls the display, telephone call, data communication, camera operation, and recording operation of the user's mobile communications device.
  • the processing unit 401 may include one or more processors 402 that implement instructions to complete all or part of the steps from the above methods.
  • the processing module 401 may include one or more modules for convenient interaction between other processing modules 401 and other modules.
  • the processing module 401 may include a multimedia module for convenient, easy interaction between the multimedia component 405 and the processing component 401.
  • Memory 403 is configured to store various types of data to support the operation of system 400, such as a user profile database. Examples of such data include instructions from any application or method, contact information, address book data, messages, images, videos, etc., all of which operate on system 400.
  • Memory 403 may be implemented as any type of volatile storage device, nonvolatile memory, or a combination thereof, for example, static random access memory (SRAM), Electrically Erasable Programmable read only memory (EEPROM), Erasable Programmable read only memory (EPROM), Programmable read only memory (EPROM), read only memory device (ROM), magnetic memory, flash memory, magnetic disk or optical disk and others, but not limited to.
  • SRAM static random access memory
  • EEPROM Electrically Erasable Programmable read only memory
  • EPROM Erasable Programmable read only memory
  • EPROM Programmable read only memory
  • ROM read only memory device
  • magnetic memory flash memory
  • flash memory magnetic disk or optical disk and others, but not limited to.
  • Power component 404 provides electrical power to various components of system 400.
  • Power component 404 may include a system power management, one or more power supplies, and other nodes for generating, controlling, and distributing power to the system 400.
  • the multimedia component 405 includes a screen that provides an output interface between the system 400, which may be installed on a user's mobile communications device , and by the user.
  • the screen may be a liquid crystal display (LCD) or a touch panel (TP). If the screen includes a touch panel, the screen may be implemented as a touch screen for receiving input from a user.
  • the touchpad includes one or more touch sensors in terms of gestures, touching and sliding the touchpad.
  • the touch sensor can not only sense the user's touch boundary or swipe gesture, but also detect the length of time and pressure associated with touch and slide operation.
  • the multimedia component 405 includes one front camera and / or one rear camera. When the system 400 is in an operating mode, such as shooting mode or video mode, the front camera and / or the rear camera can receive media data from the outside. Each front camera and rear camera can be one fixed lens optical system, or can have focal length or optical zoom.
  • the audio component 406 is configured to output and / or input an audio signal.
  • the audio component 406 includes a single microphone (MIC) that is configured to receive an external audio signal when the system 400 is in a mode of operation such as a call mode, a recording mode, and a speech recognition mode.
  • the resulting audio signal can be further stored in memory 403 or routed to data transfer component 409.
  • the audio component 406 also includes a single speaker configured to output an audio signal.
  • An input / output (I / O) interface 407 provides an interface between the processing component 401 and any peripheral interface module.
  • the above peripheral interface module may be keyboard, steering wheel, button, etc. These buttons may include, but are not limited to, start button, volume button, start button and lock button.
  • the sensor component 408 includes one or more sensors and is configured to provide various aspects of assessing the state of the system 400.
  • the sensor component 408 can detect states on the n / off of the system 400, the relative position of components, a component of system 400, the presence or absence of contact between the user and the system 400, and the orientation or acceleration / deceleration and temperature variation of the system 400.
  • the sensor component 408 comprises a proximity sensor configured to detect the presence of an object in the vicinity when there is no physical contact.
  • Touch component 408 includes an optical sensor (eg, CMOS or CCD image sensor) configured for use in rendering an application.
  • sensor component 408 comprises an acceleration sensor, gyroscope sensor, magnetic sensor, pressure sensor, or temperature sensor.
  • Communication component 409 is configured to facilitate wired or wireless communication between system 400 and other devices.
  • System 400 can access a wireless network based on a communication standard such as WiFi, 2G, 3G, 5G, or a combination thereof.
  • the communication component 409 receives a broadcast signal or broadcast associated information from an external broadcast control system via a broadcast channel.
  • communication component 409 comprises a Near Field Communication (NFC) module to facilitate near field communication.
  • NFC Near Field Communication
  • the NFC module may be based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology, and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • system 400 may be implemented by one or more Application-Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Units (DSPs), Programmable Logic Devices (PLCs), a logic chip programmed into operating conditions (PPVM), controller, microcontroller, microprocessor or other electronic components, and can be configured to implement a method for identifying railway license plates by the image of their surfaces with stamps and marks.
  • ASICs Application-Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPs Digital Signal Processing Units
  • PLCs Programmable Logic Devices
  • PPVM logic chip programmed into operating conditions
  • controller microcontroller, microprocessor or other electronic components
  • non-volatile computer-readable medium includes instructions also provided, for example, memory 403 includes instructions where instructions are executed by processor 401 of system 400 to implement the above-described method for identifying railroad license plates.
  • nonvolatile computer readable media can be ROM, random access memory (RAM), compact disc, magnetic tape, floppy disks, optical storage devices, and the like.
  • Computing system 400 may include a display interface that transmits graphics, text, and other data from a communications infrastructure (or from a framebuffer, not shown) for display on a multimedia component 405.
  • Computing system 400 further includes input devices or peripherals.
  • Peripheral devices may include one or more devices for interacting with a user's mobile communications device, such as a keyboard, microphone, wearable device, camera, one or more audio speakers, and other sensors.
  • Peripheral devices can be external or internal to the user's mobile communications device.
  • a touchscreen can display, typically graphics and text, and also provides a user interface (such as, but not limited to, a graphical user interface (GUI)) through which a user can interact with the user's mobile communication device, such as access and interact with applications running on the device.
  • GUI graphical user interface
  • All the blocks used in the system can be implemented with electronic components used to create digital integral circuits, which is obvious to a person skilled in the art. Not limited to, can be used microcircuits, the logic of which is determined during the manufacture, or programmable logic integrated circuits (FPGA), the logic of which is set through programming.
  • FPGA programmable logic integrated circuits
  • programmers and debugging environments are used that allow you to set the desired structure of a digital device in the form of a circuit diagram or a program in special hardware description languages: Verilog, VHDL, AHDL, etc.
  • FPGAs programmable logic controllers
  • BMK basic matrix crystals
  • ASICs specialized custom large integrated circuits (LSIs), which are significantly more expensive in small-scale and unit-production.
  • the FPGA itself consists of the following components:
  • Blocks can also be implemented with read-only memory devices.
  • aspects of the present technical solution may be implemented as a system, method, or computer program product. Accordingly, various aspects of the present technical solution may be implemented solely as hardware, as software (including application software and so on), or as an embodiment combining software and hardware aspects, which may generally be referred to as a "module” , “System” or “architecture”. In addition, aspects of the present technical solution may take the form of a computer program product implemented on one or more computer-readable media having computer-readable program code that is implemented thereon.
  • the computer-readable storage medium can be, without limitation, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, device, or any suitable combination thereof. More specifically, examples (non-exhaustive list) of a computer-readable storage medium include: electrical connection using one or more wires, a portable computer diskette; hard disk, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or Flash memory), fiber optic connection, compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any combination of the above.
  • a computer-readable storage medium can be any flexible storage medium that can contain or store a program for use by the system itself, device, apparatus, or in connection therewith.
  • Program code embedded in a computer-readable medium may be transmitted using any medium, including, without limitation, wireless, wired, fiber optic, infrared, and any other suitable network or combination of the above.
  • Computer program code for performing operations for some steps of the present technical solution may be written in any programming language or combinations of programming languages, including an object-oriented programming language such as Java, Smalltalk, C ++ and so on, and conventional procedural programming languages. for example, the "C" programming language or similar programming languages.
  • the program code can be executed on the user's computer in whole, in part, or as a separate software package, partially on the user's computer and partially on the remote computer, or completely on the remote computer.
  • the remote computer can be connected to the user's computer through any type of network, including a local area network (LAN), a wide area network (WAN), or a connection to an external computer (for example, via the Internet using Internet service providers).
  • LAN local area network
  • WAN wide area network
  • Internet service providers for example, via the Internet using Internet service providers.
  • These computer program instructions may also be stored on a computer-readable medium that can control a computer other than a programmable data processing device or other devices that function in a particular way, such that the instructions stored on the computer-readable medium create a device including instructions that perform the functions / actions specified in the block diagram and / or diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение в общем относится к области вычислительной техники, а в частности к системам и способам идентификации номерных деталей железнодорожных вагонов по изображению их поверхностей с идентифицирующей информацией. В данном техническом решении раскрывается способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, выполняемый с помощью по меньшей мере одного процессора, в котором осуществляют автоматическую разметку изображений поверхностей с идентифицирующей информацией заранее заданных номерных деталей посредством выделения областей и элементов, содержащих идентифицирующую информацию; осуществляют построение набора признаков с вычислением параметров, характеризующих взаимное расположение элементов идентифицирующей информации для каждого размеченного на предыдущем шаге изображения; сохраняют размеченные изображения и построенные на предыдущем шаге наборы признаков для каждого изображения в хранилище эталонных изображений и индексной базе данных соответственно; осуществляют поиск по набору признаков, сформированному на основе изображения идентифицируемой номерной детали, в индексной базе данных, в результате чего получают список деталей-кандидатов, наиболее подобных идентифицируемой детали по набору признаков. Технический результат - повышение точности и скорости идентификации железнодорожных номерных деталей, а также возможность автоматизированного обнаружения «деталей-дубликатов».

Description

СИСТЕМА И СПОСОБ ИДЕНТИФИКАЦИИ ЖЕЛЕЗНОДОРОЖНЫХ НОМЕРНЫХ ДЕТАЛЕЙ
ОБЛАСТЬ ТЕХНИКИ
[001] Данное техническое решение в общем относится к области вычислительной техники, а в частности к системам и способам идентификации номерных деталей железнодорожных вагонов по изображению их поверхностей с идентифицирующей информацией. Изобретение может быть использовано для идентификации номерных деталей при входном и выходном контроле на вагоноремонтном предприятии, либо на предприятии, изготавливающем номерные детали.
УРОВЕНЬ ТЕХНИКИ
[002] В настоящее время идентифицировать железнодорожные номерные детали посредством визуального осмотра приходится многократно на различных этапах их жизненного цикла. Помимо целей номерного учета деталей, идентификация необходима для выявления инцидентов, связанных с несанкционированной заменой номерных деталей железнодорожных вагонов изношенными, контрафактными или ранее забракованными изделиями. Так, например, идентификация колесной пары вагона производится при ее поступлении в ремонт на позиции входного контроля (подготовки колесной пары к ремонту) вагоноремонтного предприятия. Для визуального считывания индивидуального номера колесной пары (номер завода-изготовителя, серийный номер, год производства), выгравированного на торце шейки оси, вскрывается смотровая крышка буксового узла колесной пары. Одной из проблем идентификации колесных пар вагонов по маркировке на торце шейки оси является плохая читаемость индивидуального номера в связи с повреждениями поверхности торца шейки оси в ходе эксплуатации, а также в связи с наличием трудноудаляемых загрязнений. Также часто встречающейся проблемой является то, что в эксплуатации одновременно находятся колесные пары с одинаковыми номерами, так называемые «детали-дубликаты», что не позволяет только по индивидуальному номеру однозначно определить колесную пару. Кроме того, контроль на основе номера детали не позволяет выявлять случаи несанкционированной замены при искажении идентифицирующей информации на подменяющей детали. Для более точного решения данной задачи в предложенном способе идентификации учитываются особенности взаимного расположения элементов идентифицирующей информации на поверхностях номерных деталей, дополняющие идентифицирующую информацию и позволяющие отличить деталь от других деталей, в том числе с совпадающими номерами.
[003] Из уровня техники известен патент на полезную модель RU141674U1 «СИСТЕМА ОПРЕДЕЛЕНИЯ ПРИНАДЛЕЖНОСТИ КОЛЕСНЫХ ПАР И ТЕЛЕЖЕК ЖЕЛЕЗНОДОРОЖНОГО ВАГОНА», патентообладатель: Финк Юрий Михайлович (RU), дата публикации: 10.06.2014. Полезная модель относится к области железнодорожного транспорта и направлена на осуществление автоматизированного контроля за несанкционированной заменой узлов тележки железнодорожного вагона во время эксплуатации. Указанный технический результат достигается в системе контроля несанкционированной замены колесных пар и тележек железнодорожного вагона, содержащей, по меньшей мере, одно устройство идентификации, установленное на каждой оси колесной пары и тележке и выполненное с возможностью взаимодействия с, по меньшей мере, одним устройством опроса, размещенным на путях железнодорожных станций и связанным с, по меньшей мере, одним устройством обработки и анализа данных.
[004] Также из уровня техники известна автоматизированная система контроля и учета ответственных деталей подвижного состава, содержащая электронные метки (ЭМ), размещаемые непосредственно на ответственных деталях подвижного состава, кодовые бортовые датчики (КБД), размещаемые на каждой подвижной единице состава, напольные считывающие устройства (НСУ) для осуществления считывания информации с КБД и ЭМ и передачи ее в персональные электронно-вычислительные машины (ПВЭМ), размещаемые на выходных путях в каждом вагонном депо, на пунктах технического осмотра вагонов, на станциях перехода с одной железной дороги на другую, на пограничных станциях перехода с другими (пограничными) государствами, ручные считывающие устройства (РСУ), предназначенные для считывания информации с КБД на вагоне и с установленных на вагонах электронных меток, с возможностью передачи информации от РСУ по радиоканалу или непосредственно в ПЭВМ (персональную электронно-вычислительную машину), которые выполнены с возможностью передачи по сетям информации в информационно-вычислительные центры (ИВЦ) железных дорог и главного вычислительного центра железных дорог государства для формирования баз данных о номерах вагонов и номерах ответственных деталей данного вагона, а ПЭВМ, установленная на пограничной станции одного государства, связана с ПЭВМ, установленной на пограничной станции другого государства, для обеспечения дублирования баз данных о номерах вагонов и номерах ответственных деталей, которые находятся на территории данного государства (номер патента RU 2199461, опубликовано: 27.02.2003).
[005] Однако в функцию данной системы не входит идентификация железнодорожных номерных деталей посредством машинного зрения и обнаружение «деталей-дубликатов».
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[006] Основной технической задачей или технической проблемой, решаемой в данном техническом решении, является реализация способа и системы для идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки.
[007] Техническим результатом, достигающимся при решении вышеуказанной технической проблемы, является повышение точности и скорости идентификации железнодорожных номерных деталей, а также возможность автоматизированного обнаружения «деталей-дубликатов».
[008] Дополнительным техническим результатом является расширение возможностей последующего аудита учета железнодорожных номерных деталей за счёт сохранения первичной информации в виде фотографий номерных деталей с привязкой ко времени, месту создания и сотруднику, ответственному за ввод информации.
[009] Указанный технический результат достигается за счет того, что идентификация производится по косвенным признакам, а не по текстовому представлению номера детали, что уменьшает количество случаев, при которых была бы необходима пересъёмка фотографий для успешной идентификации. [0010] Указанный технический результат достигается за счет осуществления способа идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, выполняемого с помощью по меньшей мере одного процессора, в котором получают изображения поверхностей с идентифицирующей информацией заранее заданных номерных деталей; осуществляют автоматическую разметку объектов на изображениях, полученных на предыдущем шаге, посредством выделения областей и элементов, содержащих идентифицирующую информацию; осуществляют построение набора признаков с вычислением параметров, характеризующих взаимное расположение элементов идентифицирующей информации для каждого размеченного на предыдущем шаге изображения; сохраняют размеченные изображения и построенные на предыдущем шаге наборы признаков для каждого изображения в хранилище эталонных изображений и индексной базе данных соответственно; получают по меньшей мере одно изображение поверхности железнодорожной номерной детали с клеймами и знаками маркировки для осуществления ее идентификации; выполняют шаги разметки изображения и выделения признаков, в результате чего получают набор признаков для идентифицируемой номерной детали; осуществляют поиск по набору признаков, сформированному на основе изображения идентифицируемой номерной детали, в индексной базе данных, в результате чего получают список деталей-кандидатов, наиболее подобных идентифицируемой детали по набору признаков; осуществляют для каждой детали-кандидата из сформированного на предыдущем шаге списка построение множества всех возможных взаимно однозначных отображений между индексами объектов одинаковых классов из набора признаков идентифицируемой детали и набора признаков детали-кандидата, а также построение соответствующих им отображений между признаками; вычисляют для каждой детали-кандидата величину, характеризующую схожесть наборов признаков идентифицируемой номерной детали и детали-кандидата при применении различных отображений, построенных ранее; принимают решение об идентификации конкретной номерной детали посредством выбора детали- кандидата из списка, сформированного ранее, с максимальным значением величины, рассчитанной на предыдущем шаге.
[0011] В некоторых вариантах реализации изобретения изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают с носимого терминала пользователя и/или из хранилища данных, и/или с мобильного устройства связи пользователя. [0012] В некоторых вариантах реализации изобретения изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в режиме реального времени.
[0013] В некоторых вариантах реализации изобретения изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в формате JPEG и/или PNG, и/или TIFF.
[0014] В некоторых вариантах реализации изобретения осуществляют автоматическую разметку объектов на изображении поверхности номерной детали с идентифицирующей информацией посредством искусственной нейронной сети глубокого обучения.
[0015] В некоторых вариантах реализации изобретения искусственная нейронная сеть имеет архитектуру R-CNN или Fast R-CNN, или Faster R-CNN, или Cascade R-CNN.
[0016] В некоторых вариантах реализации изобретения при осуществлении автоматической разметки объектов на изображении идентифицирующей информацией является номер завода-изготовителя и/или серийный номер детали, и/или год изготовления, и/или приемочные клейма, и/или клеймо формирования, и/или клеймо ОТК.
[0017] В некоторых вариантах реализации изобретения в качестве идентифицируемых номерных деталей используются оси колёсных пар и/или колёсные пары.
[0018] Также технический результат достигается за счет реализации системы идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, содержащей хранилище данных, выполненное с возможностью хранения эталонных размеченных изображений поверхностей номерных деталей с идентифицирующей информацией и хранения изображений, обрабатываемых модулем распознавания; индексную базу данных, выполненную с возможностью хранения набора признаков для каждого изображения поверхности номерной детали с идентифицирующей информацией, обработанного с помощью модуля распознавания; модуль распознавания железнодорожных номерных деталей с применением методов машинного зрения, выполненный с возможностью обучения на основе данных из хранилища, выделения областей с идентифицирующими данными на изображении поверхности номерной детали, выделения объектов на изображении; модуль построения набора признаков для изображения на основе выделенных объектов; модуль поиска, выполненный с возможностью получения списка деталей-кандидатов по набору признаков в индексной базе данных; определения результата поиска на основе списка деталей-кандидатов; мобильное устройство связи пользователя со встроенным фотоаппаратом, выполненное с возможностью предварительной обработки изображений.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0019] Признаки и преимущества настоящего технического решения станут очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:
[0020] На Фиг. 1 показана блок-схема первого этапа реализации способа по настоящему изобретению: формирование хранилища размеченных изображений и индексной базы данных для дальнейшей идентификации железнодорожных номерных деталей.
[0021] На Фиг. 2 показана блок-схема второго этапа реализации способа по настоящему изобретению: идентификация железнодорожных номерных деталей на основе индивидуальных признаков, характеризующих взаимное расположение элементов идентифицирующей информации на поверхностях номерных деталей.
[0022] На Фиг. 3 показана схема компонентов системы идентификации железнодорожных номерных деталей.
[0023] На Фиг. 4 показана схема вычислительной системы.
[0024] На Фиг. 5 показан пример вычисления признаков по размеченному изображению детали.
[0025] На Фиг. 6 показаны примеры масок объектов, полученных с помощью ИНС, и результаты их обработки.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0026] Ниже будут подробно рассмотрены термины и их определения, используемые в описании технического решения.
[0027] В данном изобретении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
[0028] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы). Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
[0029] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[0030] СУБД - система управления базами данных.
[0031] Искусственна нейронная сеть (ИНС) — математическая модель, а также ее программные или аппаратные реализации, построенная из однородных процессорных элементов, являющихся упрощенными функциональными моделями нервных клеток, по принципу организации и функционирования биологических нейронных сетей.
[0032] Колесная пара - элемент ходовой части рельсовых транспортных средств, представляющий собой пару колёс, жёстко посаженных на ось и вращающихся вместе с осью как единое целое.
[0033] Букса (буксовый узел) - составная часть колёсной пары, опорный переходник замкнутой формы с установленными подшипниками, предназначенный для передачи на шейку оси колёсной пары нагрузок от боковой рамы.
[0034] Клейма и знаки маркировки наносят на поверхность торца оси колесной пары при ее изготовлении (формировании) из новых элементов, а также при ремонте со сменой элементов. Правой стороной колесной пары считают ту, на торце оси которой находятся знаки и клейма, относящиеся к изготовлению оси. Клейма и знаки на правом торце оси должны сохраняться на все время ее эксплуатации. На левом торце ставятся клейма полного освидетельствования. Каждая колесная пара должна удовлетворять требованиям действующей инструкции по освидетельствованию, ремонту и формированию колесных пар, и иметь на торцах оси четко поставленные знаки о дате и месте формирования и полного освидетельствования колесной пары, а также приёмочные клейма. По клеймам и знакам маркировки можно установить, каким заводом и когда были изготовлены ось, цельнокатаное колесо, бандаж, где и кем производилось формирование колесной пары.
[0035] Способ идентификации железнодорожных номерных деталей на примере колесных пар по изображению их поверхностей с идентифицирующей информацией, согласно настоящему техническому решению, состоит из раскрытых ниже шагов.
[0036] Первый этап, проиллюстрированный на Фиг. 1, заключается в формировании хранилища эталонных изображений, размеченных с помощью известных методов машинного зрения (например, ИНС), и индексной базы данных для дальнейшей идентификации номерных деталей. СУБД, используемая для индексации и поиска номерных деталей по признакам, может быть реляционной СУБД, не ограничиваясь.
[0037] Согласно Фиг. 1 сначала получают набор изображений правого торца шейки оси заранее заданных колесных пар (шаг 110). Данные изображения могут быть получены с носимого терминала пользователя или из хранилища, например, которое размещено на сервере, в режиме реального времени. Изображения могут иметь формат JPEG, PNG и т.п., не ограничиваясь. Для идентификации колесной пары в конкретном варианте реализации достаточно по меньшей мере одного изображения поверхности правого торца шейки оси. Носимый терминал может использоваться совместно со специализированным программным обеспечением, расположенным как на носимом терминале, так и в хранилище на сервере.
[0038] Далее для каждого изображения посредством методов машинного зрения (например, заранее обученной ИНС) производится автоматическая разметка объектов - выделяются области и элементы, содержащие идентифицирующую информацию (шаг 120). Затем в случае необходимости производится ручная корректировка результатов автоматической разметки.
[0039] В данном техническом решении может использоваться ИНС глубокого обучения, например, с архитектурой R-CNN, Fast R-CNN, Faster R-CNN, Cascade R-CNN. и т. д, не ограничиваясь, решающая задачу обнаружения объектов на изображении (англ object detection). Обучение ИНС в данном техническом решении и ее работа осуществляется по известному в уровне техники алгоритму работы с ИНС: предварительно размечаются изображения для обучения, формируется обучающая и тестовая выборка, ИНС тренируется на обучающей выборке, оцениваются результаты ИНС на тестовой выборке, если качество работы ИНС перестаёт расти, обучение завершается. Для обучения ИНС используется, например, набор изображений торцов осей колесных пар, на которых вручную или автоматически выделены области и объекты: поверхность торца оси, центральное отверстие торца оси, клейма и знаки, торцевое крепление, болты, нарезные отверстия для болтов и др. Например, внутренний цикл обучения ИНС состоит в следующем:
1) очередное изображение из обучающей выборки подаётся на вход ИНС;
2) вычисляется функция потерь, характеризующая степень несоответствия выданных сетью результатов обучающему примеру;
3) методом обратного распространения ошибки корректируются внутренние параметры ИНС;
4) изображения из тестовой выборки подаются на вход ИНС, оценивается качество работы ИНС;
5) в случае, если прирост качества работы ИНС перестаёт наблюдаться, производится выход из цикла обучения, иначе выполняется переход на шаг 1.
[0040] В конкретном варианте реализации в качестве выделяемых элементов идентифицирующей информации могут использоваться, не ограничиваясь, номер завода-изготовителя, серийный номер детали и год изготовления. В других вариантах реализации идентифицирующей информацией могут быть также приемочные клейма, клеймо формирования, клеймо ОТК и другие знаки, например, знак опробования на сдвиг, знак формирования и т.д., выгравированные на поверхности детали.
[0041] Выделение объектов на изображении осуществляют с помощью ИНС, например, следующим образом. На вход ИНС подаётся изображение поверхности детали, содержащей идентифицирующую информацию, в результате обработки получаются объекты, представляемые в виде набора (score, class, pmask), где score е [0,1] - степень уверенности ИНС в корректности определения объекта, pmask: {pmaskpixelxy | pmaskpixelxy e [0,1], x = 0..(w-1), у = 0..(h-1)} - изображение в оттенках серого с равным исходному разрешением w * h, задающее вероятность принадлежности пикселей исходного изображения объекту, равную pmaskpixelxy для пикселя с координатами (х,у) (Фиг. 6);
Class е {0..9,A..Z,*,-,SfOrmation,Smps1,Smps2, ...} - КЛЭСС ОбъеКТЭ.
[0042] Далее над каждым полученным объектом (score, class, pmask) выполняют следующие операции, преобразующие его в набор (class, mask):
1) отбрасываются объекты со значением score менее заранее заданного порогового значения (например, в интервале от 0 до 1), в конкретном варианте реализации равняющегося 0,5;
2) pmask преобразуется в бинаризованное (чёрно-белое) изображение mask, как показано на Фиг. 6;
3) вычисляются свойства маски mask - например, наименьший ограничивающий прямоугольник.
[0043] После обработки получается множество объектов, представленных в виде набора: object = (dass, mask) где
ClaSS e {0..9,A..Z,*,-,Sformation,Smps1 ,Smps2, ...} - КЛЭСС Объекта, mask - маска объекта с вычисленными свойствами (например, наименьший ограничивающий прямоугольник), которая представляет собой {maskpixelxy | maskpixelxy е {0, 1}, х = 0..(w-1), у = 0..(h-1)} - чёрно-белое изображение с равным исходному разрешением w * h, задающее принадлежность пикселей исходного изображения объекту (Фиг. 6).
[0044] Далее формируется множество признаков (шаг 130) на основе пар объектов, выделенных на изображении на предыдущем шаге. Используются
2 всех возможных пар различных п объектов. В конкретном варианте реализации возможно введение определённых критериев выбора для сокращения объёма хранимых данных и ускорения вычислений, что может привести к снижению точности идентификации. Например, возможен выбор только к ближайших объектов либо определённых сочетаний классов.
[0045] Признак - это набор feature = (md :r^ic, class , class , ind xi, index2.parameter! . parmnetern ) где indexaxie - идентификатор детали, к которой относится признак, classi, class2 - классы объектов из пары, на основе которой сформирован признак, indexi, index2 - идентификаторы объектов из пары, на основе которой сформирован признак, уникальные в пределах набора признаков для детали indexaxie, parameter, е М, i = 1..n - числовое значение i-ro параметра, характеризующее взаимное расположение пары объектов на изображении.
[0046] Для построения признака для каждой пары объектов 01 и 02 вычисляются параметры parameter,. При этом вычисляемые параметры должны быть инвариантны относительно сдвига, поворота, масштабирования изображения, а также относительно перспективных преобразований изображения. Примерами параметров, обладающих такими свойствами, являются:
Figure imgf000013_0001
где distance(o-i, 02) - расстояние между центрами ограничивающих прямоугольников объектов oi и 02, size(o) - расстояние от центра ограничивающего прямоугольника объекта о до точки пересечения отрезка, соединяющего его с другим объектом, с ограничивающим прямоугольником объекта о.
Figure imgf000013_0002
где
Figure imgf000013_0003
[0047] Для иллюстрации механизма построения набора признаков с вычислением параметров для пар выделенных объектов приведен пример расчета для колесной пары с изображением поверхности торца оси на Фиг. 5: a. Показано вычисление значений параметров признака, сформированного на основе двух распознанных объектов классов "цифра 9" и "цифра 9";
B. Точками А и D на Фиг. 5 обозначены центры ограничивающих прямоугольников объектов, на основе которых вычисляется признак; c. Точками В и С на чертеже обозначены точки пересечения отрезка AD и ограничивающих прямоугольников входящих в признак объектов; d. parameten = AD / (AB+CD); e. parameten = 2, так как отрезок AD пересекает 2 объекта помимо входящих в признак.
[0048] После построения множества признаков размеченные изображения добавляют в хранилище, а вычисленные для каждого изображения признаки добавляют в индексную базу данных (шаг 140).
[0049] Добавление в базу данных информации о детали для последующего поиска сводится к добавлению соответствующей записи с полями (indexaXie - идентификатор детали, factory - код завода-изготовителя, nSenai - серийный номер, у - год изготовления) в таблицу осей колесных пар (axles), а также добавлению записей по признакам, которые были сформированы для изображения торца оси данной колесной пары, в таблицу признаков (features).
[0050] В конкретном варианте реализации для обеспечения возможности различать детали с одинаковыми номерами (factory, nseriai, у), но различным расположением элементов идентифицирующей информации (т.н. «детали- дубликаты»), в качестве идентификатора колесной пары используют indexaxie: a:rlr {ind ^u, п/ш^г^п егй у)
[0051] В конкретном варианте реализации для ускорения поиска в базе данных для таблицы признаков (features) индексы строятся по столбцам (class-i, class2, parameten), для таблицы осей колесных пар (axles) - по столбцу indexaxie.
[0052] Таким образом, с каждой колесной парой ассоциированы следующие данные: эталонное размеченное изображение поверхности правого торца оси в хранилище данных и информация в индексной базе данных. [0053] Эти данные используются далее на втором этапе предлагаемого способа для идентификации конкретных колесных пар.
[0054] Второй этап способа настоящего технического решения иллюстрируется на Фиг. 2.
[0055] Для идентификации эталонное изображение торца оси колёсной пары и идентифицирующая информация должны быть предварительно обработаны и занесены в хранилище данных и в индексную базу данных соответственно. [0056] На первом шаге осуществляют фотографирование правого торца оси колесной пары посредством мобильного устройства связи пользователя. Торец оси на изображении может быть частично закрыт торцевым креплением, иными посторонними объектами, в том числе смазочными материалами (например, скрыто не более 25% идентифицирующей информации).
[0057] Формируют набор признаков search_features на основе полученного на предыдущем шаге изображения, аналогично тому, как это производится на шаге 130 первого этапа, но уже для изображения торца оси колесной пары, которую необходимо идентифицировать.
[0058] Поиск производится по набору признаков search_features (шаг 240), сформированному на предыдущем шаге. Для каждого признака
/ ainre^ = [class , vloss^2- index ц . index parameter . .... parameter j# j
Figure imgf000015_0001
и для каждой детали с идентификатором i = indexaxie выполняется поиск в индексной базе данных признаков
Figure imgf000015_0002
удовлетворяющих следующим условиям:
1 ) classj.1 = classi.1
2) classj,2 = classic
3) |parameterj,k - parameter,, k| < thresholds где thresholdk - порог отсечения кандидатов по параметру к, зависящий от способа вычисления параметра. Например, для способа вычисления параметра parameten в конкретном варианте реализации thresholdi может равняться 1 ,0. [0059] Затем для каждой детали вычисляют значение feature_scorej,i по следующей формуле:
Figure imgf000016_0001
где feature_scorej,i - минимальное значение меры подобия между j-м признаком из search_features и признаками, хранимыми в индексной базе данных для оси i; fk(pi ,рг) - мера подобия значений k-ых параметров, зависит от способа вычисления параметра (например, fk(pi ,рг) может быть равна |ri - рг| для приведённого выше parameten); parameter^ - значение к-го параметра для j-ro признака изображения, по которому осуществляется поиск; parameter,, к - значение к-го параметра для признака из множества features,, с которым производится сравнение.
[0060] Далее вычисляется score, (шаг 250) для деталей, для которых features, 0, по следующей формуле:
Figure imgf000016_0002
[0061] В результате получают упорядоченный по убыванию значений score, набор деталей-кандидатов candidates = {(score,, i) | i : features, 0}.
[0062] В конкретных вариантах реализации набор candidates содержит не более 100 элементов из начала упорядоченного списка, имеющих наибольшее по сравнению с остальными значение score,. [0063] Далее для каждой детали-кандидата (score,, i) е candidates выполняют следующие действия (шаг 260):
1) строится множество всех возможных инъективных отображений индексов объектов из search_features в индексы объектов детали-кандидата одинаковых классов Mmdexes = {rriindexes : {indexj} — {index,}}, а также множество соответствующих ИМ отображений признаков Mfeatures = {mfeatures
: search features — » features,};
2) вычисляется величина, характеризующая схожесть наборов признаков при применении различных отображений ИЗ Mfeatures:
Figure imgf000017_0001
[0064] Принимают решение об идентификации конкретной номерной детали посредством выбора детали-кандидата с идентификатором i, для которой значение object_scorei максимально (шаг 270).
[0065] В данном описании настоящий способ проиллюстрирован примерами своей реализации, вместе с тем эти примеры не ограничивают объема настоящего изобретения, определяемого лишь прилагаемой формулой изобретения с учетом возможных эквивалентных признаков. Чертежи приведены лишь в целях иллюстрации предпочтительных вариантов воплощения и не должны рассматриваться как ограничивающие изобретение. [0066] Также техническое решение может быть реализовано как система автоматизации идентификации железнодорожных номерных деталей, которая содержит следующие компоненты (Фиг. 3):
· 301 - хранилище данных: хранение эталонных размеченных изображений поверхностей номерных деталей с идентифицирующей информацией (например, изображение поверхности торца оси колесной пары), временное хранение изображений, обрабатываемых модулем распознавания 303;
· 302 - индексная база данных: хранение множества признаков для каждого изображения поверхности номерной детали с идентифицирующей информацией (например, для изображения поверхности торца оси колесной пары), обработанного с помощью модуля распознавания 303;
· 303 - модуль распознавания на основе методов машинного зрения (например, ИНС), выполняющий следующие функции: выделение областей с идентифицирующими данными (например, поверхностей торцов осей колесных пар) на изображении; выделение объектов (например, текстовые символы, клейма, торцевое крепление, болты, центральное отверстие торца оси, нарезные отверстия для болтов и др.); обучение ИНС на основе изображений из хранилища данных; · 304 - носимый терминал сотрудника с встроенным фотоаппаратом, модулем для предварительной обработки изображений, с поддержкой коммуникации по беспроводному каналу связи;
· 305 - клиент для разметки или корректировки автоматической разметки изображений поверхностей торцов осей колесных пар, представляет собой программное обеспечение, установленное на стационарном терминале сотрудника;
· 306 - сервис обработки запросов, поступающих от модулей 304 и 305;
· 307 - модуль построения признаков по размеченным изображениям;
· 308 - модуль поиска по признакам в индексной базе данных 302.
[0067] Принцип работы системы состоит в следующем (на примере варианта реализации системы для идентификации колесных пар):
[0068] Колесные пары идентифицируются в автоматическом режиме по изображениям поверхностей торцов осей, фотографируемых с помощью носимого терминала 304 и передаваемых с 304 на сервис 306 для обработки с помощью модулей распознавания 303, построения множества признаков 307 и поиска 308;
[0069] Для формирования индексной базы данных и добавления изображений в хранилище 301 полученные с помощью носимого терминала 304 или из хранилища 301 изображения с идентифицирующей информацией и информацией о времени, месте и ответственном сотруднике, создавшем изображения, передаются на сервис 306 по беспроводным или проводным каналам связи и далее обрабатываются им с использованием модулей 303, 307 и 308, после обработки размеченные изображению передаются в хранилище данных 301.
[0070] Построенные признаки, сохраненные в индексной базе данных 302, позволяют производить идентификацию колёсных пар не только по распознанному номеру, но и по индивидуальным особенностям, характеризующим взаимное расположение элементов идентифицирующей информации на поверхности торца оси колесной пары.
[0071] Модуль распознавания 303 работает на основе ИНС, обучение которой осуществляется следующим образом.
[0072] С помощью терминала сбора данных 304 производят сбор фотоматериалов с помещением их в хранилище 301. В случае наличия заранее обученной ИНС, с помощью сервиса распознавания 303 производят автоматическую разметку объектов на изображении. Далее с помощью клиента разметки 305, установленного на стационарном терминале, производят корректировку результатов автоматической разметки, либо полностью ручную разметку. Затем с помощью сервиса распознавания 303 производят обучение ИНС на основе новых данных, полученных на предыдущих шагах.
[0073] Построение наборов признаков для размеченных изображений торцов осей колесных пар осуществляется следующим образом.
[0074] Из хранилища 301 получают размеченные изображения. Далее посредством модуля построения признаков 307 для каждого изображения торца оси колесной пары производят построение набора признаков, после чего выполняется добавление соответствующих колесным парам наборов признаков в индексную базу данных 302.
[0075] Поиск колесной пары по изображению поверхности торца оси работает следующим образом.
[0076] С помощью терминала сбора данных 304 выполняют фотографирование поверхности торца оси с передачей на сервис 306 для обработки. Сервис 306 сохраняет изображение во временное хранилище 301, далее с помощью модуля распознавания 303 производит автоматическую разметку изображения, с помощью модуля 307 производит построение набора признаков по размеченному изображению, на основе построенного множества признаков с помощью модуля 308 производит поиск по индексной базы данных 302, результаты поиска передает на терминал сбора данных 304.
[0077] Таким образом, система и способ обеспечивают технический результат в виде повышения точности и скорости идентификации железнодорожных номерных деталей, а также возможности автоматизированного обнаружения «деталей-дубликатов».
[0078] Ссылаясь на Фиг. 4, данное техническое решение может быть реализовано в виде вычислительной системы 400, которая содержит один или более из следующих компонентов:
• компонент 401 обработки, содержащий по меньшей мере один процессор
402,
• память 403, • компонент 404 питания,
• компонент 405 мультимедиа,
• компонент 406 аудио,
• интерфейс 407 ввода / вывода (I / О),
• сенсорный компонент 408,
• компонент 409 передачи данных.
[0079] Компонент 401 обработки в основном управляет всеми операциями системы 400, например, управляет обработкой изображений для идентификации железнодорожных номерных деталей, а также управляет дисплеем, телефонным звонком, передачей данных, работой камеры и операцией записи мобильного устройства связи пользователя. Модуль 401 обработки может включать в себя один или более процессоров 402, реализующих инструкции для завершения всех или части шагов из указанных выше способов. Кроме того, модуль 401 обработки может включать в себя один или более модулей для удобного процесса взаимодействия между другими модулями 401 обработки и другими модулями. Например, модуль 401 обработки может включать в себя мультимедийный модуль для удобного облегченного взаимодействия между компонентом 405 мультимедиа и компонентом 401 обработки.
[0080] Память 403 выполнена с возможностью хранения различных типов данных для поддержки работы системы 400, например, базу данных с профилями пользователей. Примеры таких данных включают в себя инструкции из любого приложения или способа, контактные данные, данные адресной книги, сообщения, изображения, видео, и т. д., и все они работают на системе 400. Память 403 может быть реализована в виде любого типа энергозависимого запоминающего устройства, энергонезависимого запоминающего устройства или их комбинации, например, статического оперативного запоминающего устройства (СОЗУ), Элекгрически-Стираемого Программируемого постоянного запоминающего устройства (ЭСППЗУ), Стираемого Программируемого постоянного запоминающего устройства (СППЗУ), Программируемого постоянного запоминающего устройства (ППЗУ), постоянного запоминающего устройства (ПЗУ), магнитной памяти, флэш-памяти, магнитного диска или оптического диска и другого, не ограничиваясь.
[0081] Компонент 404 питания обеспечивает электричеством различные компоненты системы 400. Компонент 404 питания может включать систему управления электропитанием, один или более источник питания, и другие узлы для генерации, управления и распределения электроэнергии к системе 400. [0082] Компонент 405 мультимедиа включает в себя экран, обеспечивающий выходной интерфейс между системой 400, которая может быть установлена на мобильном устройстве связи пользователя, и пользователем. В некоторых вариантах реализации экран может быть жидкокристаллическим дисплеем (ЖКД) или сенсорной панелью (СП). Если экран включает в себя сенсорную панель, экран может быть реализован в виде сенсорного экрана для приема входного сигнала от пользователя. Сенсорная панель включает один или более сенсорных датчиков в смысле жестов, прикосновения и скольжения сенсорной панели. Сенсорный датчик может не только чувствовать границу прикосновения пользователя или жест перелистывания, но и определять длительность времени и давления, связанных с режимом работы на прикосновение и скольжение. В некоторых вариантах осуществления компонент 405 мультимедиа включает одну фронтальную камеру и/или одну заднюю камеру. Когда система 400 находится в режиме работы, например, режиме съемки или режиме видео, фронтальная камера и/или задняя камера могут получать данные мультимедиа извне. Каждая фронтальная камера и задняя камера может быть одной фиксированной оптической системой объектива или может иметь фокусное расстояние или оптический зум.
[0083] Компонент 406 аудио выполнен с возможностью выходного и/или входного аудио сигнала. Например, компонент 406 аудио включает один микрофон (MIC), который выполнен с возможностью получать внешний аудио сигнал, когда система 400 находится в режиме работы, например, режиме вызова, режима записи и режима распознавания речи. Полученный аудио сигнал может быть далее сохранен в памяти 403 или направлен по компоненту 409 передачи данных. В некоторых вариантах осуществления компонент 406 аудио также включает в себя один динамик, выполненный с возможностью вывода аудио сигнала.
[0084] Интерфейс 407 ввода / вывода (I / О) обеспечивает интерфейс между компонентом 401 обработки и любым периферийным интерфейсным модулем. Вышеуказанным периферийным интерфейсным модулем может быть клавиатура, руль, кнопка, и т. д. Эти кнопки могут включать, но не ограничиваясь, кнопку запуска, кнопку регулировки громкости, начальную кнопку и кнопку блокировки.
[0085] Сенсорный компонент 408 содержит один или более сенсоров и выполнен с возможностью обеспечения различных аспектов оценки состояния системы 400. Например, сенсорный компонент 408 может обнаружить состояния в п/выкл системы 400, относительное расположение компонентов, например, дисплея и кнопочной панели, одного компонента системы 400, наличие или отсутствие контакта между пользователем и системой 400, а также ориентацию или ускорение/замедление и изменение температуры системы 400. Сенсорный компонент 408 содержит бесконтактный датчик, выполненный с возможностью обнаружения присутствия объекта, находящегося поблизости, когда нет физического контакта. Сенсорный компонент 408 содержит оптический датчик (например, КМОП или ПЗС-датчик изображения) выполненный с возможностью использования в визуализации приложения. В некоторых вариантах сенсорный компонент 408 содержит датчик ускорения, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.
[0086] Компонент 409 передачи данных выполнен с возможностью облегчения проводной или беспроводной связи между системой 400 и другими устройствами. Система 400 может получить доступ к беспроводной сети на основе стандарта связи, таких как WiFi, 2G, 3G, 5G, или их комбинации. В одном примерном варианте компонент 409 передачи данных получает широковещательный сигнал или трансляцию, связанную с ними информацию из внешней широковещательной системы управления через широковещательный канал. В одном варианте осуществления компонент 409 передачи данных содержит модуль коммуникации ближнего поля (NFC), чтобы облегчить ближнюю связь. Например, модуль NFC может быть основан на технологии радиочастотной идентификации (RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (IrDA), сверхширокополосных (UWB) технологии, Bluetooth (ВТ) технологии и других технологиях.
[0087] В примерном варианте осуществления система 400 может быть реализована посредством одной или более Специализированных Интегральных Схем (СИС), Цифрового Сигнального Процессора (ЦСП), Устройств Цифровой Обработки Сигнала (УЦОС), Программируемым Логическим Устройством (ПЛУ), логической микросхемой, программируемой в условиях эксплуатации (ППВМ), контроллера, микроконтроллера, микропроцессора или других электронных компонентов, и может быть сконфигурирован для реализации способа идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки.
[0088] В примерном варианте осуществления, энергонезависимый компьютерно- читаемый носитель, содержит инструкции также предусмотренные, например, память 403 включает инструкции, где инструкции выполняются процессором 401 системы 400 для реализации описанного выше способа идентификации железнодорожных номерных деталей. Например, энергонезависимым компьютерно-читаемым носителем может быть ПЗУ, оперативное запоминающее устройство (ОЗУ), компакт-диск, магнитная лента, дискеты, оптические устройства хранения данных и тому подобное.
[0089] Вычислительная система 400 может включать в себя интерфейс дисплея, который передает графику, текст и другие данные из коммуникационной инфраструктуры (или из буфера кадра, не показан) для отображения на компоненте 405 мультимедиа. Вычислительная система 400 дополнительно включает в себя устройства ввода или периферийные устройства. Периферийные устройства могут включать в себя одно или несколько устройств для взаимодействия с мобильным устройством связи пользователя, такие как клавиатура, микрофон, носимое устройство, камера, один или более звуковых динамиков и другие датчики. Периферийные устройства могут быть внешними или внутренними по отношению к мобильному устройству связи пользователя. Сенсорный экран может отображать, как правило, графику и текст, а также предоставляет пользовательский интерфейс (например, но не ограничиваясь ими, графический пользовательский интерфейс (GUI)), через который пользователь может взаимодействовать с мобильным устройством связи пользователя, например, получать доступ и взаимодействовать с приложениями, запущенными на устройстве.
[0090] Элементы заявляемого технического решения находятся в функциональной взаимосвязи, а их совместное использование приводит к созданию нового и уникального технического решения. Таким образом, все блоки функционально связаны.
[0091] Все блоки, используемые в системе, могут быть реализованы с помощью электронных компонент, используемых для создания цифровых интегральных схем, что очевидно для специалиста в данном уровне техники. Не ограничиваюсь, могут быть использоваться микросхемы, логика работы которых определяется при изготовлении, или программируемые логические интегральные схемы (ПЛИС), логика работы которых задаётся посредством программирования. Для программирования используются программаторы и отладочные среды, позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др. Альтернативой ПЛИС могут быть программируемые логические контроллеры (ПЛК), базовые матричные кристаллы (БМК), требующие заводского производственного процесса для программирования; ASIC специализированные заказные большие интегральные схемы (БИС), которые при мелкосерийном и единичном производстве существенно дороже.
[0092] Обычно, сама микросхема ПЛИС состоит из следующих компонент:
• конфигурируемых логических блоков, реализующих требуемую логическую функцию;
• программируемых электронных связей между конфигурируемыми логическими блоками;
• программируемых блоков ввода/вывода, обеспечивающих связь внешнего вывода микросхемы с внутренней логикой.
[0093] Также блоки могут быть реализованы с помощью постоянных запоминающих устройств.
[0094] Таким образом, реализация всех используемых блоков достигается стандартными средствами, базирующимися на классических принципах реализации основ вычислительной техники.
[0095] Как будет понятно специалисту в данной области техники, аспекты настоящего технического решения могут быть выполнены в виде системы, способа или компьютерного программного продукта. Соответственно, различные аспекты настоящего технического решения могут быть реализованы исключительно как аппаратное обеспечение, как программное обеспечение (включая прикладное программное обеспечение и так далее) или как вариант осуществления, сочетающий в себе программные и аппаратные аспекты, которые в общем случае могут упоминаться как «модуль», «система» или «архитектура». Кроме того, аспекты настоящего технического решения могут принимать форму компьютерного программного продукта, реализованного на одном или нескольких машиночитаемых носителях, имеющих машиночитаемый программный код, который на них реализован.
[0096] Также может быть использована любая комбинация одного или нескольких машиночитаемых носителей. Машиночитаемый носитель хранилища может представлять собой, без ограничений, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппарат, устройство или любую подходящую их комбинацию. Конкретнее, примеры (неисчерпывающий список) машиночитаемого носителя хранилища включают в себя: электрическое соединение с помощью одного или нескольких проводов, портативную компьютерную дискету; жесткий диск, оперативную память (ОЗУ), постоянную память (ПЗУ), стираемую программируемую постоянную память (EPROM или Flash-память), оптоволоконное соединение, постоянную память на компакт-диске (CD-ROM), оптическое устройство хранения, магнитное устройство хранения или любую комбинацию вышеперечисленного. В контексте настоящего описания, машиночитаемый носитель хранилища может представлять собой любой гибкий носитель данных, который может содержать или хранить программу для использования самой системой, устройством, аппаратом или в соединении с ними.
[0097] Программный код, встроенный в машиночитаемый носитель, может быть передан с помощью любого носителя, включая, без ограничений, беспроводную, проводную, оптоволоконную, инфракрасную и любую другую подходящую сеть или комбинацию вышеперечисленного.
[0098] Компьютерный программный код для выполнения операций для некоторых шагов настоящего технического решения может быть написан на любом языке программирования или комбинаций языков программирования, включая объектно-ориентированный язык программирования, например Java, Smalltalk, C++ и так далее, и обычные процедурные языки программирования, например язык программирования «С» или аналогичные языки программирования. Программный код может выполняться на компьютере пользователя полностью, частично, или же как отдельный пакет программного обеспечения, частично на компьютере пользователя и частично на удаленном компьютере, или же полностью на удаленном компьютере. В последнем случае, удаленный компьютер может быть соединен с компьютером пользователя через сеть любого типа, включая локальную сеть (LAN), глобальную сеть (WAN) или соединение с внешним компьютером (например, через Интернет с помощью Интернет-провайдеров).
[0099] Аспекты настоящего технического решения были описаны подробно со ссылкой на блок-схемы, принципиальные схемы и/или диаграммы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления настоящего технического решения. Следует иметь в виду, что каждый блок из блок-схемы и/или диаграмм, а также комбинации блоков из блок-схемы и/или диаграмм, могут быть реализованы компьютерными программными инструкциями. Эти компьютерные программные инструкции могут быть предоставлены процессору компьютера общего назначения, компьютера специального назначения или другому устройству обработки данных для создания процедуры, таким образом, чтобы инструкции, выполняемые процессором компьютера или другим программируемым устройством обработки данных, создавали средства для реализации функций/действий, указанных в блоке или блоках блок-схемы и/или диаграммы.
[00100] Эти компьютерные программные инструкции также могут храниться на машиночитаемом носителе, который может управлять компьютером, отличным от программируемого устройства обработки данных или отличным от устройств, которые функционируют конкретным образом, таким образом, что инструкции, хранящиеся на машиночитаемом носителе, создают устройство, включающее инструкции, которые осуществляют функции/действия, указанные в блоке блок-схемы и/или диаграммы.

Claims

ФОРМУЛА
1. Способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, выполняемый с помощью по меньшей мере одного процессора и включающий следующие шаги: a) получают изображения поверхностей с идентифицирующей информацией заранее заданных номерных деталей;
B) осуществляют автоматическую разметку объектов на изображениях, полученных на предыдущем шаге, посредством выделения областей и элементов, содержащих идентифицирующую информацию; c) осуществляют построение набора признаков с вычислением параметров, характеризующих взаимное расположение элементов идентифицирующей информации для каждого размеченного на предыдущем шаге изображения; d) сохраняют размеченные изображения и построенные на предыдущем шаге наборы признаков для каждого изображения в хранилище эталонных изображений и индексной базе данных соответственно; e) получают по меньшей мере одно изображение поверхности железнодорожной номерной детали с клеймами и знаками маркировки для осуществления ее идентификации; f) выполняют шаги Ь), с) для изображения, полученного на шаге е), в результате чего получают набор признаков для идентифицируемой номерной детали; д) осуществляют поиск по набору признаков, сформированному на основе изображения идентифицируемой номерной детали, в индексной базе данных, в результате чего получают список деталей-кандидатов, наиболее подобных идентифицируемой детали по набору признаков; h) осуществляют для каждой детали-кандидата из сформированного на предыдущем шаге списка построение множества всех возможных отображений индексов объектов из набора признаков идентифицируемой детали в индексы объектов из набора признаков детали-кандидата одинаковых классов, а также построение соответствующих им отображений между признаками; i) вычисляют для каждой детали-кандидата величину, характеризующую схожесть наборов признаков идентифицируемой номерной детали и детали-кандидата при применении различных отображений, построенных на шаге h); j) принимают решение об идентификации конкретной номерной детали посредством выбора детали-кандидата из списка, сформированного на шаге д), с максимальным значением величины, рассчитанной на шаге ·
2. Способ по п. 1, характеризующийся тем, что эталонные изображения поверхностей номерных деталей с идентифицирующей информацией размечены с помощью методов машинного зрения.
3. Способ по п. 1, характеризующийся тем, что изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают с носимого терминала пользователя и/или из хранилища данных, и/или с мобильного устройства связи пользователя.
4. Способ по п. 1, характеризующийся тем, что изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в режиме реального времени.
5. Способ по п. 1, характеризующийся тем, что изображение поверхности с идентифицирующей информацией заранее заданных номерных деталей получают в формате JPEG и/или PNG, и/или TIFF.
6. Способ по п. 1, характеризующийся тем, что осуществляют автоматическую разметку объектов на изображении поверхности номерной детали с идентифицирующей информацией посредством искусственной нейронной сети глубокого обучения.
7. Способ по п. 6, характеризующийся тем, что искусственная нейронная сеть имеет архитектуру R-CNN или Fast R-CNN, или Faster R-CNN, или Cascade R- CNN.
8. Способ по п. 1, характеризующийся тем, что при осуществлении автоматической разметки объектов на изображении идентифицирующей информацией является номер завода-изготовителя и/или серийный номер детали, и/или год изготовления, и/или приемочные клейма, и/или клеймо формирования, и/или клеймо ОТК.
9. Способ по п. 1, характеризующийся тем, что в качестве идентифицируемых номерных деталей используются оси колёсных пар и/или колёсные пары.
10. Система идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки, содержащая: a) хранилище данных, выполненное с возможностью хранения эталонных размеченных изображений поверхностей номерных деталей с идентифицирующей информацией и хранения изображений, обрабатываемых модулем распознавания;
B) индексная база данных, выполненная с возможностью хранения набора признаков для каждого изображения поверхности номерной детали с идентифицирующей информацией, обработанного с помощью модуля распознавания; c) модуль распознавания с применением методов машинного зрения, выполненный с возможностью:
- обучения на основе данных из хранилища;
- выделения областей с идентифицирующими данными на изображении поверхности номерной детали;
- выделения объектов на изображении. d) модуль построения набора признаков для изображения на основе выделенных объектов; e) модуль поиска, выполненный с возможностью:
- получения списка деталей-кандидатов по набору признаков в индексной базе данных;
- определения результата поиска на основе списка деталей- кандидатов. f) мобильное устройство связи пользователя со встроенным фотоаппаратом, выполненный с возможностью предварительной обработки изображений.
PCT/RU2019/000559 2019-08-07 2019-08-07 Система и способ идентификации железнодорожных номерных деталей WO2021025579A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2019125009 2019-08-07
RU2019125009A RU2702965C1 (ru) 2019-08-07 2019-08-07 Система и способ идентификации железнодорожных номерных деталей по изображению их поверхностей с клеймами и знаками маркировки

Publications (1)

Publication Number Publication Date
WO2021025579A1 true WO2021025579A1 (ru) 2021-02-11

Family

ID=68280275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2019/000559 WO2021025579A1 (ru) 2019-08-07 2019-08-07 Система и способ идентификации железнодорожных номерных деталей

Country Status (2)

Country Link
RU (1) RU2702965C1 (ru)
WO (1) WO2021025579A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643340A (zh) * 2021-08-16 2021-11-12 中冶东方工程技术有限公司 一种基于机器视觉的热轧钢轨物料跟踪方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093054A1 (en) * 2014-09-29 2016-03-31 General Electric Company System and method for component detection
US20160110605A1 (en) * 2014-02-10 2016-04-21 Geenee UG (haftungsbeschraenkt) Systems and methods for image-feature-based recognition
WO2019092248A1 (de) * 2017-11-10 2019-05-16 Db Fernverkehr Ag Analyseverfahren und analysesystem für mit einem inspektionssystem zur optischen inspektion eines fahrzeugs aufgenommene rohdaten

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU107733U1 (ru) * 2011-04-12 2011-08-27 Елена Ивановна Трошкина Устройство для ремонта вагонов
ES2470145T3 (es) * 2011-07-12 2014-06-23 Alstom Transport Sa Procedimiento y sistema estacionario para monitorizar equipos de un vehículo ferroviario
WO2013086578A1 (en) * 2011-12-15 2013-06-20 Multiskilled Resources Australia Pty Ltd Rail car operating condition and identity monitoring system
RU133082U1 (ru) * 2013-04-08 2013-10-10 Денис Сергеевич Гвоздев Устройство идентификации подвижных единиц железнодорожного транспорта
GB2542115B (en) * 2015-09-03 2017-11-15 Rail Vision Europe Ltd Rail track asset survey system
EP3602403A4 (en) * 2017-03-23 2021-01-27 Harsco Technologies LLC DETECTION OF TRACK CHARACTERISTICS USING ARTIFICIAL VISION

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110605A1 (en) * 2014-02-10 2016-04-21 Geenee UG (haftungsbeschraenkt) Systems and methods for image-feature-based recognition
US20160093054A1 (en) * 2014-09-29 2016-03-31 General Electric Company System and method for component detection
WO2019092248A1 (de) * 2017-11-10 2019-05-16 Db Fernverkehr Ag Analyseverfahren und analysesystem für mit einem inspektionssystem zur optischen inspektion eines fahrzeugs aufgenommene rohdaten

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643340A (zh) * 2021-08-16 2021-11-12 中冶东方工程技术有限公司 一种基于机器视觉的热轧钢轨物料跟踪方法及系统

Also Published As

Publication number Publication date
RU2702965C1 (ru) 2019-10-14

Similar Documents

Publication Publication Date Title
CN109086756A (zh) 一种基于深度神经网络的文本检测分析方法、装置及设备
CN112395978A (zh) 行为检测方法、装置及计算机可读存储介质
CN103886189A (zh) 用于无人机巡检的巡检结果数据处理系统及方法
Hadjidemetriou et al. Vision-and entropy-based detection of distressed areas for integrated pavement condition assessment
CN210015460U (zh) 一种跨终端可交互的货运监控物联网系统
US20190096254A1 (en) Method and system for capturing operation variables for vehicles
Almutairy et al. Arts: Automotive repository of traffic signs for the united states
Sunny et al. Image based automatic traffic surveillance system through number-plate identification and accident detection
WO2021025579A1 (ru) Система и способ идентификации железнодорожных номерных деталей
Pavaskar et al. Real-time vehicle-type categorization and character extraction from the license plates
CN113371035B (zh) 一种列车信息的识别方法和识别系统
KR20210097555A (ko) 교통사고 정보를 제공하기 위한 서비스 방법
Babu et al. Vehicle tracking using number plate recognition system
Umar et al. Traffic violation detection system using image processing
TWM618607U (zh) 自動化交通轉向量化調查報告產出系統
CN105718972A (zh) 一种信息智能采集方法
KR20220080975A (ko) 주행환경 정적객체인지 ai 데이터 처리 방법 및 이를 위한 장치
Obreja et al. Developing a Versatile Framework Needed to Identify Pothole in Asphalt Using Deep Learning Algorithms
Hong Pham et al. Road surface damages allocation with RTI-IMS software based on YOLO V5 model
Gaikwad et al. Traffic Sign Recognition
CN114064971B (zh) 一种基于深度学习的机坪视频语义检索方法及检索系统
Chousangsuntorn et al. Three-stage deep learning system for recognizing contaminated serial numbers in hard disk drive: a comparison study with two-stage deep learning model
Lu et al. Subway Obstacle Detection System Based on Machine Vision
Prakash A deep convolutional neural network for traffic sign classification and detection with voice recognition
Jahnavi et al. OCR Based Number Plate Recognition Using LabVIEW

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940252

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940252

Country of ref document: EP

Kind code of ref document: A1