RU2811525C1 - Method for measuring distance to carriage using video camera - Google Patents
Method for measuring distance to carriage using video camera Download PDFInfo
- Publication number
- RU2811525C1 RU2811525C1 RU2023111544A RU2023111544A RU2811525C1 RU 2811525 C1 RU2811525 C1 RU 2811525C1 RU 2023111544 A RU2023111544 A RU 2023111544A RU 2023111544 A RU2023111544 A RU 2023111544A RU 2811525 C1 RU2811525 C1 RU 2811525C1
- Authority
- RU
- Russia
- Prior art keywords
- car
- image
- distance
- measuring
- railway track
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000003137 locomotive effect Effects 0.000 description 9
- 230000003416 augmentation Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Abstract
Description
Изобретение относится к области информационно-измерительных систем и может найти применение в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования маневрового тепловоза с автоматической системой управления (МТ с АСУ) вагон железнодорожного состава. При этом расстояние от вагона МТ с АСУ оценивается с целью минимизации времени, затрачиваемого на приближение к составу, т.е. торможение тепловоза до скорости сцепки (не более 2 км/ч) начинается только при приближении к составу на некоторое критическое расстояние. Указанное критическое расстояние зависит от заданной скорости движения МТ с АСУ на свободном прямолинейном участке железнодорожного пути.The invention relates to the field of information-measuring systems and can find application in computer vision systems designed to solve the problem of measuring the distance to an object using its only digital video image. The object to which the range is measured is the nearest railway car along the route of a shunting diesel locomotive with an automatic control system (MT with ACS). In this case, the distance from the MT car with the automated control system is assessed in order to minimize the time spent approaching the train, i.e. Braking of the diesel locomotive to the coupling speed (no more than 2 km/h) begins only when approaching the train at a certain critical distance. The specified critical distance depends on the specified speed of movement of the vehicle with automatic control system on a free straight section of the railway track.
Из уровня техники известен способ измерения расстояния цифровой видеокамерой с помощью мишени (патент RU 2655467, опубл. 28.05.2018, МПК: G01C 3/06 (2006.01)). Согласно способу, для измерения расстояния до объекта на нем закрепляют мишень в форме шара известного радиуса, цвет которого характеризуется одним слабо выраженным цветовым компонентом. Далее производится выделение контура изображения шара (контур представляет особой окружность вне зависимости от ракурса съемки) и измерение его радиуса, выполняется сопоставление данного радиуса с физическим размером мишени, и в момент времени t расстояние до объекта вычисляется по формуле:A method of measuring distance with a digital video camera using a target is known from the prior art (patent RU 2655467, published on May 28, 2018, IPC: G01C 3/06 (2006.01)). According to the method, to measure the distance to an object, a target in the shape of a ball of known radius, the color of which is characterized by one weakly expressed color component, is attached to it. Next, the contour of the image of the ball is selected (the contour represents a special circle, regardless of the shooting angle) and its radius is measured, this radius is compared with the physical size of the target, and at time t the distance to the object is calculated using the formula:
где F - фокусное расстояние объектива видеокамеры;where F is the focal length of the video camera lens;
R - физический размер радиуса мишени;R is the physical size of the target radius;
rad(t) - радиус мишени в пикселях на видеокадре в момент времени t;rad(t) - target radius in pixels on the video frame at time t;
pix - физический размер пикселя видеоизображения (на матрице камеры).pix - physical pixel size of the video image (on the camera matrix).
Недостатком способа является необходимость установки мишени на всех объектах, до которых требуется измерять дальность.The disadvantage of this method is the need to install a target on all objects to which the range needs to be measured.
Указанного недостатка лишен способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути (патент RU 2750364, опубл. 28.06.2021, МПК: G01C 3/00 (2006.01)), по совокупности признаков выбранный в качестве прототипа. В способе прототипа дополнительная установка на вагон мишени или иных реперных устройств не требуется: опорными (реперными) точками выступают автоматически выделяемые на изображении камеры точки контакта рельсов железнодорожного пути с колесной парой. Поскольку ширина рельсового пути L априори известна, это позволяет решить задачу измерения дальности с применением математической модели проективной камеры. При этом при нахождении маневрового тепловоза на прямолинейном участке пути с помощью установленной на нем камеры выделяют контурный препарат вертикальных линий наблюдаемой сцены, на котором с применением преобразования Хафа выделяют N≥2 прямых линий. После анализа параметров данных линий ρ и θ в пространстве параметров Хафа оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона, и решают уравнения проективной геометрии.The method for measuring the range from a shunting diesel locomotive to a car on a straight section of a railway track (patent RU 2750364, published on 06/28/2021, IPC: G01C 3/00 (2006.01)), which was chosen as a prototype based on a set of characteristics, does not have this drawback. In the prototype method, additional installation of a target or other reference devices on the car is not required: the reference (reference) points are the contact points of the railway track with the wheel pair that are automatically selected in the camera image. Since the width of the rail track L is known a priori, this makes it possible to solve the problem of measuring range using a mathematical model of a projective camera. In this case, when the shunting diesel locomotive is on a straight section of the track, using a camera installed on it, a contour preparation of the vertical lines of the observed scene is isolated, on which N≥2 straight lines are identified using the Hough transform. After analyzing the parameters of these lines ρ and θ, only two straight lines are left in the Hough parameter space, which potentially correspond to the images of the rails of the track on which the shunting diesel locomotive is located. For points of the contour preparation belonging to the specified straight lines, morphological dilatation is performed; determine the pixel coordinates of the points corresponding to the contact points of the rails with the wheel pair of the car, and solve the equations of projective geometry.
Технический результат в способе прототипа достигается за счет свойства геометрической постановки задачи (фиг. 1): на прямолинейном участке пути для камеры с системой координат CXкYкZк, причем линия визирования камеры CZк направлена по ходу движения маневрового тепловоза и имеет отклонение от линии горизонта (показана на фиг. 1 пунктиром) на угол ϕх, наклонную дальность до вагона Dн можно оценить по формуле:The technical result in the prototype method is achieved due to the property of the geometric formulation of the problem (Fig. 1): on a straight section of the track for a camera with a coordinate system CX to Y to Z to , and the line of sight of the camera CZ to is directed along the direction of movement of the shunting diesel locomotive and has a deviation from horizon line (shown in Fig. 1 by a dotted line) by an angle ϕ x , the slant distance to the car D n can be estimated using the formula:
где L - ширина железнодорожного пути, m1н и m2н - нормированные однородные пиксельные координаты изображений рельсов в точках контакта М1 и М2 с колесной парой вагона,where L is the width of the railway track, m 1н and m 2н are the normalized homogeneous pixel coordinates of the images of the rails at the points of contact M 1 and M 2 with the wheel pair of the car,
где К - матрица внутренних параметров камеры, m1 и m2 - пиксельные координаты точек контакта рельсов с колесной парой, а нормированное фокусное расстояние / проективной камеры по определению (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) равно единице: ƒн=1.where K is the matrix of internal parameters of the camera, m 1 and m 2 are the pixel coordinates of the points of contact of the rails with the wheel pair, and the normalized focal length / of the projective camera by definition (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) is equal to one: ƒ n =1.
Параметр определяет нормированную к фокусному расстоянию камеры ƒ длину отрезка m1m2.Parameter determines the length of the segment m 1 m 2 normalized to the camera focal length ƒ.
Главная точка Камеры на фиг. 1 обозначена символом mC. Как следует из геометрических построений фиг. 1, для нахождения искомой горизонтальной дальности D необходимо дополнительно вычислить:The main point of the Camera in Fig. 1 is indicated by the symbol m C . As follows from the geometric constructions of Fig. 1, to find the required horizontal range D it is necessary to additionally calculate:
где Δϕ - угловое расстояние между оптической осью CZк камеры и направлением на середину отрезка M1M2. Угол ϕх в способе прототипа оценивают по сигналам инерциального измерительного модуля, встроенного в корпус камеры либо закрепленного на нем.where Δϕ is the angular distance between the optical axis CZ k of the camera and the direction to the middle of the segment M 1 M 2 . The angle ϕ x in the prototype method is estimated from signals from an inertial measurement module built into the camera body or mounted on it.
Для проективной камеры без крена справедливы выражения:For a projective camera without roll, the following expressions are valid:
Недостатком способа прототипа является необходимость выполнения контурного анализа и последующего преобразования Хафа для поиска прямых линий на контурном препарате изображения. Известно (Xuming Z., Zhouping Y., Youlun X. Edge detection of the low contrast welded joint image corrupted by noise // Proc. of 8th Int. Conf. on Electronic Measurement and Instruments. Xi'an, 2007. P. 2-876-2-879; Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. СПб: СПбГУ ИТМО, 2008. 192 с.), что на малоконтрастных изображениях, изображениях со смазом, вызванным движением носителя камеры, а также изображениях с неравномерной освещенностью или низким отношением сигнал-шум эффективность операторов выделения границ снижается.The disadvantage of the prototype method is the need to perform contour analysis and subsequent Hough transform to search for straight lines on the contour image preparation. It is known (Xuming Z., Zhouping Y., Youlun X. Edge detection of the low contrast welded joint image corrupted by noise // Proc. of 8th Int. Conf. on Electronic Measurement and Instruments. Xi'an, 2007. P. 2 -876-2-879; Fisenko V.T., Fisenko T.Yu. Computer processing and image recognition: textbook. St. Petersburg: St. Petersburg State University ITMO, 2008. 192 p.), that in low-contrast images, images with blur caused by motion of the camera carrier, as well as images with uneven illumination or low signal-to-noise ratio, the effectiveness of edge extraction operators is reduced.
Техническая проблема, решаемая созданием заявленного изобретения, заключается в повышении достоверности локализации на изображении пиксельных координат m1 и m2 точек контакта рельсов с колесной парой вагона.The technical problem solved by the creation of the claimed invention is to increase the reliability of localization in the image of the pixel coordinates m 1 and m 2 of the points of contact of the rails with the wheel pair of the car.
Технический результат заключается в уменьшении погрешности измерения дальности до вагона в условиях недостаточной видимости или неравномерной освещенности.The technical result consists in reducing the error in measuring the distance to the car in conditions of insufficient visibility or uneven illumination.
Технический результат достигается за счет распознавания с помощью алгоритма машинного обучения на изображении областей, соответствующих свободным участкам рельсового пути. При этом для задачи измерения дальности до вагона можно ввести следующий априорный алфавит распознаваемых классов (см. фиг. 2):The technical result is achieved through recognition using a machine learning algorithm in the image of areas corresponding to free sections of the rail track. In this case, for the task of measuring the distance to the car, you can enter the following a priori alphabet of recognized classes (see Fig. 2):
1) рельсы железнодорожного пути;1) railroad tracks;
2) свободное от вагонов межрельсовое пространство железнодорожного пути;2) the inter-rail space of the railway track free from cars;
3) вагоны и локомотивы.3) carriages and locomotives.
Указанное распознавание может быть реализовано, например, посредством обучения с аугментацией (Емельянов C.O., Иванова А.А., Швец Е.А., Николаев Д.П. Методы аугментации обучающих выборок в задачах классификации изображений // Сенсорные системы. 2018. Т. 32, №3. С.236-245) сверточной нейронной сети по базе данных изображений рельсовых путей, снятых при различных погодных условиях и освещенности.The specified recognition can be implemented, for example, through training with augmentation (Emelyanov S.O., Ivanova A.A., Shvets E.A., Nikolaev D.P. Methods for augmentation of training samples in image classification problems // Sensor Systems. 2018. Vol. 32, No. 3. P.236-245) convolutional neural network based on a database of images of rail tracks taken under different weather conditions and lighting conditions.
Например, машинное обучение с аугментацией нейронной сети с архитектурой MobileNet по базе изображений рельсовых путей «RailSem19» (Zendel О., Murschitz М., Zeilinger М., Steininger D., Abbasi S. and Beleznai C. RailSem19: A dataset for semantic rail scene understanding // Proc. of IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops. Long Beach, 2019. P. 1221-1229) no 20000 изображений (7000 исходных изображений и 13000 результатов аугментации) позволяет с вероятностью не менее 0,91 выделять на изображениях не занятые вагонами участки пути.For example, machine learning with neural network augmentation with MobileNet architecture using the RailSem19 image database of rail tracks (Zendel O., Murschitz M., Zeilinger M., Steininger D., Abbasi S. and Beleznai C. RailSem19: A dataset for semantic rail scene understanding // Proc. of IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops. Long Beach, 2019. P. 1221-1229) no 20000 images (7000 original images and 13000 augmentation results) allows with a probability of at least 0, 91 highlight in the images sections of the track not occupied by cars.
Результат распознавания изображений рельсового пути с помощью алгоритма машинного обучения в общем случае содержит участки изображений межрельсового пространства, не отнесенные к классам 1) и 2) распознаваемых нейронной сетью классов априорного алфавита. Для устранения данных участков требуется применение к сформированному после распознавания изображению (фиг. 3) операции морфологического замыкания, которое устраняет небольшие внутренние пустоты и углубления по краям распознанного участка рельсового пути на изображении (фиг. 4).The result of image recognition of a rail track using a machine learning algorithm in the general case contains sections of images of the inter-rail space that are not classified into classes 1) and 2) of the classes of the a priori alphabet recognized by the neural network. To eliminate these areas, it is necessary to apply a morphological closure operation to the image generated after recognition (Fig. 3), which eliminates small internal voids and depressions along the edges of the recognized section of the rail track in the image (Fig. 4).
Если в поле зрения камеры попадают несколько путей, то дополнительно требуется выполнение операции «логическое И» с маской сектора анализа (фиг. 5) для выделения изображения только того пути, по которому движется маневровый тепловоз (фиг. 6).If several paths fall into the camera’s field of view, then it is additionally required to perform a “logical AND” operation with an analysis sector mask (Fig. 5) to select the image of only the path along which the shunting diesel locomotive is moving (Fig. 6).
Далее автоматически выделяют строку изображения, соответствующую окончанию свободного от вагонов межрельсового пространства железнодорожного пути, и определяют в ней пиксельные координаты точек m1 и m2 точек контакта рельсов с колесной парой вагона. Когда пиксельные координаты m1 и m2 определены, повторяют действия согласно способу прототипа, т.е. переходят к нормированным пиксельным координатам m1н и m2н, вычисляют наклонную дальность по формуле (2) и горизонтальную дальность - по формуле (4).Next, the image line corresponding to the end of the inter-rail space of the railway track, free from cars, is automatically selected, and the pixel coordinates of the points m 1 and m 2 of the points of contact of the rails with the wheel pair of the car are determined in it. When the pixel coordinates m 1 and m 2 are determined, the steps are repeated according to the prototype method, i.e. go to the normalized pixel coordinates m 1n and m 2n , calculate the slant range using formula (2) and the horizontal range using formula (4).
Схема алгоритма, реализующего предлагаемый способ измерения дальности до вагона, приведена на фиг. 7.A diagram of the algorithm that implements the proposed method of measuring the distance to a car is shown in Fig. 7.
Последовательное применение этапов алгоритма (фиг. 7) с маской фиг. 5 к результатам распознавания класса 2) «свободное от вагонов межрельсовое пространство железнодорожного пути» на изображении фиг. 2 приводит к выделению бинарной области, показанной на фиг. 8.Sequential application of the stages of the algorithm (Fig. 7) with the mask of Fig. 5 to the results of recognition of class 2) “the inter-rail space of the railway track free from cars” in the image of Fig. 2 results in the selection of the binary region shown in FIG. 8.
Верхняя срока белого сектора бинарного изображения на фиг. 8 имеет индекс j=326 и однородные пиксельные координаты крайних точек m1=[949, 326, 1]T и m2=[959, 326, 1]Т. Для камеры с матрицей внутренних параметровThe upper term of the white sector of the binary image in Fig. 8 has index j=326 and uniform pixel coordinates of the extreme points m 1 =[949, 326, 1] T and m 2 =[959, 326, 1] T. For a camera with a matrix of internal parameters
где, например, для Full HD камеры W×H=1920×1080 пикселей - размеры кадра, (сх, cу)=(W/2, H/T)=(960, 540) - пиксельные координаты главной точки, нормированные однородные пиксельные координаты крайних точек:where, for example, for a Full HD camera W×H=1920×1080 pixels are the frame dimensions, (c x , c y )=(W/2, H/T)=(960, 540) - pixel coordinates of the main point, normalized uniform pixel coordinates of the extreme points:
Наклонная дальность, рассчитанная по (2), для ширины пути L=1520 мм=1,52 м:Slope range, calculated by (2), for track width L=1520 mm=1.52 m:
Для соответствующего фиг. 2 угла установки камеры ϕх=22° и искомая дальность согласно (4) равна:For the corresponding FIG. 2 camera installation angles ϕ x =22° and the required range according to (4) is equal to:
Так как D>100 м, то с учетом скорости маневрового тепловоза, полученное для фиг. 2, значение дальности можно трактовать как движение по незанятому вагонами участку пути, что соответствует действительности.Since D>100 m, then taking into account the speed of the shunting diesel locomotive, obtained for Fig. 2, the range value can be interpreted as movement along a section of the track unoccupied by cars, which corresponds to reality.
Claims (1)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2811525C1 true RU2811525C1 (en) | 2024-01-15 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2669656C2 (en) * | 2015-08-06 | 2018-10-12 | Эксенчер Глобал Сервисез Лимитед | Condition detection with use of image processing |
| RU2750364C1 (en) * | 2020-11-10 | 2021-06-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Method for measuring the distance from shunting locomotive to car on straight section of railway track |
| RU2760058C1 (en) * | 2021-06-25 | 2021-11-22 | Илья Викторович Барский | Method for automatic traffic control and the system implementing it |
| RU2761763C1 (en) * | 2020-12-18 | 2021-12-13 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | System for ensuring safety on railway transport |
| US20220024501A1 (en) * | 2016-10-20 | 2022-01-27 | Rail Vision Ltd | System and method for object and obstacle detection and classification in collision avoidance of railway applications |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2669656C2 (en) * | 2015-08-06 | 2018-10-12 | Эксенчер Глобал Сервисез Лимитед | Condition detection with use of image processing |
| US20220024501A1 (en) * | 2016-10-20 | 2022-01-27 | Rail Vision Ltd | System and method for object and obstacle detection and classification in collision avoidance of railway applications |
| RU2750364C1 (en) * | 2020-11-10 | 2021-06-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Method for measuring the distance from shunting locomotive to car on straight section of railway track |
| RU2761763C1 (en) * | 2020-12-18 | 2021-12-13 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | System for ensuring safety on railway transport |
| RU2760058C1 (en) * | 2021-06-25 | 2021-11-22 | Илья Викторович Барский | Method for automatic traffic control and the system implementing it |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113536883B (en) | Obstacle detection method, vehicle, apparatus, and computer storage medium | |
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| CN104183127B (en) | Traffic surveillance video detection method and device | |
| CN109791603B (en) | Method for capturing objects in an environment region of a motor vehicle by predicting the movement of the objects, camera system and motor vehicle | |
| US9665781B2 (en) | Moving body detection device and moving body detection method | |
| CN104881645B (en) | The vehicle front mesh object detection method of feature based point mutual information and optical flow method | |
| CN110736999B (en) | Railway turnout detection method based on laser radar | |
| CN110443819B (en) | Method and device for detecting track of monorail train | |
| US10275663B2 (en) | Indoor navigation method and system | |
| CN111539436B (en) | Rail fastener positioning method based on straight template matching | |
| Shi et al. | Deep learning based virtual point tracking for real-time target-less dynamic displacement measurement in railway applications | |
| CN105654031A (en) | Systems and methods for object detection | |
| CN112613424A (en) | Rail obstacle detection method, rail obstacle detection device, electronic apparatus, and storage medium | |
| CN109145897B (en) | Spacecraft cooperation target and identification method and identification device thereof | |
| CN110490342B (en) | Contact net static geometrical parameter detection method based on Faster R-CNN | |
| CN106530825A (en) | Method for detecting traffic conflict between motor-assisted bicycle and automobile based on ST-MRF model | |
| Zhang et al. | Bidirectional multiple object tracking based on trajectory criteria in satellite videos | |
| Kudinov et al. | Perspective-2-point solution in the problem of indirectly measuring the distance to a wagon | |
| CN110176022B (en) | Tunnel panoramic monitoring system and method based on video detection | |
| RU2811525C1 (en) | Method for measuring distance to carriage using video camera | |
| RU2729512C1 (en) | Method for indirect measurement of range from a diesel locomotive shunter to a rail track straight section | |
| CN114545435A (en) | Dynamic target sensing system and method fusing camera and laser radar | |
| Wang et al. | Geometry constraints-based visual rail track extraction | |
| CN110230985B (en) | Sleeper bolt detection device | |
| Espino et al. | Rail and turnout detection using gradient information and template matching |