RU2729512C1 - Способ косвенного измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути - Google Patents

Abstract

Изобретение относится к области информационно-измерительных систем и может быть использовано в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Заявленный способ косвенного измерения дальности от маневрового тепловоза до вагона заключается в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки с его размером в пикселях, определенным по контурному препарату видеоизображения. При нахождении маневрового тепловоза на прямолинейном участке пути на видеоизображении выделяют сектор, в пределах которого формируют конкурный препарат вертикальных линий; на контурном препарате с применением преобразования Хафа или Радона выделяют N≥2 прямых линий. После анализа параметров данных линий ρ и θ оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз. Для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию и определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона. Решают задачу Perspective-2-Point, где известным линейным размером выступает ширина железнодорожной колеи L_кол, и вносят поправку на расстояния между крайней точкой автосцепки маневрового тепловоза и оптическим центром камеры. Технический результат - оценивание дальности до вагона косвенным методом - путем автоматического измерения на изображении ширины железнодорожной колеи в месте ее контакта с колесной парой. 2 з.п. ф-лы, 12 ил.

Description

Изобретение относится к области информационно-измерительных систем и может быть использовано в системах компьютерного зрения, предназначенных для решения задачи измерения дальности до объекта по его единственному цифровому видеоизображению. Объектом, до которого измеряется дальность, является ближайший по ходу следования вагон железнодорожного состава, при этом оценивается расстояние от него до маневрового тепловоза с автоматической системой управления с целью минимизации времени, затрачиваемого на торможение при приближении к составу до момента сцепки с ним.

Из уровня техники известны маневровый тепловоз и способ его эксплуатации без машиниста (патент RU 2630859, опубликовано 13.09.2017, МПК: B60L 11/02 (2006.01), B61L 23/34 (2006.01), B61L 27/04 (2006.01), G01S 13/94 (2006.01), В61С 5/00 (2006.01)), в котором выполняется измерение дальности до ближайшего по ходу движения маневрового тепловоза вагона. При этом на торцевых сторонах маневрового тепловоза расположены дальномеры бесконтактного действия, связанные с устройством управления, которое подключено к блоку возбуждения тягового генератора и предусмотрено для управления скоростью движения. Указанные дальномеры бесконтактного действия установлены на уровне автосцепки, и их плоскость считывания расположена параллельно плоскости рельсового пути, при этом линия считывания формируется пересечением плоскости считывания и плоскости расположения автосцепки ближайшего по ходу движения вагона, перпендикулярной плоскости пути. Согласно описанию способа, в качестве дальномеров бесконтактного действия могут быть применены ультразвуковые или лазерные дальномеры.

К недостаткам применяемых согласно указанному способу ультразвуковых дальномеров следует отнести сравнительно малую дальность действия (до 10 м), а также влияние на абсолютную погрешность измерений скорости ветра.

К недостаткам лазерных дальномеров следует отнести наличие интенсивной фоновой помехи от солнца при его расположении вблизи горизонта.

По причине интенсивной фоновой помехи также не является целесообразным применение радиолокационного дальномера, поскольку на железной дороге имеется большое количество отражателей, являющихся источниками пассивных помех (Бакулев П.А., Степин В.М. Методы и устройства селекции движущихся целей. М.: Радио и связь, 1986. 288 с.) - переотражений радиоизлучения от рельсового пути, проводов и опор контактной сети, а также расположенных на соседних путях вагонов.

Альтернативой активным способам измерения дальности до объекта, предполагающим облучение объекта источником внешнего излучения, являются пассивные, основанные, например, на анализе изображения объекта в оптическом диапазоне видимых длин волн.

Из уровня техники известен способ определения расстояния до объекта при помощи камеры (варианты) (патент RU 2602729, опубликовано 10.04.2016, МПК: G01C 11/36 (2006.01), G01C 3/08 (2006.01)), в котором при известных калибровочных характеристиках цифровой камеры (коэффициентах радиальной дисторсии ее объектива, а также матрице внутренних параметров К, содержащей выраженные соответственно в единицах длины и ширины пикселей фокусные расстояния и координаты главной точки) получают один кадр, выделяют на нем объект и измеряют расстояние до него на основании метрических и угловых размеров объекта. При этом расстояние до объекта г определяют по формуле:

r=0,5M/tg(0,5α),

где М и α - линейный и угловой размеры объекта соответственно. Предполагается, что линейный размер М известен априорно, а угловой размер α может быть вычислен по крайним пикселям изображения объекта. Если однородные координаты этих пикселей m₁=[х₁, у₁, 1]^T и m₂=[x₂, y₂, 1]^T (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p.), то угловой размер:

где «•» - знак скалярного произведения, «Т» - знак транспонирования, «||m||» - два-норма вектора ||m||.

Недостатком способа является то, что измерение дальности по (1) не учитывает ракурса наблюдения объекта съемки, поэтому абсолютная погрешность будет мала только в том случае, если плоскость, в которой расположен объект съемки, параллельна плоскости сенсора камеры, то есть проективные искажения отсутствуют.

Указанного недостатка лишен способ измерения расстояния на цифровой видеокамере с помощью мишени (патент RU 2655467, опубликовано 28.05.2018, МПК: G01C 3/06 (2006.01)), по совокупности признаков выбранный в качестве прототипа. Согласно способу, для измерения расстояния до объекта на нем закрепляют мишень в форме шара известного радиуса, цвет которого характеризуется одним слабо выраженным цветовым компонентом. Далее производится выделение контура изображения шара (контур представляет особой окружность вне зависимости от ракурса съемки) и измерение его радиуса, выполняется сопоставление данного радиуса с физическим размером мишени, и в момент времени t вычисляется расстояние до объекта по формуле:

где F - фокусное расстояние объектива видеокамеры;

R - физический размер радиуса мишени;

rad(t) - радиус мишени в пикселях на видеокадре в момент времени t;

pix - физический размер пикселя видеоизображения (на матрице камеры).

Недостатком способа является необходимость установки мишени на объекте, дальность до которого необходимо измерить.

Техническая проблема, решаемая созданием заявленного изобретения, заключается в отсутствии пассивного способа измерения дальности до ближайшего по ходу движения маневрового тепловоза вагона, не требующего для своей реализации дополнительной установки на вагон мишени или иных реперных устройств.

Технический результат изобретения заключается в оценивании дальности до вагона косвенным методом - путем автоматического измерения на изображении ширины железнодорожной колеи в месте ее контакта с колесной парой.

Технический результат достигается тем, что на бинаризованном контурном препарате изображения I_бин с помощью преобразования Хафа или Радона (Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.) выделяется N≥2 прямых линий. При этом для уменьшения объема вычислений выделение контуров в кадре выполняется только в секторе, где априорно будет находиться проекция железнодорожной колеи на плоскость изображения при прямолинейном рельсовом пути (например, центральная часть изображения). Определить, является ли участок рельсового пути, на котором находится маневровый тепловоз, прямолинейным или нет, позволяет, например, применение спутниковых радионавигационных систем (патент DE 19632958, опубликовано 29.01.1998, МПК: B61K 3/02).

Из найденных N прямых линий далее отбираются только те две из них, которые могут принадлежать железнодорожной колее. Критерием отбора выделенных прямых линий при их параметрическом представлении

с признаками (ρ_i, θ_i), i=1, 2…, N, (ρ и θ - параметры преобразований Хафа и Радона: ρ - длина перпендикуляра, восстановленного до прямой из начала системы координат изображения, θ - угол между прямой и осью X системы координат изображения) в пространстве параметров (ρ, θ) выступают неравенства:

где i, j=1, 2, …N, i≠j, θ_min и θ_max - априорно задаваемые пороговые значения возможного значения угла между линиями, соответствующими изображениям рельсов, a d_min и d_max - априорно задаваемые пороговые значения длины отрезка между линиями (ρ_i θ_i) и (ρ_J, θ_i), лежащего на прямой, соответствующей нижней строке кадра. Точки M^нижн _i и M^нижн _i определяют пиксельные координаты пересечения нижней строки с линиями (ρ_i, θ_i) и (ρ_j, θ_i) соответственно.

Численные значения параметров θ_m;_n, θ_max d_min и d_max зависят от фокусного расстояния камеры, высоты ее установки на маневровом тепловозе и угла места ее линии визирования.

Начало координат системы Оху, в которой определяются координаты (х, у) пикселей изображения, располагается в верхнем левом углу изображения, координатная ось х направлена вправо, координатная ось у - вниз (Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: учеб. пособие. Новосибирск: Изд-во НГТУ, 2002. 352 с.).

Когда две прямые определены, на бинарном изображении I_бин оставляют единичные значения только для тех пискелей, которые принадлежат прямым (ρ₁, θ₁) и (ρ₂, θ₂), а все остальные заменяют нулевыми. Тем самым получают бинарное изображение I^* _бин.

Для пикселей бинарного изображения I^* _бин выполняется операция морфологической дилатации со структурирующим элементом размерности

пикселей для исключения разрывов в контурном препарате длиной в

пикселей соответственно, где

- операция округления до ближайшего меньшего целого. Рекомендуемое значение параметра

- 3 или 5.

На сформированном в результате дилатации бинарном изображении I_дил последовательно, от нижней строки изображения к верхней, выполняется поиск пересечения с контурным препаратом прямой

где Н - высота изображения в пикселях, а у_х - координата у точки пересечения прямых (ρ₁, θ₁) и (ρ₂, θ₂). При этом находят координаты m_1i=[х_левi, i, 1]^T и m_2i=[x_правi, i, 1]^T пересечения прямой с линиями контурного препарата бинарного изображения I_дил, соответствующих изображениям левого и правого рельсов пути.

Параметрическое представление семейства прямых (5):

y=ρ_i,

так как для них выполняется условие θ_i=90°.

Для определения положения ближайшего по пути следования вагона в кадре с видеокамеры применяют критерий обнаружения «k из n» (Кузьмин С.З. Основы проектирования систем цифровой обработки радиолокационной информации. М.: Радио и связь, 1986. 352 с.): если начиная с некоторого у=y_v в течение n строк подряд точки пересечения прямых (5) с двумя выделенными прямыми контурного препарата I_дил отсутствуют в k строках, принимается решение о том, что в строке изображения с номером y_v находятся точки m_1v=[x_левv, y_v, 1]^T и m_2v=[x_правv, y_v, 1]^T контакта железнодорожной колеи с колесной парой вагона, а расстояние в пикселях Δх=х_правv-x_левv между ними соответствует физической ширине железнодорожной колеи L_кол=1525 мм.

При этом k и n должны быть достаточно велики: например, k=15, n=20.

Если же по мере уменьшения у вплоть до у_х разрывы в контурном препарате отсутствуют (железнодорожный путь свободен), то при достижении значения у_х выдается качественный признак «РАССТОЯНИЕ ДО ВАГОНА ВЕЛИКО».

По измеренным пиксельным координатам m_1v и m_2v и информации об угле места линии визирования камеры, которая может быть получена, например, по данным от трехосного микроэлектромеханического инерциального измерительного модуля, найти расстояние до вагона можно путем решения задачи Perspective-2-Point, или, сокращенно, Р2Р (Kukelova Z., Bujnak М., Pajdla Т. Closed-form solutions to the minimal absolute pose problems with known vertical direction // ACCV'10: Proc. Of the 10th Asian conference on Computer vision. Part II. Queenstown. 2010. P. 216-229).

Введем систему координат такую, что ее начало располагается в точке М₁ с пространственными координатами M₁=[0, 0, 0]^T, которой соответствует точка m_1v в плоскости изображения, ось X направлена вправо и коллинеарна вектору

где М₂ - точка с пространственными координатами М₂=[L_кол, 0, 0]^T, которой соответствует точка m_1v в плоскости изображения, ось Y направлена вниз, а ось Z дополняет систему координат до правосторонней (фиг. 1).

Решением задачи Р2Р:

где R=R_zR_xR_y и t - соответственно матрица поворота и вектор параллельного переноса системы координат камеры относительно системы координат M₁XYZ, являются угол поворота относительно оси Y и вектор t=[t_x, t_y, t_z]^T. Матрицы поворота R_x и R_z вокруг координатных осей X и Z соответственно оцениваются по сигналам инерциального измерительного модуля. Из фиг. 1 следует, что величина |t_z| является проекцией наклонной дальности от камеры до вагона |M₁M₁₂| на плоскость рельсового пути, где точка М₁₂ является серединой отрезка M₁M₂ с однородными пространственными координатами M₁₂=(M₁+М₂)/2.

Для определения расстояния от маневрового тепловоза до вагона r требуется коррекция измерений на поправку Δr, которая учитывает расстояние от автосцепки до оптического центра камеры:

Решение задачи Р2Р предполагает, что камера предварительно откалибрована, т.е. оценены коэффициенты дисторсии ее объектива и матрица внутренних параметров K, а также выполнена взаимная калибровка камеры и инерциального измерительного модуля (например, по патенту US 10061382, опубликовано 28.08.2018, МПК: G01C 21/165, G01C 25/005, G06F 3/017) для учета неколлинеарности осей их систем координат.

Поскольку при большом удалении от маневрового тепловоза разрыв контура изображения рельсового пути будет наблюдаться и при отсутствии на пути следования вагонов, то признак «РАССТОЯНИЕ ДО ВАГОНА ВЕЛИКО» целесообразно выдавать и в случае, если измеренное расстояние r велико и превышает некоторый порог r_max.

Для уменьшения влияния контрового света при съемке в направлении на солнце, находящееся вблизи линии горизонта, целесообразно задавать отрицательный угол места линии визирования камеры.

Для выделения контуров рельсового пути при съемке в контровом свете и условиях недостаточной видимости выполняются коррекция темных тонов и высокочастотная коррекция изображения с камеры (Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с.; Визильтер Ю.В. Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.).

Для уменьшения флуктуаций измерений дальности, получаемых в результате решения задачи Р2Р, используется их фильтрация: например, калмановская (при наличии информации о скорости движения маневрового теплового) или медианная.

Если по данным спутниковой радионавигационной системы маневровый тепловоз находится не на прямолинейном участке пути, выдается признак «ИЗМЕРЕНИЕ НЕ ВЫПОЛНЯЕТСЯ».

Схема алгоритма, реализующего способ косвенного измерения дальности от маневрового тепловоза до ближайшего по ходу следования вагона, приведена на фиг. 2.

Работу алгоритма поясняют фиг. 3, 5, 7, 9, 11 (отсутствие на путях вагона) и фиг. 4, 6, 8, 10, 12 (наличие на путях вагона).

На фиг. 3 и 4 приведено формируемое камерой изображение размером 1280×720 пикселей.

На фиг. 5 и 6 выделен сектор с вершинами (400, 719), (600, 200), (680, 200) и (880, 719), в котором далее анализируется контурный препарат.

На фиг. 7 и 8 приведен негатив контурного препарата в выделенном секторе (бинаризованное изображение I_бин, негатив), который сформирован в результате применения оператора выделения контуров с применением маски Собела

и процедуры автоматического выбора порога бинаризации на основе анализа гистограммы (Визильтер Ю.В., Желтов С.Ю., Бондаренко А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.).

На фиг. 9 и 10 приведены выделенные в результате применения соответственно к изображениям фиг. 7 и 8 преобразования Хафа N=4 прямых линий с параметрами (ρ, θ):

для фиг. 9 - (487, 159°), (669, 9°), (686, 17°), (384, 148°);

для фиг. 10 - (448, 157°), (622, 0°), (693, 28°), (305, 143°).

Прямые линии, оставшиеся после проверки условий (4):

для фиг. 9 - (ρ₁, θ₁)=(487, 159°) и (ρ₂, θ₂)=(669, 9°)

при θ_min=27°, θ_max=33°, ρ_min=210 и ρ_max=240;

для фиг. 10 - (ρ₁, θ₁)=(448, 157°) и (ρ₂, θ₂)=(622, 0°)

при θ_min=19°, θ_max=25°, ρ_min=155 и ρ_max=185.

На фиг. 11 и 12 приведены негативы результатов морфологической дилатации с размером структурирующего элемента 3×3 для пикселей контурного препарата фиг. 7 и фиг. 8 соответственно, принадлежащих линиям (ρ₁, θ₁) и (ρ₂, θ₂).

Однородные пиксельные координаты точек m_1v и m_2v в месте разрыва контурных линий по критерию «15 из 20»:

для фиг. 11 - m_1v=[629, 305, 1]^T, m_2v=[638, 305, 1]^T;

для фиг. 12 - m_1v=[622, 363, 1]^T, m_2v=[640, 363, 1]^T.

Оценки дальности, вычисленные в результате решения задачи Р2Р (6) при матрице внутренних параметров камеры

угле места ее линии визирования β = -5°, поправке Δr=0, r_max=100 м и ширине железнодорожной колеи L_кол=1525 мм:

для фиг. 11 - r=127,09 м, выдается признак «РАССТОЯНИЕ ДО ВАГОНА ВЕЛИКО»,

для фиг. 12 - r=63,61 м.

Claims (3)

1. Способ косвенного измерения дальности от маневрового тепловоза до вагона, заключающийся в формировании видеокамерой цифрового видеоизображения, выделении контурного препарата и сопоставлении физического размера априорно известного объекта съемки с его размером в пикселях, определенным по контурному препарату видеоизображения, отличающийся тем, что при нахождении маневрового тепловоза на прямолинейном участке пути на видеоизображении выделяют сектор, в пределах которого формируют контурный препарат вертикальных линий; на контурном препарате с применением преобразования Хафа или Радона выделяют N≥2 прямых линий; после анализа параметров данных линий ρ и θ оставляют только две прямые, которые потенциально соответствуют изображениям рельсов пути, на котором находится маневровый тепловоз; для точек контурного препарата, принадлежащих указанным прямым, выполняют морфологическую дилатацию; определяют пиксельные координаты точек, соответствующих местам контакта рельсов с колесной парой вагона; решают задачу Perspective-2-Point, где известным линейным размером выступает ширина железнодорожной колеи L_кол, и вносят поправку на расстояния между крайней точкой автосцепки маневрового тепловоза и оптическим центром камеры.

2. Способ по п. 1, отличающийся тем, что для видеоизображения выполняют коррекцию темных тонов и высокочастотную коррекцию.

3. Способ по п. 1, отличающийся тем, что для уменьшения флуктуаций косвенно измеряемой дальности выполняют калмановскую или медианную фильтрацию.

Images