RU212718U1 - Device for detecting obstacles in the path of a rail vehicle - Google Patents
Device for detecting obstacles in the path of a rail vehicle Download PDFInfo
- Publication number
- RU212718U1 RU212718U1 RU2022111729U RU2022111729U RU212718U1 RU 212718 U1 RU212718 U1 RU 212718U1 RU 2022111729 U RU2022111729 U RU 2022111729U RU 2022111729 U RU2022111729 U RU 2022111729U RU 212718 U1 RU212718 U1 RU 212718U1
- Authority
- RU
- Russia
- Prior art keywords
- cameras
- data
- processing unit
- group
- vehicle
- Prior art date
Links
- 230000000875 corresponding Effects 0.000 claims abstract description 22
- 230000002776 aggregation Effects 0.000 claims abstract description 4
- 238000004220 aggregation Methods 0.000 claims abstract description 4
- 230000003993 interaction Effects 0.000 claims abstract description 3
- 239000003471 mutagenic agent Substances 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000001537 neural Effects 0.000 description 2
- 230000037250 Clearance Effects 0.000 description 1
- 230000004931 aggregating Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000035512 clearance Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000003137 locomotive Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Abstract
Полезная модель относится к электронным системам железнодорожных транспортных средств и может быть использована в бортовой информационно-вычислительной системе электропоезда. Устройство обнаружения препятствий на пути движения рельсового транспортного средства, характеризующее тем, что содержит для сканирования пространства впереди движущегося транспортного рельсового средства две группы камер, два лидара, тепловизор с высоким разряжением, ультразвуковые датчики, а также два модуля обработки данных и два коммутатора, при этом первая группа камер включает три видеокамеры с углами обзора соответственно 10°, 40° и 40°, вторая группа камер - четыре видеокамеры с углами обзора соответственно 14°, 14°, 65° и 65°, каждый модуль обработки данных содержит последовательно соединенные блок первичной обработки данных на базе графических ускорителей и вычислительный блок, выходом подключенный к сети Ethernet для взаимодействия бортовым оборудованием транспортного средства, при этом выходы камер первой группы подключены через первый коммутатор к соответствующему входу блока первичной обработки первого модуля принятия решений, выходы камер второй группы - через второй коммутатор к соответствующему входу блока первичной обработки второго модуля принятия решений, выход тепловизора соединен с соответствующими входом блока первичной обработки первого блока принятия решений, к соответствующим входам каждого блока первичной обработки данных подключены выходы соответствующих ультразвуковых датчиков и одного из лидаров, вычислительные блоки взаимодействуют друг с другом непосредственно, а через сеть Ethernet взаимодействуют с бортовым оборудованием транспортного средства, программное обеспечение вычислительных блоков выполнено с возможностью выделения препятствий по данным первичной обработки данных камер, лидаров, тепловизора и ультразвуковых датчиков с последующим комплексированием данных для определения координат препятствия и формирования соответствующего сообщения для передачи его по сети Ethernet бортовому оборудованию транспортного средства. Позволяет повысить надежность и отказоустойчивость системы, точность определения препятствий, уменьшить количество ложно обнаруженых препятствий. The utility model relates to electronic systems of railway vehicles and can be used in the on-board information and computer system of an electric train. A device for detecting obstacles in the path of a rail vehicle, characterized in that it contains two groups of cameras, two lidars, a high-pressure thermal imager, ultrasonic sensors, as well as two data processing modules and two switches for scanning the space in front of a moving rail vehicle, while the first group of cameras includes three video cameras with viewing angles of 10°, 40° and 40°, respectively, the second group of cameras - four video cameras with viewing angles of 14°, 14°, 65° and 65°, respectively, each data processing module contains a series-connected primary processing data based on graphics accelerators and a computing unit connected to the Ethernet network for interaction with the on-board equipment of the vehicle, while the outputs of the cameras of the first group are connected through the first switch to the corresponding input of the primary processing unit of the first decision-making module, the outputs of the cameras of the second group - through the second com mutator to the corresponding input of the primary processing unit of the second decision-making module, the output of the thermal imager is connected to the corresponding inputs of the primary processing unit of the first decision-making unit, the outputs of the corresponding ultrasonic sensors and one of the lidars are connected to the corresponding inputs of each primary data processing unit, the computing units interact with each other directly, and through the Ethernet network interact with the onboard equipment of the vehicle, the software of the computing units is designed to identify obstacles according to the data of the primary processing of data from cameras, lidars, thermal imagers and ultrasonic sensors, followed by data aggregation to determine the coordinates of the obstacle and generate an appropriate message for transmitting it via the Ethernet network to the on-board equipment of the vehicle. Allows you to increase the reliability and fault tolerance of the system, the accuracy of determining obstacles, reduce the number of falsely detected obstacles.
Description
Полезная модель относится к электронным системам железнодорожных транспортных средств, и может быть использована в бортовой информационно-вычислительной системе электропоезда.The utility model relates to electronic systems of railway vehicles and can be used in the onboard information and computer system of an electric train.
Известен блок обнаружения препятствий на пути движения рельсового транспортного средства в составе бортовой информационной системы, содержащий блок датчиков технического зрения, включающий модуль первичной обработки данных, к которому подключены, по крайней мере, одна видеокамера, один лидар и один тепловизор, вычислительный блок, состоящий из вычислителя с подключенными к нему модулем комплексирования данных, нейросетью и блоком памяти, при этом вход вычислительного блока соединен с выходом модуля первичной обработки данных, а выход - через блок принятия решений с высокоскоростным CAN-E - интерфейсом (RU 2742960 C1, B61L 25/02, 12.02.2021).A block for detecting obstacles in the path of a rail vehicle as part of an on-board information system is known, containing a block of vision sensors, including a primary data processing module, to which at least one video camera, one lidar and one thermal imager are connected, a computing unit consisting of a calculator with a data integration module connected to it, a neural network and a memory unit, while the input of the computing unit is connected to the output of the primary data processing module, and the output is connected through a decision block with a high-speed CAN-E interface (RU 2742960 C1, B61L 25/02 , February 12, 2021).
Недостатком известного блока обнаружения препятствий является недостаточная надежность, поскольку при выходе из строя вычислительного блока или одного из сенсоров сам блок теряет работоспособность.The disadvantage of the known obstacle detection unit is the lack of reliability, since if the computing unit or one of the sensors fails, the unit itself loses its operability.
Технический результат заключается в повышении надежности и отказоустойчивости, повышении точности обнаружения препятствий, уменьшении количества ложно обнаруженных препятствий за счет увеличения количества независимо обрабатываемых сенсоров независимыми модулями принятия решений с возможностью работы стереокамер в режиме монокулярных камер и внедрении отдельной камеры для возможности обеспечения дистанционного управления электропоезда.The technical result consists in increasing the reliability and fault tolerance, increasing the accuracy of detecting obstacles, reducing the number of falsely detected obstacles by increasing the number of independently processed sensors by independent decision-making modules with the ability to operate stereo cameras in the mode of monocular cameras and introducing a separate camera to provide remote control of the electric train.
Технический результат достигается тем, что устройство обнаружения препятствий на пути движения рельсового транспортного средства содержит для сканирования пространства впереди движущегося транспортного рельсового средства две группы камер, два лидара, тепловизор с высоким разряжением, ультразвуковые датчики, а также два модуля принятия решений и два коммутатора, при этом первая группа камер включает три видеокамеры с углами обзора соответственно 10°, 40° и 40°, вторая группа камер - четыре видеокамеры с углами обзора соответственно 14°, 14°, 65° и 65°, каждый модуль обработки данных содержит последовательно соединенные блок первичной обработки данных на базе графических ускорителей и вычислительный блок, выходом подключенный к сети Ethernet для взаимодействия с бортовым оборудованием транспортного средства, при этом выходы камер первой группы подключены через первый коммутатор к соответствующему входу блока первичной обработки первого модуля принятия решений, выходы камер второй группы - через второй коммутатор к соответствующему входу блока первичной обработки второго модуля принятия решений, выход тепловизора соединен с соответствующими входом блока первичной обработки первого блока принятия решений, к соответствующим входам каждого блока первичной обработки данных подключены выходы соответствующих ультразвуковых датчиков и одного из лидаров, вычислительные блоки взаимодействуют друг с другом непосредственно, программное обеспечение вычислительных блоков выполнено с возможностью выделения препятствий по данным первичной обработки данных видеокамер, лидаров, тепловизора и ультразвукого датчика с последующим комплексированием данных для определения координат препятствия и формирования соответствующего сообщения для передачи его по сети Ethernet бортовому оборудованию транспортного средства.The technical result is achieved by the fact that the device for detecting obstacles in the path of the rail vehicle contains two groups of cameras, two lidars, a high-pressure thermal imager, ultrasonic sensors, as well as two decision-making modules and two switches, for scanning the space in front of the moving rail vehicle, with In this case, the first group of cameras includes three video cameras with viewing angles of 10°, 40° and 40°, respectively, the second group of cameras - four video cameras with viewing angles of 14°, 14°, 65° and 65°, respectively, each data processing module contains serially connected blocks primary data processing based on graphics accelerators and a computing unit connected to the Ethernet network for interaction with the onboard equipment of the vehicle, while the outputs of the cameras of the first group are connected through the first switch to the corresponding input of the primary processing unit of the first decision making module, the outputs of the cameras of the second group - through the second switch to the corresponding input of the primary processing unit of the second decision-making module, the output of the thermal imager is connected to the corresponding inputs of the primary processing unit of the first decision-making unit, the outputs of the corresponding ultrasonic sensors and one of the lidars are connected to the corresponding inputs of each primary data processing unit, the computing units interact with each other directly, the software of the computing units is configured to identify obstacles according to the data of the primary processing of data from video cameras, lidars, a thermal imager and an ultrasonic sensor, followed by data integration to determine the coordinates of the obstacle and generate an appropriate message for transmission via the Ethernet network to the on-board equipment of the vehicle.
Устройство дополнительно включает IP-камеру, подключенную к сети Ethernet для взаимодействия внешними устройствами для обеспечения дистанционного управления с требованиями, отличными от требований к захвату данных камерами машинного зрения.The device further includes an IP camera connected to an Ethernet network for interfacing with external devices to provide remote control with requirements other than data capture requirements of machine vision cameras.
Сущность изобретения поясняется чертежом, на котором представлена структурная схема одного из вариантов выполнения предлагаемого устройства обнаружения препятствий на пути движения рельсового транспортного средства.The essence of the invention is illustrated in the drawing, which shows a block diagram of one of the embodiments of the proposed device for detecting obstacles in the path of a rail vehicle.
Устройство обнаружения препятствий на пути движения рельсового транспортного средства содержит для сканирования пространства впереди движущегося транспортного рельсового средства две группы камер 1 и 2 машинного зрения, два лидара 3 и 4, тепловизор 5 с высоким разряжением, ультразвуковые датчики 6 и 7, а также два модуля 8 и 9 принятия решений и два коммутатора 10 и 11.The device for detecting obstacles in the path of a rail vehicle contains two groups of
Первая группа камер 1 включает три монохромные видеокамеры с одним и тем же разрешением и углами обзора соответственно 10°, 40° и 40°, вторая группа камер 2 - четыре монохромные видеокамеры с одним и тем же разрешением и углами обзора соответственном0, 14°, 65° и 65°.The first group of
Каждый модуль 8 и 9 принятия решений содержит последовательно соединенные блок 12(13) первичной обработки данных на базе графических ускорителей и вычислительный блок 14(15), выходом подключенный к сети Ethernet.Each decision-making module 8 and 9 contains a serially connected block 12(13) of primary data processing based on graphics accelerators and a computing unit 14(15) connected to the Ethernet network with an output.
Выходы камер 1 первой группы подключены через первый коммутатор 10 к соответствующему входу блока 12 первичной обработки первого модуля 8 принятия решений, а выходы камер 2 второй группы - через второй коммутатор 11 к соответствующему входу блока 13 первичной обработки второго модуля 9 принятия решений.The outputs of the
Выход тепловизора 5 соединен с соответствующим входом блока 12 первичной обработки первого модуля 8 принятия решений.The output of the thermal imager 5 is connected to the corresponding input of the primary processing unit 12 of the first decision making module 8 .
Выходы лидаров 3 и 4 подключены соответственно к соответствующим входам блоков 12 и 13 первичной обработки, другие входы каждого из которых соединены с выходом соответствующего ультразвукового датчика 6(7).The outputs of the
Вычислительные блоки 14 и 15 взаимодействуют друг с другом непосредственно, а через сеть Ethernet - с бортовым оборудованием транспортного средства (на чертеже не показаны). Программное обеспечение вычислительных блоков 14 и 15 выполнено с возможностью выделения препятствий по данным первичной обработки данных камер 1 и 2, лидаров 3 и 4, тепловизора 5 и ультразвукых датчиков 6 и 7 с последующим комплексированием данных для определения координат препятствия и формирования соответствующего сообщения для передачи его по сети Ethernet бортовому оборудованию транспортного средства.Computing units 14 and 15 interact directly with each other, and through the Ethernet network with the on-board equipment of the vehicle (not shown). The software of computing units 14 and 15 is configured to identify obstacles according to the data of primary processing of data from
IP-камера 16 подключена к внешним устройствам посредством сети Ethernet для предоставления данных видеоизображений системам дистанционного управления электропоезда.The IP camera 16 is connected to external devices via an Ethernet network to provide video image data to remote control systems of the electric train.
Устройство обнаружения препятствий на пути движения рельсового транспортного средства функционирует следующим образом.The device for detecting obstacles in the path of the rail vehicle operates as follows.
Устройство обнаружения препятствий размещают на локомотиве в кабине машиниста.The obstacle detection device is placed on the locomotive in the driver's cab.
В режиме реального времени камеры 1 и 2, лидары 3 и 4, тепловизор 5, ультразвуковые датчики 6 и 7 сканируют пространство перед движущимся транспортным средством. Данные о ситуации перед движущимся транспортным средством, например, о нахождении людей на пути и/или движущихся объектах и\или объектах инфраструктуры вдоль пути в габарите транспортного средства поступают в блоки 11 и 12 первичной обработки.In real time,
Данные первой группы 1 камер через коммутатор 10 поступают в блок 11 первичной обработки данных, на другие соответствующие входы которого поступают данные с выходов лидара 3, тепловизора 5 и ультразвукового датчика 6.The data of the
Данные второй группы камер 2 через коммутатор 11 поступают в блок 12 первичной обработки данных, на другие соответствующие входы которого поступают данные с выходов лидара 4 и ультразвукового датчика 7.The data of the second group of
Блоки 12 и 13 первичной обработки данных на базе графических ускорителей осуществляют преобразование полученных данных.Blocks 12 and 13 of primary data processing based on graphics accelerators convert the received data.
При получении данных от камер 1 и 2 блоки 12 и 13 преобразовывают их в матрицу изображения с соответствующим размером и формируют внутренний объект, который представляет алгоритмическую структуру, содержащую хэш-таблицу с матрицами, вектор объектов, внутреннюю информацию о кадрах.When receiving data from
Результаты первичной обработки данных камер 1 2 блоки 12 и 13 передают соответственно в вычислительные блоки 14 и 15, которые последовательно осуществляют на основании полученных данных сегментацию железнодорожных путей с последующей их фильтрацией для формирования зон габарита пути и опасной зоны, исходя из известных физических величин габаритов колеи и параметров зон; детектирование объектов с помощью нейронной сети; вычисление трехмерных характеристик объектов; определение зоны потенциального объекта и фильтрацию ложных срабатываний. Фильтрацию ложных срабатываний осуществляют по следующим признакам: допустимая высота, допустимая дистанция до объекта, достоверность препятствия в зависимости от его места положения: для препятствия на пути, для препятствия в габарите пути, для препятствия в зоне повышенной бдительности; сохранение кадра с обнаруженными объектами в какой-либо из зон; формирование выходного сообщения, включающее (при его наличии) препятствие в выделенных зонах, флаги наличия препятствий и максимальная по удаленности точка обнаружения колеи.The results of the primary processing of the data from
Данные лидаров 3 и 4 представляют собой массив точек в декартовой системе координат, где каждая точка является отражением от объекта. Центром системы координат является сам лидар 3 и 4.The data of
При получении данных каждый блок 12 и 13 пространство перед соответственно лидаром 3 и 4 разбивает на квадраты с заданным шагом для реализации алгоритма «грид». Полученные точки от лидара 3(4) проецируются на квадраты данной сетки.Upon receipt of data, each block 12 and 13 divides the space in front of the
Результаты обработки блоки 12 и 13 направляют в вычислительные блоки 14 и 15, каждый из которых для каждой зоны анализирует точки, находящиеся по вертикальной оси в заданных пределах и на дистанции от лидара 3 и 4 не менее заданной величины, проверяет занятость зон и формирует выходное сообщение.The processing results of blocks 12 and 13 are sent to computing blocks 14 and 15, each of which analyzes for each zone the points located along the vertical axis within the specified limits and at a distance from the
Блок 12 данные от тепловизора 5 преобразует в тип данных, содержащий матричное изображение, аналогичный типу данных от камер 1 и 2 видимого спектра для дальнейшей обработки данных вычислительным блоком 14.Block 12 converts the data from the thermal imager 5 into a data type containing a matrix image, similar to the type of data from the
По данным ультразвуковых датчиков 6 и 7 каждый модуль 8 и 9 принятия решений создает тип данных, свидетельствующий о занятости и дистанции свободного пространства перед ним.According to the ultrasonic sensors 6 and 7, each decision module 8 and 9 generates a type of data indicative of the occupancy and the distance of the free space in front of it.
Вычислительный блок 14 осуществляет регистрацию препятствий по данным первичной обработки данных группы камер 1, лидара 3, тепловизора 5 и ультразвукового датчика 6 с последующим комплексированием данных для определения координат препятствия и формирования соответствующего сообщения для передачи его по сети Ethernet бортовому оборудованию транспортного средства.The computing unit 14 registers obstacles according to the data of the primary data processing of the group of
Вычислительный блок 15 осуществляет регистрацию препятствий по данным первичной обработки данных группы камер 2, лидара 4, и ультразвукового датчика 6 с последующим комплексированием данных для определения координат препятствия и формирования соответствующего сообщения для передачи его по сети Ethernet бортовому оборудованию транспортного средства.The computing unit 15 registers obstacles according to the data of the primary data processing of the group of
При этом вычислительные блоки 14 и 15 взаимодействуют друг с другом для агрегирования данных о препятствиях и проверки работоспособности друг друга.At the same time, the computing units 14 and 15 interact with each other to aggregate obstacle data and check the performance of each other.
Таким образом, предлагаемое устройство осуществляет обнаружение препятствий на необходимом участке пути, агрегируя данные от множества независимых сенсоров, позволяет сохранять работоспособность в случае отказа отдельных сенсоров.Thus, the proposed device detects obstacles in the required section of the path, aggregating data from many independent sensors, and allows you to maintain operability in the event of failure of individual sensors.
Claims (2)
Publications (1)
Publication Number | Publication Date |
---|---|
RU212718U1 true RU212718U1 (en) | 2022-08-03 |
Family
ID=
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2794079C1 (en) * | 2023-01-18 | 2023-04-11 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Switching locomotive obstacle detection unit |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2711480C1 (en) * | 2019-04-08 | 2020-01-17 | Открытое Акционерное Общество "Российские Железные Дороги" | Stationary complex for detecting obstacles in restricted visibility |
RU2733907C1 (en) * | 2020-02-06 | 2020-10-08 | Алексей Геннадьевич Логинов | Multifunctional self-contained robotic complex for diagnostics and control of track superstructure and railway infrastructure elements |
RU2742960C1 (en) * | 2020-09-25 | 2021-02-12 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Onboard information system |
RU2752155C1 (en) * | 2020-12-25 | 2021-07-23 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Infrastructural technical vision system for train traffic safety in limited visibility area |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2711480C1 (en) * | 2019-04-08 | 2020-01-17 | Открытое Акционерное Общество "Российские Железные Дороги" | Stationary complex for detecting obstacles in restricted visibility |
RU2733907C1 (en) * | 2020-02-06 | 2020-10-08 | Алексей Геннадьевич Логинов | Multifunctional self-contained robotic complex for diagnostics and control of track superstructure and railway infrastructure elements |
RU2742960C1 (en) * | 2020-09-25 | 2021-02-12 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Onboard information system |
RU2752155C1 (en) * | 2020-12-25 | 2021-07-23 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Infrastructural technical vision system for train traffic safety in limited visibility area |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2794079C1 (en) * | 2023-01-18 | 2023-04-11 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Switching locomotive obstacle detection unit |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112406960B (en) | Active anti-collision system and method for fusion of multiple sensors for subway | |
JP2004086779A (en) | Obstacle detection device and its method | |
US20190005691A1 (en) | Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium | |
WO2016051981A1 (en) | Vehicle-mounted image recognition device | |
JP2009239664A (en) | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system | |
US11029150B2 (en) | Object distance detection device | |
WO2017134936A1 (en) | Object detection device, device control system, imaging device, objection detection method, and program | |
CN107097790A (en) | For the method and apparatus and vehicle of the vehicle-periphery for illustrating vehicle | |
TWI789523B (en) | Solid-state imaging device, imaging device, and control method for solid-state imaging device | |
WO2022054422A1 (en) | Obstacle detection device, obstacle detection system, and obstacle detection method | |
JP5027710B2 (en) | Vehicle environment recognition device and preceding vehicle tracking control system | |
JP2022045947A5 (en) | ||
Tsai et al. | Accurate and fast obstacle detection method for automotive applications based on stereo vision | |
JP3562278B2 (en) | Environment recognition device | |
RU212718U1 (en) | Device for detecting obstacles in the path of a rail vehicle | |
KR102163774B1 (en) | Apparatus and method for image recognition | |
CN109522779B (en) | Image processing apparatus and method | |
JP7186749B2 (en) | Management system, management method, management device, program and communication terminal | |
Pavlović et al. | AI powered obstacle distance estimation for onboard autonomous train operation | |
WO2020213386A1 (en) | Object position detection device, travel control system, and travel control method | |
WO2017068792A1 (en) | Parallax calculation device, stereo camera device, vehicle, and parallax calculation method | |
JP6891082B2 (en) | Object distance detector | |
US20240054656A1 (en) | Signal processing device, signal processing method, and signal processing system | |
KR102334574B1 (en) | Vehicle Information Transmission and Reception System for Efficient Traffic Network Control System | |
CN113071498B (en) | Vehicle control method, device, system, computer device and storage medium |