KR20210072664A - 실시간 철도 장애물 감지 시스템 - Google Patents

실시간 철도 장애물 감지 시스템 Download PDF

Info

Publication number
KR20210072664A
KR20210072664A KR1020200018829A KR20200018829A KR20210072664A KR 20210072664 A KR20210072664 A KR 20210072664A KR 1020200018829 A KR1020200018829 A KR 1020200018829A KR 20200018829 A KR20200018829 A KR 20200018829A KR 20210072664 A KR20210072664 A KR 20210072664A
Authority
KR
South Korea
Prior art keywords
obstacle detection
real
obstacle
detection system
detection module
Prior art date
Application number
KR1020200018829A
Other languages
English (en)
Other versions
KR102302476B1 (ko
Inventor
김계영
김민석
이주희
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Publication of KR20210072664A publication Critical patent/KR20210072664A/ko
Application granted granted Critical
Publication of KR102302476B1 publication Critical patent/KR102302476B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61D—BODY DETAILS OR KINDS OF RAILWAY VEHICLES
    • B61D49/00—Other details

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

본 발명은 실시간 철도 장애물 감지 시스템에 관한 것으로, 특히 철도 차량에 탑재된 카메라에서 촬영한 영상 데이터를 바탕으로 선로 영역을 특정하고 사전에 선별된 장애물 후보군을 감지함으로써 장애물에 따른 위험도를 평가하여 알리는 실시간 철도 장애물 감지 시스템에 관한 것이다.

Description

실시간 철도 장애물 감지 시스템{REAL-TIME OBSTACLE DETECTION SYSTEM FOR A RAILWAY VEHICLE}
본 발명은 실시간 철도 장애물 감지 시스템에 관한 것으로, 더욱 상세하게는 철도 차량에 탑재된 카메라에서 촬영한 영상 데이터를 바탕으로 선로 영역을 특정하고 사전에 선별된 장애물 후보군을 감지함으로써 장애물에 따른 위험도를 평가하여 알리는 실시간 철도 장애물 감지 시스템에 관한 것이다.
일반적으로 철도 시스템은 선로를 따라 철도 차량이 고속 주행하는 동안 선로에 장애물이 존재하는 경우 그에 따른 위험을 회피할 수 있도록 감시 및 회피하는 시스템이 필요하다.
이에, 도 1과 같이 종래에는 특정 구역에 고정 설치된 CCTV를 이용하여 장애물을 탐지하는 방식을 사용하였다. 그러나, 구역별 CCTV 방식은 경제적인 이유로 장애물 감지가 필요한 모든 선로에 설치되기 어렵다.
따라서, 역 인근에만 주로 설치하여 철도 차량이 역 내 진입 또는 진출시만 감시하므로 적용 구간에 크게 제한이 있고, 전 구간을 감시하기 위해서는 경제성이 현저히 떨어진다.
반면, 도 2와 같이 철도 차량의 차체 하단에 레이더와 카메라 센서를 장착하여 장애물을 감지하는 방식은 구역 설치 방식에 비해 철도 차량 자체에 감시 장비를 구비하므로 전 구간의 감시가 가능하다.
그러나, 이러한 방법으로는 장애물의 종류와 위험성에 대한 평가가 이루어지지 않기 때문에 능동적인 대처가 어렵다. 또한, 감지 거리가 상대적으로 짧아 열차 출발 직전 역 내에서만 운용이 가능한 기술이다.
이와 같이 종래기술들은 촬영 범위가 역 인근과 같이 특정 공간 내에 한정되어 있으며, 이러한 한계 때문에 역사 이외의 지역에서는 돌발 상황에 대한 대처가 어렵다는 문제가 발생한다.
특히 고속으로 이동하는 철도 차량의 특성상 비상제동이 이루어지는 경우에도 약 3km 정도의 제동거리가 필요하므로 사실상 고속 운행 중에는 안전사고에 무방비로 노출된다는 문제가 있다.
대한민국 등록실용신안 제20-0390222호 대한민국 등록특허 제10-0913831호
본 발명은 전술한 문제점을 해결하기 위한 것으로, 철도 차량에 탑재된 카메라에서 촬영한 영상 데이터를 바탕으로 선로 영역을 특정하고 사전에 선별된 장애물 후보군을 감지함으로써 장애물에 따른 위험도를 평가하여 알리는 실시간 철도 장애물 감지 시스템을 제공하고자 한다.
이를 위해, 본 발명에 따른 실시간 철도 장애물 감지 시스템은 철도 차량의 주행 방향 전방부에 설치된 카메라와; 상기 카메라에서 촬영된 이미지 데이터를 입력받아 촬영된 영상 중 선로 영역을 추출하는 선로검출모듈과; 상기 카메라에서 촬영된 이미지 데이터를 입력받아 촬영된 영상 중 장애물을 추출하는 장애물감지모듈; 및 상기 선로검출모듈 및 장애물감지모듈로부터 각각 추출정보를 입력받아 상기 선로 영역 상에 존재하는 장애물의 위험도를 평가하는 평가모듈;을 포함하는 것을 특징으로 한다.
이때, 상기 평가모듈에서 평가한 위험도를 기관실 단말기나 원격의 관리 서버 중 어느 하나 이상으로 전송하는 정보제공모듈을 더 포함하는 것이 바람직하다.
또한, 상기 카메라는 상기 철도 차량의 실내에 설치되어 외부 환경으로부터 차단되는 것이 바람직하다.
또한, 상기 선로검출모듈은 딥 러닝 모델을 이용하여 촬영된 이미지 데이터로부터 철도 차량의 진행 방향에 대한 선로 영역을 추출하는 것이 바람직하다.
또한, 상기 선로검출모듈은 세그멘테이션(segmentation)된 선로 영역의 정보를 클래스별로 분류된 확률맵 데이터로 변환하여 상기 평가모듈에 제공하는 것이 바람직하다.
또한, 상기 선로검출모듈은 저차원 및 고차원 정보를 모두 이용하여 이미지의 특징을 추출하는 인공신경망인 UNET 모델을 이용하여 상기 선로 영역을 세그멘테이션하는 것이 바람직하다.
또한, 상기 장애물감지모듈은 딥 러닝 모델을 이용하여 촬영된 이미지 데이터로부터 선로 영역에 존재하는 장애물을 추출하는 것이 바람직하다.
또한, 상기 장애물감지모듈은 사전에 지정된 장애물 후보군을 참조하여 장애물의 위치 및 종류를 추출하는 것이 바람직하다.
또한, 상기 장애물감지모듈은 촬영된 이미지 데이터에 포함된 여러 객체에 대한 선택적 검색을 통해 특정 객체를 추출하는 Faster R-CNN 모델을 이용하여 상기 선로 영역에 존재하는 객체를 추출하는 것이 바람직하다.
또한, 상기 평가모듈은 머신 러닝 및 통계 모델을 통해 상기 선로검출모듈 및 장애물감지모듈로부터 제공된 정보를 조합하여 위험도를 평가하는 것이 바람직하다.
또한, 상기 평가모듈은 사전에 결정된 설정값을 기준으로 비상 제동에 따른 손실과 열차 충돌에 따른 손실을 비교하는 것이 바람직하다.
또한, 상기 평가모듈은 위험성 평가 결과 상기 열차 충돌에 따른 손실이 비상 제동에 따른 손실보다 더 큰 경우 제동 신호를 발생시키는 것이 바람직하다.
또한, 상기 평가모듈은 장애물 객체 i의 위치와 종류를 촬영된 이미지 내에서 특정한 후보군 박스(candidate box)에 대해 아래의 (수학식 1) 및 (수학식 2)를 적용하여 위험도 Ri를 평가하되,
(수학식 1) Ri = [(100×P)×ln(U + e)×L×W] / ln((Y / I) + e)
(수학식 2) U = (S + (2×Y / tan60°)) / I
여기서, P는 상기 후보군 박스의 하단 영역에 해당하는 확률맵 데이터 값들의 평균값, U는 절대너비, S는 상기 후보군 박스의 폭 및 높이의 평균, Y는 촬영 이미지의 하단에서 상기 후보군 박스의 하단까지의 거리, I는 촬영된 이미지의 전체 높이, e는 자연 상수, L은 상기 후보군 박스의 폭 및 높이의 비율에 따라 미리 설정된 가중치, W는 장애물에 따라 미리 설정된 가중치인 것이 바람직하다.
이상과 같은 본 발명은 철도 차량에 탑재된 카메라에서 촬영한 영상 데이터를 바탕으로 선로 영역을 특정하고 사전에 선별된 장애물 후보군을 감지함으로써 장애물에 따른 위험도를 평가하여 기관사에게 알린다.
따라서, 본 발명에서는 기존 시스템의 가장 큰 문제점인 감시범위의 제한적 지역성 및 경제성 문제를 극복하면서도, 고속 주행 중에도 장애물에 대한 신뢰성 높은 위험도 평가를 가능하게 한다.
도 1은 종래기술에 따른 CCTV 방식 철도 차량 장애물 감지 시스템을 나타낸 도이다.
도 2는 종래기술에 따른 레이터 방식 철도 차량 장애물 감지 시스템을 나타낸 도이다.
도 3은 본 발명에 따른 실시간 철도 장애물 감지 시스템의 설치 상태도이다.
도 4는 본 발명에 따른 실시간 철도 장애물 감지 시스템을 나타낸 구성도이다.
도 5는 본 발명의 일 실시예에 따른 촬영 이미지를 나타낸 도이다.
도 6은 상기 도 5에서 선로 영역을 추출한 상태를 나타낸 도이다.
도 7은 상기 도 6의 처리를 위한 UNET 모델 아키텍쳐를 나타낸 도이다.
도 8은 상기 도 5에서 장애물을 추출한 상태를 나타낸 도이다.
도 9는 상기 도 8의 처리를 위한 Faster R-CNN 모델 아키텍쳐를 나타낸 도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 실시간 철도 장애물 감지 시스템에 대해 상세히 설명한다.
다만, 이하에서는 일반 고속 철도를 예로 들어 설명하나, 본 발명은 지하철, 자기 부상 열차 및 트램 등을 비롯하여 다양한 철도 시스템에도 적용될 수 있다.
도 3과 같이, 본 발명에 따른 실시간 철도 장애물 감지 시스템(10)은 철도 차량(RV) 자체에 설치된 카메라(11)를 포함하여 선로(RA) 상에 존재하는 장애물을 실시간 감지하고 이에 대한 위험도를 평가한다.
평가는 철도 차량에 탑재된 카메라(11)에서 촬영한 영상 데이터를 바탕으로 선로 영역을 특정하고 사전에 선별된 장애물 후보군을 감지함으로써 장애물에 따른 위험도를 평가가 이루어지며, 평가 결과는 기관사 등에게 알린다.
따라서, 본 발명은 기존 시스템의 가장 큰 문제점인 감시 범위의 제한적 지역성 및 경제성 문제를 극복하면서도, 고속 주행 중에도 장애물에 대한 신뢰성 높은 위험도 평가를 가능하게 한다.
이를 위해, 도 4와 같이 본 발명에 따른 실시간 철도 장애물 감지 시스템(10)은 카메라(11), 선로검출모듈(12), 장애물감지모듈(13) 및 평가모듈(14)을 포함한다. 바람직하게는 정보제공모듈(15)을 더 포함한다.
이때, 카메라(11)는 철도 차량 자체에 설치되어 촬영된 이미지를 제공한다. 또한, 선로검출모듈(12), 장애물감지모듈(13), 평가모듈(14) 및 정보제공모듈(15) 역시 해당 철도 차량에 설치되어 외부 통신 환경과 무관하게 실시간 기능한다.
선로검출모듈(12), 장애물감지모듈(13), 평가모듈(14) 및 정보제공모듈(15)은 철도 차량 내에서 각각 별개의 프로세스 모듈로 구축되거나 혹은 서버 내에 일체로 구축될 수 있다. 물론, 무인 운행 장치의 일부로서 구축될 수도 있다.
이러한 구성에 의하면 철도 차량의 카메라(11)에서 전방측 주행 방향을 촬영하여 촬영 이미지를 제공한다. 선로검출모듈(12)은 촬영된 이미지로부터 선로 영역을 추출하고, 장애물감지모듈(13)은 촬영된 이미지로부터 장애물을 추출한다.
선로검출모듈(12)은 일 예로 검출된 선로 영역 정보를 확률 맵(probability map) 형식으로 평가모듈(14)에 제공하고, 장애물감지모듈(13)은 검출된 장애물을 이미지 내의 후보군 박스(candidate box) 형식으로 평가모듈(14)에 제공하는데, 이에 대해서는 아래에서 다시 상세히 설명한다.
평가모듈(14)은 선로검출모듈(12) 및 장애물감지모듈(13) 모두에서 제공되는 정보를 장애물의 상태정보로서 입력받아 장애물에 의한 위험도를 평가하며, 정보제공모듈(15)은 평가모듈(14)의 위험도 평가결과를 기관사 등에 제공한다.
좀더 구체적으로, 카메라(11)는 감시 대상에 해당하는 철도 차량 자체에 설치되는 것으로, 철도 차량의 주행 방향 전방부에 설치되어 전방을 촬영하고, 촬영된 이미지를 선로검출모듈(12) 및 장애물감지모듈(13)에 각각 제공한다.
도 3에서 살펴본 바와 같이, 카메라(11)는 바람직한 실시예로써 철도 차량(RV)의 내부에 설치됨에 따라 눈, 비, 먼지나 황사 등의 외부 환경으로부터 차단됨에 따라 카메라(11)의 기능을 보호한다.
예컨대, 카메라(11)는 철도 차량의 기관실 정면 투시창 중 내측면에 설치됨에 따라 주행 중 외부 환경에 의해 오염되거나 파손되는 것을 방지한다. 따라서, 항상 감시 상태를 유지하고, 감시 신뢰성을 향상시킨다.
또한, 카메라(11)는 철도 차량이 주행 중인 전방부를 향해 설치되며, 철도 차량의 최고 속도에 따라 지면을 기준으로 틸팅(tilting) 각도가 최적으로 조절된다. 다만, 주행 속도의 변화에 따라 자동으로 틸팅 각도가 조절될 수도 있다.
선로검출모듈(12)은 카메라(11)에서 촬영된 이미지 데이터를 입력받아 촬영된 이미지 중 선로 영역을 추출하여 평가모듈(14)에 제공하는 것으로, 직선/곡선 선로를 따라 변속이 이루어지며 주행 중인 선로 영역을 인식한다.
이러한 선로검출모듈(12)은 바람직하게 딥 러닝 모델(deep learning model)을 이용하여 촬영된 이미지 데이터로부터 철도 차량의 진행 방향에 대한 선로 영역을 추출한다.
딥 러닝 모델은 머신 러닝의 일종으로 사물이나 데이터를 군집화하거나 분류하는 데 사용 가능하다. 따라서, 영상 데이터의 처리가 가능한 선로검출모듈(12)은 딥 러닝을 통해 선로 영역을 그 외 배경으로부터 분류한다.
이때, 촬영 이미지 데이터는 각각의 픽셀 별로 세그멘테이션(segmentation)되며 기계 학습을 통해 촬영된 이미지 중 선로 영역을 추출한다. 이와 같이 추출된 선로 영역은 장애물과 선로 사이의 상관관계를 특정하는데 사용된다.
도 5에는 일 실시예로 촬영한 이미지를 나타내는데 도시된 바와 같이 선로 내에는 장애물이 존재하는 상태이며, 도 6과 같이 촬영된 이미지는 세그멘테이션을 통해 선로 영역이 그 이외의 배경과 구분되어 특정된다.
또한, 특정된 선로 영역은 클래스별로 분류된 확률맵 데이터로 변환된 후 평가모듈(14)에 제공된다. 클래스는 사전에 설정할 수 있으며 일 예로 선로는 '1'로 표현하고 그외 배경은 '2'로 표현된 데이터 맵이 평가모듈(14)에 제공된다.
도 7에는 딥 러닝 모델 중 촬영 이미지 데이터를 세그멘테이션하여 선로 영역을 추출하고 확률맵 데이터를 제공할 수 있는 모델의 대표적인 실시예로써 UNET 모델 아키텍쳐가 도시되어 있다.
이러한 UNET 모델은 저차원 및 고차원 정보를 모두 이용하여 이미지의 특징을 추출하는 인공신경망에 해당하는 것으로, UNET 모델을 통해 신뢰성 높은 세그멘테이션을 가능하게 한다.
장애물감지모듈(13)은 카메라(11)에서 촬영된 이미지 데이터를 입력받아 촬영된 영상 중 장애물인 객체를 추출하여 평가모듈(14)에 제공하는 것으로, 선로 영역 및 장애물의 상태정보 모두를 이용하여 위험도를 평가할 수 있게 한다.
장애물의 상태정보는 적어도 위치 및 종류를 모두 포함하며, 바람직하게는 위치 및 종류 이외에 크기, 철도 차량으로부터의 거리 및 형상을 비롯하여 사전에 정의된 다양한 정보를 모두 포함할 수 있다.
따라서, 선로에 사람이라는 동일한 종류의 장애물이 존재하는 경우라도 서 있기 때문에 대피할 가능성이 큰 경우와 누워 있기 때문에 위험성이 큰 경우를 분류하는 등 다양한 적응적 대응을 가능하게 한다.
한편, 장애물감지모듈(13) 역시 딥 러닝 모델을 이용하여 촬영된 이미지 데이터로부터 여러 객체 중 선로 영역에 존재하는 장애물을 추출하며, 추출시 사전에 지정된 장애물 후보군을 참조하여 장애물의 위치 및 종류를 추출한다.
이때, 장애물감지모듈(13)에서 추출된 장애물은 촬영된 이미지 내에서 특정이 가능한 '후보군 박스'를 정보 형태로 하여 제공되는데, 후보군 박스는 장애물이 존재하는 위치, 형상 및 종류에 대한 정보를 제공한다.
예컨대, 도 5와 같이 일 실시예로써 촬영된 이미지 상에는 선로 영역 내에 장애물이 존재하므로, 도 8과 같이 검출된 객체(즉, 장애물)를 다른 객체와 구분하여 장애물이 위치한 장소에 형상을 표현하도록 이미지로 나타낸다.
물론, 후보군 박스는 단순히 위치 및 형상만을 나타내는 것 이외에 데이터베이스 등 사전에 지정된 장애물 후보군과 대비함으로써 후보군 박스 자체에 장애물의 종류 등 더 많은 정보를 함께 제공할 수 있다.
도 9에는 촬영된 이미지 내에 포함된 여러 객체 중 선로 영역에 위치하는 장애물 객체를 분류 및 추출하는 모델의 대표적인 일 실시예로써 Faster R-CNN 모델 아키텍쳐가 도시되어 있다.
이러한 Faster R-CNN 모델은 촬영된 이미지 데이터에 포함된 여러 객체에 대한 선택적 검색을 통해 특정 객체인 장애물을 추출하는 것으로, 사전에 지정된 장애물 후보군에 대한 객체 검출(object detection)에서 좋은 성능을 보인다.
평가모듈(14)은 위에서 설명한 선로검출모듈(12) 및 장애물감지모듈(13)로부터 각각 추출정보를 입력받아 선로 영역 상에 존재하는 장애물의 위험도를 평가하는 것으로, 평가시 선로 영역 및 장애물의 상태정보 모두를 반영한다.
즉, 종래에는 단순히 장애물이 존재하는지의 여부만을 평가하여 제공함에 비해, 본 발명은 더 나아가 장애물이 존재시 그 위험도를 수치로 평가하여 비상제동이 필요한지 판단할 수 있게 한다.
이러한 평가모듈(14)은 머신 러닝(machine learning) 및 통계 모델을 이용하여 상술한 선로검출모듈(12) 및 장애물감지모듈(13)로부터 제공된 정보를 조합하고, 그 위험도를 평가한다.
또한, 평가모듈(14)은 위험도를 평가 후 사전에 결정된 설정값을 기준으로 비상 제동에 따른 손실과 열차 충돌에 따른 손실을 비교하고, 위험성 평가 결과 열차 충돌에 따른 손실이 더 큰 경우 제동 신호를 발생시키는 것이 바람직하다.
예컨대, 선로에 사람이 있거나 하중이 큰 물체가 있는 경우에는 열차 충돌에 따른 손실이 비상 제동에 따른 손실보다 크므로 이러한 경우에는 비상제동이 이루어지도록 유도한다.
반면, 바람에 날라온 작은 종이류 등의 경우에는 위험도가 상대적으로 낮기 때문에 비상제동에 의한 급정지 및 열차 지연에 따른 경제적 손실을 방지하도록 비상제동 없이 열차 충돌이 이루어지게 한다.
도 8과 같이 평가모듈(14)은 위험도를 수치로 표현하여 제공할 수 있도록 장애물 객체 i의 위치와 종류를 촬영된 이미지 내에서 특정한 후보군 박스에 대해 아래의 (수학식 1) 및 (수학식 2)를 적용하여 위험도 Ri를 평가한다.
(수학식 1) Ri = [(100×P)×ln(U + e)×L×W] / ln((Y / I) + e)
(수학식 2) U = (S + (2×Y / tan60°)) / I
여기서, P는 후보군 박스의 하단 영역에 해당하는 확률맵 데이터 값들의 평균값을 나타낸다. 이러한 후보군 박스의 하단 영역은 도 6에 도시되어 있는 바와 같이 검은 막대 영역 값의 평균이 된다.
또한, U는 절대너비, S는 후보군 박스의 폭 및 높이의 평균, Y는 촬영 이미지의 하단에서 후보군 박스의 하단까지의 거리, I는 촬영된 이미지의 전체 높이, e는 자연 상수를 나타낸다.
또한, L은 후보군 박스의 폭 및 높이의 비율에 따라 미리 설정된 가중치이고, W는 장애물에 따라 미리 설정된 가중치를 나타내는데, 각각의 가중치는 미리 설정된 값을 적용한다.
예컨대, 가중치 중 L은 후보군 박스의 높이가 폭보다 크면 가중치를 '1'로 책정하고 그렇지 않고 폭이 더 크면 상대적으로 덜 위험하므로 가중치를 '0.7'로 책정한다.
가중치 중 W는 장애물이 사전에 지정한 후보군 객체 중 어느 것에 해당하는지에 따라 닫힌 구간 [0,3] 내의 실수 중 어느 하나가 적용된다. 이때 장애물의 위치 및 종류를 포함한 다양한 상태정보가 반영된다.
한편, 정보제공모듈(15)은 평가모듈(14)의 위험도 평가결과를 제공하는 것으로, 평가모듈(14)에서 평가한 위험도는 기관실 단말기나 원격의 관리 서버 중 어느 하나 이상으로 전송된다.
이와 같이 정보제공모듈(15)을 통해 제공되는 위험도는 기관실 단말기의 화면에 문자나 숫자 형식으로 나타낼 수 있음은 물론 음성 시스템에 연결되어 음성으로 기관사에게 알릴 수도 있다.
또한, 위험도가 커서 즉시 비상제동이 필요한 경우에는 철도 차량에 구비된 비상제동장치로 제동신호를 전송함으로써 자동으로 비상제동이 이루어지도록 하는 방식도 가능하다.
또한, 통신모듈을 통해 원격의 철도 관리 서버나 즉 관제실로 위험도를 제공하는 경우에는 선로 상황을 실시간으로 관리자에게 전달하고 이를 위치, 시간 및 계절별로 데이터베이스화 함으로써 철도 시스템을 개선시킬 수 있게 한다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
11: 카메라
12: 선로검출모듈
13: 장애물감지모듈
14: 평가모듈
15: 정보제공모듈
RV: 철도차량(Railway Vehicle)
RA: 선로(Rail)

Claims (13)

  1. 철도 차량의 주행 방향 전방부에 설치된 카메라(11)와;
    상기 카메라(11)에서 촬영된 이미지 데이터를 입력받아 촬영된 영상 중 선로 영역을 추출하는 선로검출모듈(12)과;
    상기 카메라(11)에서 촬영된 이미지 데이터를 입력받아 촬영된 영상 중 장애물을 추출하는 장애물감지모듈(13); 및
    상기 선로검출모듈(12) 및 장애물감지모듈(13)로부터 각각 추출정보를 입력받아 상기 선로 영역 상에 존재하는 장애물의 위험도를 평가하는 평가모듈(14);을 포함하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  2. 제1항에 있어서,
    상기 평가모듈(14)에서 평가한 위험도를 기관실 단말기나 원격의 관리 서버 중 어느 하나 이상으로 전송하는 정보제공모듈(15)을 더 포함하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  3. 제1항에 있어서,
    상기 카메라(11)는,
    상기 철도 차량의 실내에 설치되어 외부 환경으로부터 차단되는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  4. 제1항에 있어서,
    상기 선로검출모듈(12)은,
    딥 러닝 모델을 이용하여 촬영된 이미지 데이터로부터 철도 차량의 진행 방향에 대한 선로 영역을 추출하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  5. 제4항에 있어서,
    상기 선로검출모듈(12)은,
    세그멘테이션(segmentation)된 선로 영역의 정보를 클래스별로 분류된 확률맵 데이터로 변환하여 상기 평가모듈(14)에 제공하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  6. 제5항에 있어서,
    상기 선로검출모듈(12)은,
    저차원 및 고차원 정보를 모두 이용하여 이미지의 특징을 추출하는 인공신경망인 UNET 모델을 이용하여 상기 선로 영역을 세그멘테이션하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  7. 제1항에 있어서,
    상기 장애물감지모듈(13)은,
    딥 러닝 모델을 이용하여 촬영된 이미지 데이터로부터 선로 영역에 존재하는 장애물을 추출하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  8. 제7항에 있어서,
    상기 장애물감지모듈(13)은,
    사전에 지정된 장애물 후보군을 참조하여 장애물의 위치 및 종류를 추출하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  9. 제8항에 있어서,
    상기 장애물감지모듈(13)은,
    촬영된 이미지 데이터에 포함된 여러 객체에 대한 선택적 검색을 통해 특정 객체를 추출하는 Faster R-CNN 모델을 이용하여 상기 선로 영역에 존재하는 객체를 추출하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  10. 제1항에 있어서,
    상기 평가모듈(14)은,
    머신 러닝 및 통계 모델을 통해 상기 선로검출모듈(12) 및 장애물감지모듈(13)로부터 제공된 정보를 조합하여 위험도를 평가하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  11. 제10항에 있어서,
    상기 평가모듈(14)은,
    사전에 결정된 설정값을 기준으로 비상 제동에 따른 손실과 열차 충돌에 따른 손실을 비교하는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  12. 제11항에 있어서,
    상기 평가모듈(14)은,
    위험성 평가 결과 상기 열차 충돌에 따른 손실이 비상 제동에 따른 손실보다 더 큰 경우 제동 신호를 발생시키는 것을 특징으로 하는 실시간 철도 장애물 감지 시스템.
  13. 제10항에 있어서,
    상기 평가모듈(14)은,
    장애물 객체 i의 위치와 종류를 촬영된 이미지 내에서 특정한 후보군 박스(candidate box)에 대해 아래의 (수학식 1) 및 (수학식 2)를 적용하여 위험도 Ri를 평가하되,
    (수학식 1) Ri = [(100×P)×ln(U + e)×L×W] / ln((Y / I) + e)
    (수학식 2) U = (S + (2×Y / tan60°)) / I
    여기서, P는 상기 후보군 박스의 하단 영역에 해당하는 확률맵 데이터 값들의 평균값, U는 절대너비, S는 상기 후보군 박스의 폭 및 높이의 평균, Y는 촬영 이미지의 하단에서 상기 후보군 박스의 하단까지의 거리, I는 촬영된 이미지의 전체 높이, e는 자연 상수, L은 상기 후보군 박스의 폭 및 높이의 비율에 따라 미리 설정된 가중치, W는 장애물에 따라 미리 설정된 가중치인 것을 특징으로 실시간 철도 장애물 감지 시스템.
KR1020200018829A 2019-12-09 2020-02-17 실시간 철도 장애물 감지 시스템 KR102302476B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190162447 2019-12-09
KR1020190162447 2019-12-09

Publications (2)

Publication Number Publication Date
KR20210072664A true KR20210072664A (ko) 2021-06-17
KR102302476B1 KR102302476B1 (ko) 2021-09-15

Family

ID=76604019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018829A KR102302476B1 (ko) 2019-12-09 2020-02-17 실시간 철도 장애물 감지 시스템

Country Status (1)

Country Link
KR (1) KR102302476B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116076387A (zh) * 2023-02-09 2023-05-09 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200390222Y1 (ko) 2005-05-07 2005-07-21 에프엠전자(주) 철도 승강장의 선로 위의 인체 및 장애물 감지 시스템
KR100913831B1 (ko) 2007-08-30 2009-08-26 샬롬엔지니어링 주식회사 열차 장애물 감지시스템과 열차 탈선 감지시스템 및 이들을구비한 시스템
KR20180042901A (ko) * 2016-10-19 2018-04-27 한양대학교 산학협력단 철도 차량의 선로 검출 방법 및 이를 이용하는 충돌 위험도 판단 방법
KR101963308B1 (ko) * 2018-11-08 2019-03-28 한국건설기술연구원 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법
KR20190036288A (ko) * 2017-09-27 2019-04-04 한국철도기술연구원 패싱 백 방식을 이용한 자율주행 열차의 운행 제어 장치 및 방법
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200390222Y1 (ko) 2005-05-07 2005-07-21 에프엠전자(주) 철도 승강장의 선로 위의 인체 및 장애물 감지 시스템
KR100913831B1 (ko) 2007-08-30 2009-08-26 샬롬엔지니어링 주식회사 열차 장애물 감지시스템과 열차 탈선 감지시스템 및 이들을구비한 시스템
KR20180042901A (ko) * 2016-10-19 2018-04-27 한양대학교 산학협력단 철도 차량의 선로 검출 방법 및 이를 이용하는 충돌 위험도 판단 방법
KR20190036288A (ko) * 2017-09-27 2019-04-04 한국철도기술연구원 패싱 백 방식을 이용한 자율주행 열차의 운행 제어 장치 및 방법
KR101963308B1 (ko) * 2018-11-08 2019-03-28 한국건설기술연구원 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116076387A (zh) * 2023-02-09 2023-05-09 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统
CN116076387B (zh) * 2023-02-09 2023-07-28 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Also Published As

Publication number Publication date
KR102302476B1 (ko) 2021-09-15

Similar Documents

Publication Publication Date Title
US9873442B2 (en) Aerial camera system and method for identifying route-related hazards
US20170255824A1 (en) Aerial camera system and method for identifying route-related hazards
AU2015218266B2 (en) Aerial camera system and method for identifying route-related hazards
EP1157913A2 (en) Obstacle detection system
CN104386092A (zh) 基于图像识别和多感知融合的列车自动防护系统及方法
CN106741008B (zh) 铁路线路异物识别方法及系统
CN101430383B (zh) 障碍物的监测方法及其系统
CN113568002A (zh) 基于激光和图像数据融合的轨道交通主动障碍物检测装置
CN109977748A (zh) 一种多融合技术的列车障碍物检测方法
WO2005058668A2 (en) Image processing alarm system and method for automatically sensing unexpected accident related to train
CN113799852A (zh) 一种支持动态模式切换的智能主动障碍物识别防护方法
KR102302476B1 (ko) 실시간 철도 장애물 감지 시스템
CN113011252A (zh) 轨道异物侵限检测系统及方法
CN115546738A (zh) 一种铁轨异物检测方法
KR20190015868A (ko) 철도 승강장 추락사고 대응 시스템
CN113562005A (zh) 轨道列车司机行为智能监测和障碍物侵限智能侦测系统
KR101532365B1 (ko) 스마트 시그널을 이용한 열차 제어 시스템
CN114872741B (zh) 一种基于安全导向的机车辅助自动驾驶系统及方法
WO2022267266A1 (zh) 一种基于视觉识别的列车控制方法及设备
KR100444929B1 (ko) 지하철/철도 승강장 돌발상황 자동감지영상처리경보시스템 및 방법
CN214929319U (zh) 一种机车安全视觉预警系统
WO2022228592A1 (en) Railway train equipment for the detection of objects and their subsequent classification
KR100699596B1 (ko) 철도 건널목 돌발상황 자동감지 영상처리경보장치
CN113591626A (zh) 一种基于视觉传感器的障碍物检测系统
Tagiew Mainline automatic train horn and brake performance metric

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant