KR102390204B1 - 철도 구조물 변형상태 검출용 차상 시스템 - Google Patents

Abstract

본 개시는 철도 구조물 변형상태 검출용 차상 시스템에 관한 것이다. 일례로, 차량의 위치 및 운행 시간 정보를 제공하는 GPS(Global Positioning System) 모듈; 차량 주변의 객체에 대한 2차원 영상을 촬영하는 CCD(Charge-Coupled Device) 카메라; 차량 주변의 객체에 대한 3차원 영상을 촬영하는 스테레오 카메라; 차량 주변의 객체에 대해 거리 및 위치 정보를 제공하는 라이다(LiDAR); GPS 모듈로부터 위치와 시간 정보를 검출하고, CCD 카메라로부터 객체 영상을 검출하는 차량용 검출 장치; 차량용 검출 장치로부터 차량의 위치 및 운행 시간 정보와 객체의 2차원 영상을 수신하고, 스테레오 카메라로부터 객체의 3차원 영상을 수신하며, 라이다로부터 객체의 거리 및 위치 정보를 수신하는 차량용 분석 서버; 및 차량용 분석 서버로부터 정보를 수신하여 객체에 대한 이상을 예지하는 정밀 분석 서버를 포함하는, 철도 구조물 변형상태 검출용 차상 시스템이 제공된다.

Description

철도 구조물 변형상태 검출용 차상 시스템{On-board system for detecting deformation of railway structures}

본 개시(disclosure)는 철도 구조물 변형상태 검출용 차상 시스템에 관한 것이다.

열차가 운행하는 선로 주변에는 다양한 횡단 구조물, 터널 구조물, 자갈도상, 울타리, 방음벽, 옹벽, 공사 현장, 저장수목, 농작물 등이 있다. 이와 같은 구조물은 변형 내지 이탈 시 열차 운행에 심각한 지장을 초래할 수 있다. 하지만, 종래 선로 검측 시스템은 검출 객체의 종류 또는 위치가 특정되어 있어 불특정 객체에 대한 검출이 이루어지지 않는 문제가 있었고, 단순히 상태 변화만을 검출할 뿐 이에 대한 예지 내지 진단 시스템을 제공하지 않는 문제도 있었다.

공개특허공보 제10-2020-0056879호(2020.05.25)

본 개시에 따른 해결하고자 하는 과제는 선로 주변의 횡단구조물의 변형/탈락 상태, 터널 구조물의 변형/탈락 상태, 자갈도상이상(25mm), 선상역사 변형/탈락, 울타리 변형, 출입문 열림, 방음벽 및 옹벽의 변형, 공사 개소, 저장수목, 인접개소 농작물 등과 같은 다양한 검출 객체 및 변형 부착물을 자동으로 검출하고 관리자에서 무선 전송할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공하는데 있다.

또한, 본 개시에 따른 해결하고자 하는 과제는 운행되는 열차에서 실시간 영상 자료를 수집하고 인공지능 알고리즘으로 이를 분석하여 검출 객체의 변형/탈락을 추적 분석하여 예지할 대상을 선정하여 예지 진단 및 점검을 할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공하는데 있다.

본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템은 차량의 위치 및 운행 시간 정보를 제공하는 GPS(Global Positioning System) 모듈; 차량 주변의 객체에 대한 2차원 영상을 촬영하는 CCD(Charge-Coupled Device) 카메라; 차량 주변의 객체에 대한 3차원 영상을 촬영하는 스테레오 카메라; 차량 주변의 객체에 대해 거리 및 위치 정보를 제공하는 라이다(LiDAR); GPS 모듈로부터 위치와 시간 정보를 검출하고, CCD 카메라로부터 객체 영상을 검출하는 차량용 검출 장치; 차량용 검출 장치로부터 차량의 위치 및 운행 시간 정보와 객체의 2차원 영상을 수신하고, 스테레오 카메라로부터 객체의 3차원 영상을 수신하며, 라이다로부터 객체의 거리 및 위치 정보를 수신하는 차량용 분석 서버; 및 차량용 분석 서버로부터 정보를 수신하여 객체에 대한 이상을 예지하는 정밀 분석 서버를 포함할 수 있다.

차량용 검출 장치 및 차량용 분석 서버는 각각 객체의 검출 영상 및 변이 정보를 관리자 단말기에 MMS(multi-media message service)로 전송할 수 있다.

차량용 검출 장치에는 선상부착물, 터널부착물, 횡단구조물 및 자갈도상을 검출하는 객체 검출부, 검출 이미지를 캡쳐하고, MMS 정보를 생성하며, MMS를 전송하고, 검출 지점 정보를 추출하는 검출 데이터 관리부, 선로 지점 정보 파일을 연계하고, 영상 정보를 연계하며, 검출 정보를 연계하는 데이터 연계부로 이루어진 객체 검출 소프트웨어가 설치될 수 있다.

차량용 분석 서버에는 라이다 정보, 3차원 영상 정보, 2차원 영상 정보 및 객체 검출 정보를 수집하는 정보 수집부, 검출 영상을 추출하고, 라이다 정보를 분석하며, 3차원 영상을 검출하고, 기준 영상을 검출하며, 영상 분석 정보를 비교하는 데이터 분석부, 영상 정보를 연계하고, 검출 정보를 연계하며, 선로 지점 정보를 연계하는 데이터 연계부, 선상부착물 검출 통계, 터널부착물 검출 통계, 횡단구조물 검출 통계 및 자갈도상 검출 통계를 수행하는 통계부로 이루어진 객체 분석 소프트웨어가 설치될 수 있다.

정밀 분석 서버에는 객체 검출 정보, 라이다 정보, 3차원 영상, 2차원 영상 및 객체 분석 정보를 수집하는 정보 수집부, 선상부착물, 터널부착물, 횡단부착물 및 자갈도상을 분석하고 예지하는 데이터 정밀 분석부, 분석 및 예지 정보를 전달하고, 통계 리포트를 작성하며, 데이터를 익스포트하는 정밀 분석 처리부로 이루어진 정밀 분석 소프트웨어가 설치될 수 있다.

차량용 검출 장치는 실시간으로 수집되는 객체의 영상을 이용한 딥러닝 알고리즘을 통하여 이종 객체를 검출하기 위한 이종 객체 검출 알고리즘과 이종 다수의 객체를 동시에 검출할 수 있는 이종 다수 동시 검출 알고리즘을 갖는 1차 검출 알고리즘을 포함할 수 있다.

차량용 분석 서버는 차량용 검출 장치로부터 1차 검출 알고리즘에 의한 검출 객체 정보를 수신하여 기준 영상에서 검출 객체의 위치를 파악하고 기준 영상과 실시간 영상의 검출 객체 이미지를 추출하여 변이를 비교 분석하는 2차 검출 알고리즘을 포함할 수 있다.

정밀 분석 서버는 차량용 분석 서버로부터 2차 검출 알고리즘에 의해 분석된 객체 변이 정보를 수신하여 이상 객체를 예지하는 3차 검출 알고리즘을 포함할 수 있다.

본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템은 차량의 위치 및 운행 시간 정보를 제공하는 GPS(Global Positioning System) 모듈; 차량 주변의 객체에 대한 2차원 영상을 촬영하는 CCD(Charge-Coupled Device) 카메라; 차량 주변의 객체에 대한 3차원 영상을 촬영하는 스테레오 카메라; 차량 주변의 객체에 대해 거리 및 위치 정보를 제공하는 라이다(LiDAR); GPS 모듈로부터 위치와 시간 정보를 검출하고, CCD 카메라로부터 객체 영상을 검출하며, 1차 검출 알고리즘을 갖는 차량용 검출 장치; 차량용 검출 장치로부터 차량의 위치 및 운행 시간 정보와 객체의 2차원 영상을 수신하고, 스테레오 카메라로부터 객체의 3차원 영상을 수신하며, 라이다로부터 객체의 거리 및 위치 정보를 수신하며, 2차 검출 알고리즘을 갖는 차량용 분석 서버; 및 차량용 분석 서버로부터 정보를 수신하여 객체에 대한 이상을 예지하며, 3차 검출 알고리즘을 갖는 정밀 분석 서버를 포함할 수 있다.

차량용 검출 장치의 1차 검출 알고리즘은 실시간으로 수집되는 객체의 영상을 이용한 딥러닝 알고리즘을 통하여 이종 객체를 검출하기 위한 이종 객체 검출 알고리즘과 이종 다수의 객체를 동시에 검출할 수 있는 이종 다수 동시 검출 알고리즘을 포함할 수 있다.

차량용 검출 장치의 1차 검출 알고리즘은 차량 속도가 최대 150 km/h의 속도에서 선로 주변 객체 검출을 위해 차량용 검출 장치의 빠른 처리 속도에 의해 동일 객체의 중복 검지를 방지하기 위해 차량 속도가 높을 수록 슬롯 갯수를 감소시키는 중복 검출 방지 알고리즘을 더 포함할 수 있다.

차량용 분석 서버의 2차 검출 알고리즘은 차량용 검출 장치로부터 1차 검출 알고리즘에 의한 검출 객체 정보를 수신하여 기준 영상에서 검출 객체의 위치를 파악하고 기준 영상과 실시간 영상의 검출 객체 이미지를 추출하여 변이를 비교 분석할 수 있다.

차량용 분석 서버의 2차 검출 알고리즘은 기준 영상에서 실시간 영상과 동일한 위치를 인덱싱하고, 기준 영상과 실시간 영상을 동기화하여, 설정된 바운더리에 대한 영상을 추출하며, 추출된 영상 이미지를 기반으로 변이를 비교 분석할 수 있다.

정밀 분석 서버의 3차 검출 알고리즘은 차량용 분석 서버로부터 2차 검출 알고리즘에 의해 분석된 객체 변이 정보를 수신하여 이상 객체를 예지할 수 있다.

정밀 분석 서버의 3차 검출 알고리즘은 검출 객체 변이를 모니터링하고, 모니터링된 검출 객체 변이를 빅데이터화하여 처리하며, 빅데이터 처리 결과를 이용하여 이상 객체를 예지할 수 있다.

본 개시는 선로 주변의 횡단구조물의 변형/탈락 상태, 터널 구조물의 변형/탈락 상태, 자갈도상이상(25mm), 선상역사 변형/탈락, 울타리 변형, 출입문 열림, 방음벽 및 옹벽의 변형, 공사 개소, 저장수목, 인접개소 농작물 등과 같은 다양한 검출 객체 및 변형 부착물을 자동으로 검출하고 관리자에서 무선 전송할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공할 수 있다.

또한, 본 개시는 운행되는 열차에서 실시간 영상 자료를 수집하고 인공지능 알고리즘으로 이를 분석하여 검출 객체의 변형/탈락을 추적 분석하여 예지할 대상을 선정하여 예지 진단 및 점검을 할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공할 수 있다.

도 1a 및 도 1b는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템의 구성 및 데이터 흐름을 도시한 개략도이다.
도 2는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 선로 검측 객체 검출 방식을 도시한 개략도이다.
도 3은 본 개시에 예시적 따른 철도 구조물 변형상태 검출용 차상 시스템에 따른 객체 검출을 위한 알고리즘 처리 방법을 도시한 개략도이다.
도 4는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 중복검출 방지를 위한 전처리 파라미터 설정예를 도시한 표이다.
도 5는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 2차 검출방식 및 구현 알고리즘의 처리 흐름을 도시한 개략도이다.
도 6은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 기준영상과 실시간영상의 동기화 처리 방식을 도시한 개략도이다.
도 7은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 이상객체 예지 방식을 도시한 개략도이다.
도 8a, 도 8b 및 도 8c는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 탑재되는 전체 소프트웨어 구성을 도시한 개략도이다.
도 9는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에서 객체 검출 소프트트웨어의 구성을 도시한 개략도이다.
도 10은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에서 객체 분석 소프트트웨어의 구성을 도시한 개략도이다.
도 11은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에서 정밀 분석 소프트웨어의 구성을 도시한 개략도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

본 개시들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.

또한, 이하의 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다. 또한, 본 명세서에서 "연결된다"라는 의미는 A 부재와 B 부재가 직접 연결되는 경우뿐만 아니라, A 부재와 B 부재의 사이에 C 부재가 개재되어 A 부재와 B 부재가 간접 연결되는 경우도 의미한다.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise, include)" 및/또는 "포함하는(comprising, including)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 부품, 영역, 층들 및/또는 부분들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부분들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 하나의 부재, 부품, 영역, 층 또는 부분을 다른 영역, 층 또는 부분과 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1부재, 부품, 영역, 층 또는 부분은 본 발명의 가르침으로부터 벗어나지 않고서도 제2부재, 부품, 영역, 층 또는 부분을 지칭할 수 있다.

"하부(beneath)", "아래(below)", "낮은(lower)", "상부(above)", "위(upper)"와 같은 공간에 관련된 용어가 도면에 도시된 한 요소 또는 특징과 다른 요소 또는 특징의 용이한 이해를 위해 이용될 수 있다. 이러한 공간에 관련된 용어는 본 발명의 다양한 공정 상태 또는 사용 상태에 따라 본 발명의 용이한 이해를 위한 것이며, 본 발명을 한정하기 위한 것은 아니다. 예를 들어, 도면의 요소 또는 특징이 뒤집어지면, "하부" 또는 "아래"로 설명된 요소 또는 특징은 "상부" 또는 "위에"로 된다. 따라서, "하부"는 "상부" 또는 "아래"를 포괄하는 개념이다.

또한, 본 개시에 따른 차량용 검출 장치, 차량용 분석 서버, 정밀 분석 서버 및/또는 다른 관련 기기 또는 부품은 임의의 적절한 하드웨어, 펌웨어(예를 들어, 주문형 반도체), 소프트웨어, 또는 소프트웨어, 펌웨어 및 하드웨어의 적절한 조합을 이용하여 구현될 수 있다. 예를 들어, 본 개시에 따른 차량용 검출 장치, 차량용 분석 서버, 정밀 분석 서버 및/또는 다른 관련 기기 또는 부품의 다양한 구성 요소들은 하나의 집적회로 칩 상에, 또는 별개의 집적회로 칩 상에 형성될 수 있다. 또한, 차량용 검출 장치, 차량용 분석 서버, 정밀 분석 서버의 다양한 구성 요소는 가요성 인쇄 회로 필름 상에 구현될 수 있고, 테이프 캐리어 패키지, 인쇄 회로 기판, 또는 차량용 검출 장치, 차량용 분석 서버, 정밀 분석 서버와 동일한 서브스트레이트 상에 형성될 수 있다. 또한, 차량용 검출 장치, 차량용 분석 서버, 정밀 분석 서버의 다양한 구성 요소는, 하나 이상의 컴퓨팅 장치에서, 하나 이상의 프로세서에서 실행되는 프로세스 또는 쓰레드(thread)일 수 있고, 이는 이하에서 언급되는 다양한 기능들을 수행하기 위해 컴퓨터 프로그램 명령들을 실행하고 다른 구성 요소들과 상호 작용할 수 있다. 컴퓨터 프로그램 명령은, 예를 들어, 랜덤 액세스 메모리와 같은 표준 메모리 디바이스를 이용한 컴퓨팅 장치에서 실행될 수 있는 메모리에 저장된다. 컴퓨터 프로그램 명령은 또한 예를 들어, CD-ROM, 플래시 드라이브 등과 같은 다른 비-일시적 컴퓨터 판독 가능 매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 본 발명에 관련된 당업자는 다양한 컴퓨팅 장치의 기능이 상호간 결합되거나, 하나의 컴퓨팅 장치로 통합되거나, 또는 특정 컴퓨팅 장치의 기능이, 본 발명의 예시적인 실시예를 벗어나지 않고, 하나 이상의 다른 컴퓨팅 장치들에 분산될 수 될 수 있다는 것을 인식해야 한다.

일례로, 본 개시에 따른 차량용 검출 장치, 차량용 분석 서버, 정밀 분석 서버는 중앙처리장치, 하드디스크 또는 고체상태디스크와 같은 대용량 저장 장치, 휘발성 메모리 장치, 키보드 또는 마우스와 같은 입력 장치, 모니터 또는 프린터와 같은 출력 장치로 이루어진 통상의 상용 컴퓨터에서 운영될 수 있다.

도 1a 및 도 1b는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템의 구성을 도시한 개략도이다.

도 1a 및 도 1b에 도시된 바와 같이, 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템은 GPS(Global Positioning System) 모듈, CCD(Charge-Coupled Device) 카메라, 스테레오 카메라, 라이다(LiDAR), 차량용 검출 장치, 차량용 분석 서버 및 정밀 분석 서버를 포함할 수 있다.

GPS 모듈는 차량의 위치 및 운행 시간 정보를 차량용 검출 장치에 제공할 수 있다.

CCD 카메라는 차량 주변의 객체에 대한 2차원 영상을 촬영하여 차량용 검출 장치에 제공할 수 있다. 일부 예들에서, CCD 카메라는 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등의 이미지를 촬영하여 제공할 수 있다.

스테레오 카메라 역시 차량 주변의 객체에 대한 3차원 영상을 촬영하여 차량용 분석 서버에 제공할 수 있다. 일부 예들에서, 스테레오 카메라는 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등의 이미지를 촬영하여 제공할 수 있다.

라이다는 차량 주변의 객체에 대해 거리 및 위치 정보를 획득하여 차량용 분석 서버에 제공할 수 있다. 일부 예들에서, 라이다는 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등의 거리 및 위치 정보를 획득하여 제공할 수 있다.

일부 예들에서, GPS 모듈로부터 제공받은 차량 위치 및 운행 시간 정보와, 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등에 대한 2차원 영상, 3차원 영상, 그리고 거리 및 위치 정보는 선류 주변 검출 차량 데이터베이스로 저장되고 통합 데이터 베이스로 하여 정밀 분석 서버에 제공될 수 있다.

차량용 검출 장치는 GPS 모듈로부터 위치와 시간 정보를 검출하고, CCD 카메라로부터 2차원 객체 영상을 검출할 수 있다.

차량용 분석 서버는 차량용 검출 장치로부터 차량의 위치 및 운행 시간 정보와 객체의 2차원 영상을 수신하고, 또한 스테레오 카메라로부터 객체의 3차원 영상을 수신하며, 라이다로부터 객체의 거리 및 위치 정보를 수신할 수 있다.

정밀 분석 서버는 차량용 분석 서버로부터 정보를 수신하여 객체에 대한 이상을 예지할 수 있다.

일부 예들에서, 차량용 검출 장치 및/또는 차량용 분석 서버는 횡단구조물 검출, 선상부착물 검출, 터널부착물 검출 및/또는 자갈도상이상 검출 결과를 관리자의 단말기에 LTE 모뎀을 통하여 MMS(multi-media message service)로 전송할 수 있다. 일부 예들에서, 차량용 분석 서버로부터 획득된 통합 데이터 베이스는 온라인으로 또는 오프라인으로, 예를 들면, SSD(solid state device)에 의해, 정밀 분석 서버에 전달될수도 있다.

이와 같이 하여 본 개시는 선로 주변의 횡단구조물의 변형/탈락 상태, 터널 구조물의 변형/탈락 상태, 자갈도상이상(25mm), 선상역사 변형/탈락, 울타리 변형, 출입문 열림, 방음벽 및 옹벽의 변형, 공사 개소, 저장수목, 인접개소 농작물 등과 같은 다양한 검출 객체 및 변형 부착물을 자동으로 검출하고 관리자에서 무선 전송할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공하게 된다.

도 2는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 선로 검측 객체 검출 방식을 도시한 개략도이다.

도 2에 도시된 바와 같이, 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템은 수집 체계, 검측 체계 및 분석 체계를 포함할 수 있다. 수집 체계는 선로 검출 차량에 부착하여 검측 대상물 정보를 수집할 수 있다. 검측 체계는 검측 대상물을 검측하고 이상 정보를 검출하여 MMS 전송할 수 있으며, 검출 대상물의 이미지의 특징을 추출하고, 실시간 동영상 싱크 및 기준 영상과의 변이 분석을 수행할 수 있다. 또한, 분석 체계는 검측 대상물에 대한 예지 알고리즘을 수행하여 대상물의 이상을 예지할 수 있다.

일부 예들에서, 수집 체계는 GPS 모듈, CCD 카메라, 스테레오 카메라 및 라이다를 포함할 수 있고, 검측 체계는 차량용 검출 장치, 차량용 분석 장치, MMS 전송 장치, 검측 및 분석 알고리즘을 포함할 수 있으며, 분석 체계는 정밀 분석 장치 및 예지 알고리즘을 포함할 수 있다

한편, 본 개시에서는 AI 딥러닝 1,2,3차 검출 알고리즘을 포함할 수 있다.

AI 딥러닝 1차 검출 알고리즘에 대해 설명한다.

일례로, 1차 검출 알고리즘은 차량용 검출 장치에 설치될 수 있는데, 이는 실시간으로 수집되는 객체의 영상을 이용한 딥러닝 알고리즘을 통하여 이종 객체를 검출하기 위한 이종 객체 검출 알고리즘과 이종 다수의 객체를 동시에 검출할 수 있는 이종 다수 동시 검출 알고리즘을 포함할 수 있다.

안전운행을 위한 인공지능 선로검측 시스템에 적용되는 알고리즘의 단계는 주지된 바와 같이 전처리 단계(pre-processing), 특징 추출 단계(feature extraction) 및 분류 단계(classifier)를 포함하며, 이에 대해 설명한다.

도 3은 본 개시에 예시적 따른 철도 구조물 변형상태 검출용 차상 시스템에 따른 객체 검출을 위한 알고리즘 처리 방법을 도시한 개략도이다.

도 3에 도시된 바와 같이, 본 개시에 예시적 따른 철도 구조물 변형상태 검출용 차상 시스템에 따른 객체 검출을 위한 알고리즘 처리 방법은 전처리 단계를 통하여 추출된 검출 대상 이미지를 알고리즘을 구동하기 위한 큐(Queue)에 넣는 입력 이미지(Input Image) 처리 단계와, 입력된 이미지를 이용하여 검출대상 다수의 객체를 검지하는 익스트랙트 리젼 프로포잘(Extract region proposals) 처리 단계와, 검지된 영역에 대하여 CNN 입력으로 주입하기 위하여 사이즈 일원화 처리 및 색상이나 가도 등 패턴 처리를 수행하는 컴퓨트 CNN 피처(Compute CNN features) 처리 단계와, CNN 알고리즘 처리를 통하여 최종적인 검출 정보를 구분하는 클래시파이 리젼(Classify regions) 처리 단계를 포함할 수 있다.

먼저, 검출 알고리즘 전처리 단계에 대해 설명한다.

검출 알고리즘의 전처리 단계는 6개의 전처리로 이루어질 수 있다. 일부 예들에서, 파라미터 설정부터 객체의 다중검지까지를 전처리 단계로 정의할 수 있다.

파라미터 설정(parameter setting) 알고리즘으로서, 이는 영상 및 카메라의 특성값 설정 및 프레임 입력과 처리, GPS 입력 주기 등을 설정함을 포함할 수 있다.

중복검출 방지(Prevent duplicate detection)를 위한 전처리로서, 이는 차량 속도가 최대 150km/h의 속도에서 선로주변 대상물 검출을 위해서 검출장치의 빠른 처리 속도에 의한 동일 대상물의 중복 검지를 방지하기 위하여 속도별 슬롯(slot)의 크기를 지정하여 운영할 수 있다(도 4 참조).

학습정보(Learning Data Process) 알고리즘으로서, 이는 유형별 분류 학습, 측정영역에 대해 다수의 측정값을 생성하도록 카메라 종류별 학습이미지와 좌우 대칭변환에 의한 대칭학습, 트러스를 포함한 배경학습을 적용할 수 있으며 학습된 내용은 시험도구에 의해 학습상태를 확인할 수 있다.

다중검지(Multiple Detection) 알고리즘으로서, 이는 검출장치의 처리속도를 감안하여 차량 이동속도에 맞추어 고속 주행 시 한 이미지에 검출대상 대상물의 3종류에 대한 검출을 다중으로 표시할 수 있다. 이미지 그리드 구간별 객체의 특징(feature)발생 신뢰도를 누적한 값이 임계값 이상인 영역 구간(Box)을 검출 대상물 존재 영역으로 결정할 수 있다.

대상물 탐색(Object Area Detection) 알고리즘으로서, 이는 트러스트 유형별 영역 및 예상 대상물 탐색 영역을 결정할 수 있다.

검출영역(대상물 결정영역-Object Determination area) 설정 알고리즘으로서, 이는 입력 이미지크기의 가로, 세로 탐색 구간 영역으로 나누어, 구간별 객체의 특징(feature)발생 신뢰도를 누적함으로써, 각 영역구간에 대한 검출 대상물 존재 가능성을 결정 하고 이미지에 대한 배경 포함 검출영역을 지정할 수 있다.

다음으로, 검출 알고리즘 특징추출 단계에 대해 설명한다.

전처리단계의 데이터를 입력을 받아 신경망모델링(CNN, Convolutional Neural Networks)을 이용하여 객체(횡단구조물, 선상부착물 및 터널부착물) 인식에 필요한 패턴을 찾을 수 있으며, 입력 데이터에서 직접 학습하고 패턴을 사용해 이미지를 분류할 수 있다. 즉, 객체 특징을 수동으로 추출할 필요가 없이 자동으로 학습하도록 검출 알고리즘 특징 추출에 사용할 수 있다.

CNN 알고리즘적용 단계로서, CNN(Convolutional Neural Network)은 이미지의 특징을 추출하고 분류하는 부분으로 구성되며, 필터(Filter)를 이미지의 특징을 찾는 컨볼루션(Convolution)과 특징을 강화하고 모으는 폴링(Pooling)으로 구성할 수 있다. 이러한 CNN 알고리즘은 CNN은 필터의 크기, 스트라이드(Stride), 패딩(Padding)과 폴링 크기로 출력 데이터 크기를 조절하고, 필터의 개수로 출력 데이터의 채널을 결정할 수 있다.

CNN 알고리즘 적용 기술로서, 컨볼루션은 입력된 이미지의 피처맵(Feature map)을 만들기 위하여 필터와 스트라이드를 정하여 처리하며 이를 통하여 이미지의 특징을 뽑을 수 있다. CNN 알고리즘 적용 기술로서, 필터(Filter(Kernel))는 필터를 이용하여 입력이미지의 피처를 뽑을 수 있다. 일례로 필터는 소벨 필터(Sobel filter)의 가로세로특징을 뽑아낼 수 있는 필터값일 수 있다. CNN에서는 여러 개 필터를 이용해 이미지의 세부 특징을 추출해서 학습을 할 수 있으나 선로주변의 대상물을 추출하기 위한 필터는 신경망에서 학습을 통해 자동으로 적합한 필터를 생성할 수 있다. CNN 알고리즘 적용 기술로서, 채널이라고 하는 것은 입력되는 이미지의 색상을 기준으로 컬러 이미지의 경우는 red채널, blue채널, green채널의 3개 채널이이 합쳐진 이미지일 수 있다. 하나의 color이미지는 3개의 채널로 구성될 수 있다. 전처리 단계에서 이미지를 흑백(Channel:1)으로 만들어 처리하여 연산 속도를 향상 할 수 있으나 본 개시에서는 GPU를 사용하여 처리하도록 하여 3개 채널을 기본으로 적용할 수 있다. CNN 알고리즘 적용 기술로서, 패딩은 컨볼루션 레이어에서 필터와 스트라이드의 작용으로 피처 맵의 크기가 작아지는 현상을 방지하기 위하여 패딩 과정을 거치도록 한다. 패딩은 특징 추출 시 컨볼루션 레이어를 지날 때 마다 작아지게 되므로, 가장자리의 정보들이 사라지는 문제가 발생하기 때문에 패딩을 사용하여 입력 데이터의 공간적 크기와 동일하게 맞춰주기 위해 사용할 수 있다. CNN 알고리즘 적용 기술로서, 폴링은 알고리즘 적용시 이미지의 크기를 계속 유지한 채 FC(Fully Connected)레이어로 가게 된다면 연산량이 기하급수적으로 늘어나는 것을 방지하고 특정 피처를 강조하기 위하여 폴링을 사용한다. 폴링에는 총 3가지가 있으며 노이즈를 감소시키고 영상분별력을 좋게 하기 위하여 맥스 폴링(Max pooling)을 사용할 수 있다.

이어서, 검출 알고리즘 분류 단계에 대해 설명한다.

전처리단계의 데이터를 입력을 받아 신경망모델링(CNN, Convolutional Neural Networks)을 이용하여 객체(횡단구조물, 선상부착물 및 터널부착물) 인식에 필요한 패턴을 찾을 수 있으며, 입력 데이터에서 직접 학습하고 패턴을 사용해 이미지를 분류할 수 있다. 즉, 객체 특징을 수동으로 추출할 필요 없이 자동 학습하도록 검출 알고리즘 특징 추출에 사용할 수 있다.

검출 알고리즘으로서, 플래튼 레이어(Flatten Layer)는 CNN의 데이터 타입을 Fully Connected Neural Network의 형태로 변경하는 레이어일 수 있다. 플래튼 레이어에는 파라미터가 존재하지 않고, 입력 데이터의 세잎(Shape) 변경만 수행한다. 검출 알고리즘으로서 소프트맥스 회귀 알고리즘은 CNN의 classification 알고리즘중의 하나로, 들어온 값이 어떤 분류인지 구분해주는 알고리즘이다. 선로검출 대상물에 대하여 어떠한 종류가 검출되는지 분류하기 위한 알고리즘으로 적용한다. CNN에서 소프트맥스는 인공신경망에서 출력층의 정규화를 위한 함수이며 뉴런의 출력 값에 대하여 class 분류를 위하여 마지막 단계에서 출력 값에 대한 정규화를 해주는 함수이다. 선로 검출기에서는 소프트맥스 함수를 이용하여 검출 대상을 분류하도록 한다.

AI 딥러닝 2차 검출 알고리즘에 대해 설명한다.

일례로, 2차 검출 알고리즘은 차량용 분석 서버에 설치될 수 있는데, 이는 차량용 검출 장치로부터 1차 검출 알고리즘에 의한 검출 객체 정보를 수신하여 기준 영상에서 검출 객체의 위치를 파악하고 기준 영상과 실시간 영상의 검출 객체 이미지를 추출하여 변이를 비교 분석할 수 있다.

AI 딥러닝 2차 검출 알고리즘의 처리 흐름은 차량용 객체 검출장치에서 검출된 객체정보가 트리거(Trigger)가 되며, 이를 기반으로 기준영상에서 동일한 위치를 인덱싱(Indexing)하고 실시간 영상과 동기화(Sync)하여 설정된 바운더리(Boundary)에 대한 영상을 추출하고 추출된 영상이미지를 기반으로 변이를 비교분석함을 포함할 수 있다.

2차 검출 알고리즘에서도 대상 영상을 추출한 후 1차 검출 알고리즘인 CNN을 적용하여 1차에서 검출된 객체와 동일한 영상 이미지를 추출할 수 있다.

도 5는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 2차 검출방식 및 구현 알고리즘의 처리 흐름을 도시한 개략도이고, 도 6은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 기준영상과 실시간영상의 동기화 처리 방식을 도시한 개략도이다.

2차 검출 알고리즘 영상 동기화는 기준영상과 실시간으로 입력되는 영상을 동기화함을 의미한다. 초기 검출객체의 메타(Meta) 정보를 이용하여 기준영상의 스캔 바운더리(scan boundary)를 정하고 정해진 바운더리에서 1차 검출 알고리즘을 수행하여 기준영상과 검출객체의 정확하게 일치되는 위치를 찾아내어 해당 위치를 인덱스하도록 한다. 기준영상에 대하여 처리가 마무리되면 실시간 들어오는 영상에 대하여 초기 스캐닝한 후 기준영상과 동일한 방식으로 영상을 인덱싱하여 기준영상과 실시간 영상을 동기화한다.

한편, 검출객체의 변이 비교를 1차적으로 기준영상과 실시간으로 들어오는 영상을 기준으로 비교하고, 검출이미지와 일치성 그리고 기준영상과의 변이성을 파악하으로써, 2차 검출 알고리즘에서 검출객체 변이를 검출할 수 있다.

일례로, 3차 검출 알고리즘은 정밀 분석 서버에 설치될 수 있는데, 이는 차량용 분석 서버로부터 2차 검출 알고리즘에 의해 분석된 객체 변이 정보를 수신하여 이상 객체를 예지할 수 있다.

철도 선로 주변에는 많은 시설물 부착되어 있는데, 이러한 부착물이 선로 주변에 떨어지면 차량안전에 많은 문제가 발생한다. 이러한 안전사고를 미연에 방지하고자 부착물의 변이를 추정하여 잔여유효수명을 예측할 수 있다. 3차 검출 알고리즘은 차량용 분석 서버에서 분석된 객체변이 정보와 다양한 정보를 이용하여 검출된 횡단구조 부착물(선상역사 포함), 터널부착물 및 자갈도상에 대한 예지 알고리즘을 구현할 수 있다.

도 7은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 따른 이상객체 예지 방식을 도시한 개략도이다.

도 7에 도시된 바와 같이, 정밀 분석 서버의 3차 검출 알고리즘은 검출 객체 변이를 모니터링하고, 모니터링된 검출 객체 변이를 빅데이터화하여 처리하며, 빅데이터 처리 결과를 이용하여 이상 객체를 예지할 수 있다. 이는 전처리 단계, 학습 단계 및 예지 단계로 구분할 수 있다.

전처리 단계에서 검출된 객체에 대하여 동일한 스케일의 피쳐(단위)로 만드는 작업을 전처리 과정이라고 하는데 이 과정에서 주로 0과 1사이의 표준정규분포를 갖는 값으로 변환하는 방식을 사용할 수 있다. 그 다음 불필요한 피처들을 없애기 위해 데이터 압축을 위한 차원축소작업을 진행한다. 이는 데이터의 각 부분을 명확하게 나눠주는 역할을 하여 저장 공간의 효율 성과 처리속도를 향상 시킬 수 있다.

학습 단계에서 전처리 과정을 거친 데이터를 설계된 학습 알고리즘에 의하여 학습하는 단계로 구성되며 학습된 최종 데이터가 전처리과정의 데이터에 의하여 평가할 수 있으며 일부 예들에서 3차 분석 알고리즘에는 머신러닝에서 사용되는 앙상블이라는 알고리즘을 적용할 수 있다.

앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법이다. 앙상블 학습의 핵심은 여러 개의 약 분류기(Weak Classifier)를 결합하여 강 분류기(Strong Classifier)를 만드는 것이다. 그리하면 모델의 정확성이 향상된다.

앙상블 학습법에는 두 가지가 있다. 배깅(Bagging)과 부스팅(Boosting)이다. 이를 이해하기 위해서는 부트스트랩(Bootstrap)과 결정 트리(Deicison Tree)에 대한 개념이 선행되어야 한다.

먼저, 배깅 플로우차트는 한 가지 분류 모델을 여러 개 만들어서 서로 다른 학습 데이터로 학습시킨 후( 부트스트랩), 동일한 테스트 데이터에 대한 서로 다른 예측 값들을 투표를 통해(어그리게이팅) 가장 높은 예측 값으로 최종 결론을 내리는 앙상블 알고리즘 기법이다. 또한, 부스팅은 여러 개의 알고리즘이 순차적으로 학습을 하되, 앞에 학습한 알고리즘 예측이 틀린 데이터에 대해 올바르게 예측할 수 있도록, 그 다음번 알고리즘에 가중치를 부여하여 학습과 예측을 진행하는 방식이다. 한편, 랜덤포레스트도 있는데, 이는 여러 의사결정 트리를 배깅해서 예측을 실행하는 모델이다.

이와 같이 하여, 본 개시는 운행되는 열차에서 실시간 영상 자료를 수집하고 인공지능 알고리즘으로 이를 분석하여 검출 객체의 변형/탈락을 추적 분석하여 예지할 대상을 선정하여 예지 진단 및 점검을 할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공할 수 있다.

도 8a, 도 8b 및 도 8c는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에 탑재되는 전체 소프트웨어 구성을 도시한 개략도이다.

도 8a, 도 8b 및 도 8c에 도시된 바와 같이, 검출 실시간 MMS 장치 및 소프트웨어는 차량용 검출 장치, 차량용 분석 서버 및 정밀 분석용 서버에 탑재될 수 있다. 이중 검출된 선로주변 객체 정보를 전달하기 위한 MMS 전송은 차량용 검출 장치와 차량용 분석 서버에서 전송될 수 있다.

차량용 검출 장치에는 차량 객체 검출 소프트웨어, 차량용 분석 서버에는 차량 객체 분석 소프트웨어 그리고 정밀 영상 분석 서버에는 객체 정밀 분석 소프트웨어가 탑재하도록 소프트웨어를 구성할 수 있다. 또한 검출 영상의 실시간 MMS 전송시스템은 차량 객체 검출 소프트웨어 및 차량 객체 분석 소프트웨어에 모두 탑재되어 2곳에서 역할에 맞도록 MMS를 전송할 수 있다.

일부 예들에서, 차량 검출 장치에 탑재되는 차량 객체 검출 소프트웨어는 GPS 모듈로부터 GPS 정보를 수집하고, CCD 카메라로부터 실시간 영상 정보를 수집하며, 선로 주변 객체를 검출하고, 수집 데이터를 관리하며, 차량용 분석 서버와의 데이터 통신을 수행할 수 있다.

일부 예들에서, 차량 분석 서버에 탑재되는 차량 객체 분석 소프트웨어는 차량 검출 장치와의 데이터 통신을 수행하고, 라이다로부터 검지 데이터를 수신하며, 스테레오 카메라로부터 실시간 영상을 수집하고, 수집 데이터를 관리하며, 기준 영상도 관리할 수 있다.

일부 예들에서, 차량 검출 장치와 차량용 분석 서버에 동시 탑재되는 MMS 전송 소프트웨어는 MMS 전송 대상 정보를 관리하고, MMS 정보를 생성하며, MMS 정보를 발송할 수 있다.

일부 예들에서, 정밀 분석 서버에 탑재되는 객체 정밀 분석 소프트웨어는, 일례로, 오프라인 환경하에서 수집 정보를 정밀 분석하고, 검출 객체 정보를 이용한 이상 상태 정보를 예지할 수 있다.

도 9는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템에서 객체 검출 소프트트웨어의 구성을 도시한 개략도이다.

일부 예들에서, 객체 검출 소프트웨어는 차량용 검출 장치에 탑재되는 소프트웨어로서 4개의 모듈로 구성될 수 있다.

도 1a 및 도 1b는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)의 구성 및 데이터 흐름을 도시한 개략도이다.

도 1a 및 도 1b에 도시된 바와 같이, 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)은 GPS(Global Positioning System) 모듈(110), CCD(Charge-Coupled Device) 카메라(120), 스테레오 카메라(130), 라이다(LiDAR)(140), 차량용 검출 장치(150), 차량용 분석 서버(160) 및 정밀 분석 서버(170)를 포함할 수 있다.

GPS 모듈(110)은 운행 차량의 위치 및 운행 시간 정보를 차량용 검출 장치(150)에 제공할 수 있다.

CCD 카메라(120)는 차량 주변의 객체 또는 대상물에 대한 2차원 영상을 촬영하여 차량용 검출 장치(150)에 제공할 수 있다. 일부 예들에서, CCD 카메라(120)는 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등의 이미지를 2차원적으로 촬영하여 제공할 수 있다.

스테레오 카메라(130) 역시 차량 주변의 객체 또는 대상물에 대한 3차원 영상을 촬영하여 차량용 분석 서버(160)에 제공할 수 있다. 일부 예들에서, 스테레오 카메라(130)는 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등의 이미지를 3차원적으로 촬영하여 제공할 수 있다. 이를 위해, 스테레오 카메라(130)는 CCD 카메라(120)와 다르게 2대 이상 구비될 수 있다.

라이다(140)는 차량 주변의 객체 또는 대상물에 대해 거리 및 위치 정보를 획득하여 차량용 분석 서버(160)에 제공할 수 있다. 일부 예들에서, 라이다(140)는 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등의 거리 및 위치 정보를 획득하여 제공할 수 있다.

일부 예들에서, GPS 모듈(110)로부터 제공받은 운행 차량 위치 및 운행 시간 정보와, 횡단 구조물, 터널 구조물, 자갈도상(25mm), 선상역사 등에 대한 2차원 영상, 3차원 영상, 그리고 거리 및 위치 정보는 선로 주변 검출 차량 데이터베이스로 저장되고 다시 통합 데이터 베이스로 통합되어 정밀 분석 서버(170)에 제공될 수 있다.

차량용 검출 장치(150)는 GPS 모듈(110)로부터 위치와 시간 정보를 검출하고, CCD 카메라(120)로부터 2차원 객체 영상을 검출할 수 있다.

차량용 분석 서버(160)는 차량용 검출 장치(150)로부터 차량의 위치 및 운행 시간 정보와 객체의 2차원 영상을 수신하고, 또한 스테레오 카메라(130)로부터 객체의 3차원 영상을 수신하며, 라이다(140)로부터 객체의 거리 및 위치 정보를 수신할 수 있다.

정밀 분석 서버(170)는 차량용 분석 서버(160)로부터 정보를 수신하여 객체에 대한 이상을 예지할 수 있다.

일부 예들에서, 차량용 검출 장치(150) 및/또는 차량용 분석 서버(160)는 횡단구조물 검출, 선상부착물 검출, 터널부착물 검출 및/또는 자갈도상이상 검출 결과를 관리자의 단말기에 LTE 모뎀(180)을 통하여 MMS(multi-media message service)로 전송할 수 있다. 일부 예들에서, 차량용 분석 서버(160)로부터 획득된 통합 데이터 베이스는 온라인으로 또는 오프라인으로, 예를 들면, SSD(solid state device)에 의해, 정밀 분석 서버(170)에 전달될수도 있다.

이와 같이 하여 본 개시는 선로 주변의 횡단구조물의 변형/탈락 상태, 터널 구조물의 변형/탈락 상태, 자갈도상이상(25mm), 선상역사 변형/탈락, 울타리 변형, 출입문 열림, 방음벽 및 옹벽의 변형, 공사 개소, 저장수목, 인접개소 농작물 등과 같은 다양한 검출 객체 및 변형 부착물을 자동으로 검출하고 관리자에서 무선 전송할 수 있는 철도 구조물 변형상태 검출용 차상 시스템(100)을 제공할 수 있다.

도 2는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에 따른 선로 검측 객체 검출 방식을 도시한 개략도이다.

도 2에 도시된 바와 같이, 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)은 수집 체계(21), 검측 체계(22) 및 분석 체계(23)를 포함할 수 있다.

수집 체계(21)는 선로 검출 차량에 부착하여 검측 대상물 정보를 수집할 수 있다. 검측 체계(22)는 검측 대상물을 검측하고 이상 정보를 검출하여 MMS 전송할 수 있으며, 검출 대상물의 이미지의 특징을 추출하고, 실시간 동영상 싱크 및 기준 영상과의 변이 분석을 수행할 수 있다. 또한, 분석 체계(23)는 검측 대상물에 대한 예지 알고리즘을 수행하여 대상물의 이상을 예지할 수 있다.

일부 예들에서, 수집 체계(21)는 GPS 모듈(110), CCD 카메라(120), 스테레오 카메라(130) 및 라이다(140)를 포함할 수 있고, 검측 체계(22)는 차량용 검출 장치(150), 차량용 분석 서버(160), MMS 전송 장치(190), 검측 및 분석 알고리즘을 포함할 수 있으며, 분석 체계(23)는 정밀 분석 서버() 및 예지 알고리즘을 포함할 수 있다. 일부 예들에서, 차량용 검출 장치(150) 및 차랴용 분석 서버(160)에 검측 및 분석 알고리즘이 탑재될 수 있고, 정밀 분석 서버(170)에 예지 알고리즘이 탑재될 수 있다.

한편, 본 개시에서는 차량용 검출 장치(150), 차량용 분석 서버(160) 및 정밀 분석 서버(170)에 AI 딥러닝 1,2,3차 검출 알고리즘이 더 탑재될 수 있다.

먼저, AI 딥러닝 1차 검출 알고리즘에 대해 설명한다.

일례로, 1차 검출 알고리즘은 차량용 검출 장치(150)에 설치될 수 있는데, 이는 실시간으로 수집되는 객체의 영상을 이용한 딥러닝 알고리즘을 통하여 이종 객체를 검출하기 위한 이종 객체 검출 알고리즘과 이종 다수의 객체를 동시에 검출할 수 있는 이종 다수 동시 검출 알고리즘을 포함할 수 있다.

안전 운행을 위한 인공지능 선로 검측 시스템(100)에 적용되는 알고리즘의 단계는 통상의 AI 딥러닝 알고리즘과 유사하게 전처리 단계(pre-processing), 특징 추출 단계(feature extraction) 및 분류 단계(classifier)를 포함할 수 있다.

도 3은 본 개시에 예시적 따른 철도 구조물 변형상태 검출용 차상 시스템(100)에 따른 객체 검출을 위한 알고리즘 처리 방법을 도시한 개략도이다.

도 3에 도시된 바와 같이, 본 개시에 예시적 따른 철도 구조물 변형상태 검출용 차상 시스템(100)에 따른 객체 검출을 위한 알고리즘 처리 방법은 전처리 단계를 통하여 추출된 검출 대상 이미지를 알고리즘을 구동하기 위한 큐(Queue)에 넣는 입력 이미지(Input Image) 처리 단계(31)와, 입력된 이미지를 이용하여 검출 대상 다수의 객체를 검지하는 익스트랙트 리젼 프로포잘(Extract region proposals) 처리 단계(32)와, 검지된 영역에 대하여 CNN 입력으로 주입하기 위하여 사이즈 일원화 처리 및 색상이나 가도 등 패턴 처리를 수행하는 컴퓨트 CNN 피처(Compute CNN features) 처리 단계(33)와, CNN 알고리즘 처리를 통하여 최종적인 검출 정보를 구분하는 클래시파이 리젼(Classify regions) 처리 단계(34)를 포함할 수 있다.

검출 알고리즘 전처리 단계에 대해 설명한다.

검출 알고리즘의 전처리 단계는 6개의 전처리로 이루어질 수 있다. 일부 예들에서, 파라미터 설정부터 객체의 다중 검지까지를 전처리 단계로 정의할 수 있다.

파라미터 설정(parameter setting)으로서, 이는 영상 및 카메라의 특성값 설정 및 프레임 입력과 처리, GPS 입력 주기 등을 설정함을 포함할 수 있다.

중복 검출 방지(Prevent duplicate detection)를 위한 전처리로서, 이는 차량 속도가 최대 150km/h의 속도에서 선로주변 대상물 검출을 위해서 검출장치의 빠른 처리 속도에 의한 동일 대상물의 중복 검지를 방지하기 위하여 속도별 슬롯의 크기를 지정하여 운영할 수 있다(도 4 참조). 일부 예들에서, 도 4에 도시된 바와 같이, 열차 속도가 0-9km/일때 슬롯은 99개일 수 있고, 열차 속도가 130km/h보다 높을 때 슬롯은 1개일 수 있다. 이는, 검출 대상물을 검출하고 MMS로 전송하는데에 있어 동일한 검출 대상물에 대하여 계속 MMS 전송을 하지 않도록 하기 위함이다.

일부 예들에서, 슬롯이란 차량 속도가 빠른 경우 검출 대상물을 확인하고 바로 MMS를 전송하면 거의 중복 검출이 되지 않으나 차량 속도가 느릴 경우는 검출 대상물을 계속 검지하여 MMS를 같은 검출 대상물에 대하여 여러번 전송 할 수 있으므로 슬롯이라는 카운터 기준을 두어 프레임의 갯수를 정해진 슬롯 수만큼 카운트 한 후 검출 대상물을 확인하고 MMS로 전송하기 위함이다. 따라서 속도별로 슬롯의 기준 수치를 정하고 차량 속도가 느린 경우 프레임 카운트를 기준 수치만큼 카운트 한 후에 검출대상 검지 및 MMS 전송을 한다. 일례로, 차량 속도가 0일 경우는 1회 검지 후 재 검지하지 않는 조건을 추가할 수 있다.

학습 정보(Learning Data Process) 알고리즘으로서, 이는 유형별 분류 학습, 측정 영역에 대해 다수의 측정값을 생성하도록 카메라 종류별 학습 이미지와 좌우 대칭변환에 의한 대칭 학습, 트러스트를 포함한 배경 학습을 적용할 수 있으며 학습된 내용은 시험 도구에 의해 학습 상태를 확인할 수 있다.

다중 검지(Multiple Detection) 알고리즘으로서, 이는 차량용 검출 장치(150)의 처리 속도를 감안하여 차량 이동 속도에 맞추어 고속 주행 시 한 이미지에 검출 대상 대상물의 3종류에 대한 검출을 다중으로 표시할 수 있다. 이미지 그리드 구간별 객체의 특징(feature) 발생 신뢰도를 누적한 값이 임계값 이상인 영역 구간(Box)을 검출 대상물 존재 영역으로 결정할 수 있다. 구체적으로, 다중 검지 알고리즘은 차량의 이동 속도에 따라 멀리 보이는 대상물과 가까이 보이는 대상물 모두를 검지하는 알고리즘으로 멀리 보이는 대상물이 검출 대상물과 유사한 경우 가까이 보이는 검출 대상물의 경우 "확정" 검지를 멀리 보이는 대상물은 "유사" 등으로 구분 한 후 차량 이동에 따라 멀리 보이는 대상물이 가깝게 보일 경우 "확정" 또는 "아님" 등으로 구분하여 최종 검지하는 방식이다.

대상물 탐색(Object Area Detection) 알고리즘으로서, 이는 트러스트 유형별 영역 및 예상 대상물 탐색 영역을 결정할 수 있다.

검출 영역(대상물 결정영역-Object Determination area) 설정 알고리즘으로서, 이는 입력 이미지크기의 가로, 세로 탐색 구간 영역으로 나누어, 구간별 객체의 특징(feature) 발생 신뢰도를 누적함으로써, 각 영역구간에 대한 검출 대상물 존재 가능성을 결정 하고 이미지에 대한 배경 포함 검출영역을 지정할 수 있다.

다음으로, 검출 알고리즘 특징 추출 단계에 대해 설명한다.

전처리단계의 데이터를 입력을 받아 신경망 모델링(CNN, Convolutional Neural Networks)을 이용하여 객체(예를 들면, 횡단구조물, 선상부착물, 터널부착물, 자갈도상) 인식에 필요한 패턴을 찾을 수 있으며, 입력 데이터에서 직접 학습하고 패턴을 사용해 이미지를 분류할 수 있다. 즉, 객체 특징을 수동으로 추출할 필요없이 자동으로 학습하도록 검출 알고리즘 특징 추출에 사용할 수 있다.

CNN 알고리즘 적용 단계로서, CNN(Convolutional Neural Network)은 이미지의 특징을 추출하고 분류하는 부분으로 구성되며, 필터(Filter)를 이미지의 특징을 찾는 컨볼루션(Convolution)과 특징을 강화하고 모으는 폴링(Pooling)으로 구성할 수 있다. 이러한 CNN 알고리즘에서 CNN은 필터의 크기, 스트라이드(Stride), 패딩(Padding)과 폴링 크기로 출력 데이터 크기를 조절하고, 필터의 개수로 출력 데이터의 채널을 결정할 수 있다.

CNN 알고리즘 적용 기술로서, 컨볼루션은 입력된 이미지의 피처맵(Feature map)을 만들기 위하여 필터와 스트라이드를 정하여 처리하며 이를 통하여 이미지의 특징을 뽑을 수 있다. CNN 알고리즘 적용 기술로서, 필터(Filter(Kernel))는 필터를 이용하여 입력 이미지의 피처를 뽑을 수 있다. 일례로 필터는 소벨 필터(Sobel filter)의 가로세로 특징을 뽑아낼 수 있는 필터값일 수 있다. CNN에서는 여러 개 필터를 이용해 이미지의 세부 특징을 추출해서 학습을 할 수 있으나 선로 주변의 대상물을 추출하기 위한 필터는 신경망에서 학습을 통해 자동으로 적합한 필터를 생성할 수 있다. CNN 알고리즘 적용 기술로서, 채널이라고 하는 것은 입력되는 이미지의 색상을 기준으로 컬러 이미지의 경우는 red채널, blue채널, green채널의 3개 채널이이 합쳐진 이미지일 수 있다. 하나의 컬러 이미지는 3개의 채널로 구성될 수 있다. 전처리 단계에서 이미지를 흑백(Channel:1)으로 만들어 처리하여 연산 속도를 향상 할 수 있으나 본 개시에서는 CPU가 아닌 연산속도가 더 빠른 GPU를 사용하여 처리하도록 하여 3개 채널을 기본으로 적용할 수 있다. CNN 알고리즘 적용 기술로서, 패딩은 컨볼루션 레이어에서 필터와 스트라이드의 작용으로 피처 맵의 크기가 작아지는 현상을 방지하기 위하여 패딩 과정을 거치도록 한다. 패딩은 특징 추출 시 컨볼루션 레이어를 지날 때 마다 작아지게 되므로, 가장자리의 정보들이 사라지는 문제가 발생하기 때문에 패딩을 사용하여 입력 데이터의 공간적 크기와 동일하게 맞춰주기 위해 사용할 수 있다. CNN 알고리즘 적용 기술로서, 폴링은 알고리즘 적용시 이미지의 크기를 계속 유지한 채 FC(Fully Connected) 레이어로 가게 된다면 연산량이 기하급수적으로 늘어나는 것을 방지하고 특정 피처를 강조하기 위하여 폴링을 사용한다. 폴링에는 총 3가지가 있으며 노이즈를 감소시키고 영상 분별력을 좋게 하기 위하여 맥스 폴링(Max pooling)을 사용할 수 있다.

이어서, 검출 알고리즘 분류 단계에 대해 설명한다.

전처리단계의 데이터를 입력을 받아 신경망 모델링(CNN, Convolutional Neural Networks)을 이용하여 객체(횡단구조물, 선상부착물, 터널부착물, 자갈도상) 인식에 필요한 패턴을 찾을 수 있으며, 입력 데이터에서 직접 학습하고 패턴을 사용해 이미지를 분류할 수 있다. 즉, 객체 특징을 수동으로 추출할 필요 없이 자동 학습하도록 검출 알고리즘 특징 추출에 사용할 수 있다.

검출 알고리즘으로서, 플래튼 레이어(Flatten Layer)는 CNN의 데이터 타입을 Fully Connected Neural Network의 형태로 변경하는 레이어일 수 있다. 플래튼 레이어에는 파라미터가 존재하지 않고, 입력 데이터의 세잎(Shape) 변경만 수행한다. 검출 알고리즘으로서 소프트맥스 회귀 알고리즘은 CNN의 분류 알고리즘 중의 하나로, 들어온 값이 어떤 분류인지 구분해주는 알고리즘이다. 선로 검출 대상물에 대하여 어떠한 종류가 검출되는지 분류하기 위한 알고리즘으로 적용한다. CNN에서 소프트맥스는 인공신경망에서 출력층의 정규화를 위한 함수이며 뉴런의 출력 값에 대하여 클래스 분류를 위하여 마지막 단계에서 출력 값에 대한 정규화를 해주는 함수이다. 선로 검출기에서는 소프트맥스 함수를 이용하여 검출 대상을 분류하도록 한다.

AI 딥러닝 2차 검출 알고리즘에 대해 설명한다.

일례로, 2차 검출 알고리즘은 차량용 분석 서버(160)에 설치될 수 있는데, 이는 차량용 검출 장치(150)로부터 1차 검출 알고리즘에 의한 검출 객체 정보를 수신하여 기준 영상에서 검출 객체의 위치를 파악하고 기준 영상과 실시간 영상의 검출 객체 이미지를 추출하여 변이를 비교 및 분석할 수 있다.

AI 딥러닝 2차 검출 알고리즘의 처리 흐름은 차량용 검출 장치(150)에서 검출된 객체 정보가 트리거(Trigger)가 되며, 이를 기반으로 기준 영상에서 동일한 위치를 인덱싱(Indexing)하고 실시간 영상과 동기화(Sync)하여 설정된 바운더리(Boundary)에 대한 영상을 추출하고 추출된 영상 이미지를 기반으로 변이를 비교분석함을 포함할 수 있다.

2차 검출 알고리즘에서도 대상 영상을 추출한 후 1차 검출 알고리즘인 CNN을 적용하여 1차에서 검출된 객체와 동일한 영상 이미지를 추출할 수 있다.

도 5는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에 따른 2차 검출방식 및 구현 알고리즘의 처리 흐름을 도시한 개략도이고, 도 6은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에 따른 기준 영상과 실시간 영상의 동기화 처리 방식을 도시한 개략도이다.

2차 검출 알고리즘 영상 동기화는 기준 영상과 실시간으로 입력되는 영상을 동기화함을 의미한다. 초기 검출 객체의 메타(Meta) 정보를 이용하여 기준 영상의 스캔 바운더리(scan boundary)를 정하고 정해진 바운더리에서 1차 검출 알고리즘을 수행하여 기준 영상과 검출 객체의 정확하게 일치되는 위치를 찾아내어 해당 위치를 인덱스하도록 한다. 기준 영상에 대하여 처리가 마무리되면 실시간으로 검출되는 영상에 대하여 초기 스캐닝한 후 기준 영상과 동일한 방식으로 영상을 인덱싱하여 기준 영상과 실시간 영상을 동기화한다.

한편, 검출 객체의 변이 비교를 1차적으로 기준 영상과 실시간으로 들어오는 영상을 기준으로 비교하고, 검출 이미지와 일치성 그리고 기준 영상과의 변이성을 파악하으로써, 2차 검출 알고리즘에서 검출 객체 변이를 검출할 수 있다.

AI 딥러닝 3차 검출 알고리즘에 대해 설명한다.

일례로, 3차 검출 알고리즘은 정밀 분석 서버(170)에 설치될 수 있는데, 이는 차량용 분석 서버(160)로부터 2차 검출 알고리즘에 의해 분석된 객체 변이 정보를 수신하여 이상 객체를 예지할 수 있다.

철도 선로 주변에는 많은 시설물 부착되어 있는데, 이러한 부착물이 선로 주변에 떨어지면 차량안전에 많은 문제가 발생한다. 이러한 안전 사고를 미연에 방지하고자 부착물의 변이를 추정하여 잔여 유효 수명을 예측할 수 있다.

3차 검출 알고리즘은 차량용 분석 서버(160)에서 분석된 객체 변이 정보와 다양한 정보를 이용하여 검출된 횡단구조 부착물(선상역사 포함), 터널부착물 및 자갈도상에 대한 예지 알고리즘을 구현할 수 있다.

도 7은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에 따른 이상객체 예지 방식을 도시한 개략도이다.

도 7에 도시된 바와 같이, 정밀 분석 서버(170)의 3차 검출 알고리즘은 검출 객체 변이를 모니터링하고, 모니터링된 검출 객체 변이를 빅데이터화하여 처리하며, 빅데이터 처리 결과를 이용하여 이상 객체를 예지할 수 있다. 이는 전처리 단계, 학습 단계 및 예지 단계로 구분할 수 있다.

전처리 단계에서 검출된 객체에 대하여 동일한 스케일의 피쳐(단위)로 만드는 작업을 전처리 과정이라고 하는데 이 과정에서 주로 0과 1사이의 표준정규분포를 갖는 값으로 변환하는 방식을 사용할 수 있다. 그 다음 불필요한 피처들을 없애기 위해 데이터 압축을 위한 차원 축소 작업을 진행한다. 이는 데이터의 각 부분을 명확하게 나눠주는 역할을 하여 저장 공간의 효율 성과 처리속도를 향상 시킬 수 있다.

학습 단계에서 전처리 과정을 거친 데이터를 설계된 학습 알고리즘에 의하여 학습하는 단계로 구성되며 학습된 최종 데이터가 전처리과정의 데이터에 의하여 평가할 수 있으며 일부 예들에서 3차 분석 알고리즘에는 머신러닝에서 사용되는 앙상블이라는 알고리즘을 적용할 수 있다.

앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법이다. 앙상블 학습의 핵심은 여러 개의 약 분류기(Weak Classifier)를 결합하여 강 분류기(Strong Classifier)를 만드는 것이다. 그리하면 모델의 정확성이 향상된다.

앙상블 학습법에는 두 가지가 있다. 배깅(Bagging)과 부스팅(Boosting)이다. 이를 이해하기 위해서는 부트스트랩(Bootstrap)과 결정 트리(Deicison Tree)에 대한 개념이 선행되어야 한다.

먼저, 배깅 플로우차트는 한 가지 분류 모델을 여러 개 만들어서 서로 다른 학습 데이터로 학습시킨 후( 부트스트랩), 동일한 테스트 데이터에 대한 서로 다른 예측 값들을 투표를 통해(어그리게이팅) 가장 높은 예측 값으로 최종 결론을 내리는 앙상블 알고리즘 기법이다. 또한, 부스팅은 여러 개의 알고리즘이 순차적으로 학습을 하되, 앞에 학습한 알고리즘 예측이 틀린 데이터에 대해 올바르게 예측할 수 있도록, 그 다음번 알고리즘에 가중치를 부여하여 학습과 예측을 진행하는 방식이다. 한편, 랜덤포레스트도 있는데, 이는 여러 의사결정 트리를 배깅해서 예측을 실행하는 모델이다.

이와 같이 하여, 본 개시는 운행되는 열차에서 실시간 영상 자료를 수집하고 인공지능 알고리즘으로 이를 분석하여 검출 객체의 변형/탈락을 추적 분석하여 예지할 대상을 선정하여 예지 진단 및 점검을 할 수 있는 철도 구조물 변형상태 검출용 차상 시스템(100)을 제공할 수 있다.

도 8a, 도 8b 및 도 8c는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에 탑재되는 전체 소프트웨어 구성을 도시한 개략도이다.

도 8a, 도 8b 및 도 8c에 도시된 바와 같이, 검출 실시간 MMS 장치 및 소프트웨어는 차량용 검출 장치(150), 차량용 분석 서버(160) 및 정밀 분석용 서버에 탑재될 수 있다. 이중 검출된 선로주변 객체 정보를 전달하기 위한 MMS 전송은 차량용 검출 장치(150)와 차량용 분석 서버(160)에서 전송될 수 있다.

차량용 검출 장치(150)에는 차량 객체 검출 소프트웨어(151), 차량용 분석 서버(160)에는 차량 객체 분석 소프트웨어(161) 그리고 정밀 영상 분석 서버에는 객체 정밀 분석 소프트웨어(171)가 탑재하도록 소프트웨어를 구성할 수 있다. 또한 검출 영상의 실시간 MMS 전송시스템은 차량 객체 검출 소프트웨어(151) 및 차량 객체 분석 소프트웨어(161)에 모두 탑재되어 2곳에서 역할에 맞도록 MMS를 전송할 수 있다.

일부 예들에서, 차량용 검출 장치(110)에 탑재되는 차량 객체 검출 소프트웨어(151)는 GPS 모듈(110)로부터 GPS 정보를 수집하고, CCD 카메라(120)로부터 실시간 영상 정보를 수집하며, 선로 주변 객체를 검출하고, 수집 데이터를 관리하며, 차량용 분석 서버(160)와의 데이터 통신을 수행할 수 있다.

일부 예들에서, 차량용 분석 서버(160)에 탑재되는 차량 객체 분석 소프트웨어(161)는 차량용 검출 장치(110)와의 데이터 통신을 수행하고, 라이다(140)로부터 검지 데이터를 수신하며, 스테레오 카메라(130)로부터 실시간 영상을 수집하고, 수집 데이터를 관리하며, 기준 영상도 관리할 수 있다.

일부 예들에서, 차량용 검출 장치(110)와 차량용 분석 서버(160)에 동시 탑재되는 MMS 전송 소프트웨어는 MMS 전송 대상 정보를 관리하고, MMS 정보를 생성하며, MMS 정보를 발송할 수 있다.

일부 예들에서, 정밀 분석 서버(170)에 탑재되는 객체 정밀 분석 소프트웨어(171)는, 일례로, 오프라인 환경하에서 수집 정보를 정밀 분석하고, 검출 객체 정보를 이용한 이상 상태 정보를 예지할 수 있다.

도 9는 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에서 객체 검출 소프트트웨어(151)의 구성을 도시한 개략도이다.

일부 예들에서, 객체 검출 소프트웨어(151)는 차량용 검출 장치(150)에 탑재되는 소프트웨어로서 4개의 모듈로 구성될 수 있다.

차량용 검출 장치(150)에는 탑재되는 객체 검출 소프트웨어(151)는 CCD 카메라 환경, GPS 환경, 시스템 환경을 설정하는 환경 설정부(151a), 선상부착물, 터널부착물, 횡단구조물 및 자갈도상을 검출하는 객체 검출부(151b), 검출 이미지를 캡쳐하고, MMS 정보를 생성하며, MMS를 전송하고, 검출 지점 정보를 추출하는 검출 데이터 관리부(151c), 선로 지점 정보 파일을 연계하고, 영상 정보를 연계하며, 검출 정보를 연계하는 데이터 연계부(151d)를 포함할 수 있다.

도 10은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에서 객체 분석 소프트트웨어(161)의 구성을 도시한 개략도이다.

객체 분석 소프트웨어(161)는 차량용 분석 서버(160)에 탑재되는 소프트웨어로서 5개의 모듈로 구성될 수 있다.

차량용 분석 서버(160)에 탑재되는 객체 분석 소프트웨어(161)는 라이다 환경, 스테레오 카메라 환경 및 시스템 환경을 설정하는 환경 설정부(161a), 라이다 정보, 3차원 영상 정보, 2차원 영상 정보 및 객체 검출 정보를 수집하는 정보 수집부(161b), 검출 영상을 추출하고, 라이다 정보를 분석하며, 3차원 영상을 검출하고, 기준 영상을 검출하며, 영상 분석 정보를 비교하는 데이터 분석부(161c), 영상 정보를 연계하고, 검출 정보를 연계하며, 선로 지점 정보를 연계하는 데이터 연계부(161d), 선상부착물 검출 통계, 터널부착물 검출 통계, 횡단구조물 검출 통계 및 자갈도상 검출 통계를 수행하는 통계부(161e)를 포함할 수 있다.

도 11은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템(100)에서 정밀 분석 소프트웨어(171)의 구성을 도시한 개략도이다.

객체 정밀 분석 소프트웨어(171)는 정밀 분석 서버(170)에 탑재되는 소프트웨어로서 차량에서 수집된 정보를 통합하여 세부적인 분석으로 이상 검출물을 예지하는 소프트웨어이다.

정밀 분석 서버(170)에는 탑재되는 정밀 분석 소프트웨어(171)는 통신 환경 및 시스템 환경을 설정하는 환경 설정부(171a), 객체 검출 정보, 라이다 정보, 3차원 영상, 2차원 영상 및 객체 분석 정보를 수집하는 정보 수집부(171b), 선상부착물, 터널부착물, 횡단부착물 및 자갈도상을 분석하고 예지하는 데이터 정밀 분석부(171c), 분석 및 예지 정보를 전달하고, 통계 리포트를 작성하며, 데이터를 익스포트하는 정밀 분석 처리부(171d)를 포함할 수 있다.

이아 같이 하여, 본 개시는 선로 주변의 횡단구조물의 변형/탈락 상태, 터널 구조물의 변형/탈락 상태, 자갈도상이상(25mm), 선상역사 변형/탈락, 울타리 변형, 출입문 열림, 방음벽 및 옹벽의 변형, 공사 개소, 저장수목, 인접개소 농작물 등과 같은 다양한 검출 객체 및 변형 부착물을 자동으로 검출하고 관리자에서 무선 전송할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공할 수 있다.

또한, 본 개시는 운행되는 열차에서 실시간 영상 자료를 수집하고 인공지능 알고리즘으로 이를 분석하여 검출 객체의 변형/탈락을 추적 분석하여 예지할 대상을 선정하여 예지 진단 및 점검을 할 수 있는 철도 구조물 변형상태 검출용 차상 시스템을 제공할 수 있다.

이상에서 설명한 것은 본 개시에 따른 예시적 철도 구조물 변형상태 검출용 차상 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

100; 인공 지능 선로 검측 시스템
110; GPS(Global Positioning System) 모듈
120; CCD(Charge-Coupled Device) 카메라
130; 스테레오 카메라
140; 라이다(LiDAR)
150; 차량용 검출 장치
160; 차량용 분석 서버
170; 정밀 분석 서버
180; LTE 모뎀
190; MMS 전송 장치
151; 차량 객체 검출 소프트웨어
161; 차량 객체 분석 소프트웨어
171; 객체 정밀 분석 소프트웨어

Claims (8)

1. 차량의 위치 및 운행 시간 정보를 제공하는 GPS(Global Positioning System) 모듈;
   차량 주변의 객체에 대한 2차원 영상을 촬영하는 CCD(Charge-Coupled Device) 카메라;
   차량 주변의 객체에 대한 3차원 영상을 촬영하는 스테레오 카메라;
   차량 주변의 객체에 대해 거리 및 위치 정보를 제공하는 라이다(LiDAR);
   GPS 모듈로부터 위치와 시간 정보를 검출하고, CCD 카메라로부터 객체 영상을 검출하는 차량용 검출 장치;
   차량용 검출 장치로부터 차량의 위치 및 운행 시간 정보와 객체의 2차원 영상을 수신하고, 스테레오 카메라로부터 객체의 3차원 영상을 수신하며, 라이다로부터 객체의 거리 및 위치 정보를 수신하는 차량용 분석 서버; 및
   차량용 분석 서버로부터 정보를 수신하여 객체에 대한 이상을 예지하는 정밀 분석 서버를 포함하고,
   차량용 검출 장치는 실시간으로 수집되는 객체의 영상을 이용한 딥러닝 알고리즘을 통하여 이종 객체를 검출하기 위한 이종 객체 검출 알고리즘과 이종 다수의 객체를 동시에 검출할 수 있는 이종 다수 동시 검출 알고리즘을 갖는 1차 검출 알고리즘을 포함하되, 1차 검출 알고리즘은 차량 속도가 최대 150 km/h의 속도에서 선로 주변 객체 검출을 위해 차량용 검출 장치의 빠른 처리 속도에 의해 동일 객체의 중복 검지를 방지하기 위해 차량 속도가 높을 수록 슬롯 갯수를 감소시키는 중복 검출 방지 알고리즘을 포함하는, 철도 구조물 변형상태 검출용 차상 시스템.
2. 제 1 항에 있어서,
   차량용 검출 장치 및 차량용 분석 서버는 각각 객체의 검출 영상 및 변이 정보를 관리자 단말기에 MMS(multi-media message service)로 전송하는, 철도 구조물 변형상태 검출용 차상 시스템.
3. 제 1 항에 있어서,
   차량용 검출 장치에는 선상부착물, 터널부착물, 횡단구조물 및 자갈도상을 검출하는 객체 검출부, 검출 이미지를 캡쳐하고, MMS 정보를 생성하며, MMS를 전송하고, 검출 지점 정보를 추출하는 검출 데이터 관리부, 선로 지점 정보 파일을 연계하고, 영상 정보를 연계하며, 검출 정보를 연계하는 데이터 연계부로 이루어진 객체 검출 소프트웨어가 설치된, 철도 구조물 변형상태 검출용 차상 시스템.
4. 제 1 항에 있어서,
   차량용 분석 서버에는 라이다 정보, 3차원 영상 정보, 2차원 영상 정보 및 객체 검출 정보를 수집하는 정보 수집부, 검출 영상을 추출하고, 라이다 정보를 분석하며, 3차원 영상을 검출하고, 기준 영상을 검출하며, 영상 분석 정보를 비교하는 데이터 분석부, 영상 정보를 연계하고, 검출 정보를 연계하며, 선로 지점 정보를 연계하는 데이터 연계부, 선상부착물 검출 통계, 터널부착물 검출 통계, 횡단구조물 검출 통계 및 자갈도상 검출 통계를 수행하는 통계부로 이루어진 객체 분석 소프트웨어가 설치된, 철도 구조물 변형상태 검출용 차상 시스템.
5. 제 1 항에 있어서,
   정밀 분석 서버에는 객체 검출 정보, 라이다 정보, 3차원 영상, 2차원 영상 및 객체 분석 정보를 수집하는 정보 수집부, 선상부착물, 터널부착물, 횡단부착물 및 자갈도상을 분석하고 예지하는 데이터 정밀 분석부, 분석 및 예지 정보를 전달하고, 통계 리포트를 작성하며, 데이터를 익스포트하는 정밀 분석 처리부로 이루어진 정밀 분석 소프트웨어가 설치된, 철도 구조물 변형상태 검출용 차상 시스템.
6. 삭제
7. 제 1 항에 있어서,
   차량용 분석 서버는 차량용 검출 장치로부터 1차 검출 알고리즘에 의한 검출 객체 정보를 수신하여 기준 영상에서 검출 객체의 위치를 파악하고 기준 영상과 실시간 영상의 검출 객체 이미지를 추출하여 변이를 비교 분석하는 2차 검출 알고리즘을 포함하는, 철도 구조물 변형상태 검출용 차상 시스템.
8. 제 7 항에 있어서,
   정밀 분석 서버는 차량용 분석 서버로부터 2차 검출 알고리즘에 의해 분석된 객체 변이 정보를 수신하여 이상 객체를 예지하는 3차 검출 알고리즘을 포함하는, 철도 구조물 변형상태 검출용 차상 시스템.

Images