KR102302767B1

KR102302767B1 - 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템

Info

Publication number: KR102302767B1
Application number: KR1020210020799A
Authority: KR
Inventors: 임태훈
Original assignee: (주)태성에스엔씨
Priority date: 2021-02-17
Filing date: 2021-02-17
Publication date: 2021-09-14

Abstract

본 발명은 딥러닝(Deep Learning) 기반으로 취득된 출입문과 스크린 도어 사이의 영상을 분석하여 기존의 장애물 센서의 기능을 구현함으로써 열차(200)의 출입문 개폐여부를 제어할 수 있도록 한 영상 딥러닝 판독에 따른 열차(200) 출입문 감지 시스템을 제공하기 위한 것으로서, 외부로 데이터를 송신하거나 외부의 명령을 수신하기 위한 통신 인터페이스를 구비하여 통신망을 통해 종합 제어반 및 열차와의 데이터를 송수신 가능하도록 하는 통신부와, 상기 열차의 출입문 주변을 촬영하는 적어도 하나 이상의 카메라와, 상기 카메라에서 촬영된 영상을 이용하여 저장부에 미리 저장되어 있는 학습 데이터를 이용하여 딥러닝 영상 의미분석 기법으로 영상을 판독하는 영상 판독부와, 상기 영상 판독부에서 판독된 영상 판독 결과를 기반으로 구동 모터를 구동시켜 상기 출입문 개폐여부를 제어하고, 상기 출입문의 개폐신호를 상기 종합 제어반으로 전달하는 개별 제어부를 포함할 수 있다.

Description

영상 딥러닝 판독에 따른 열차 출입문 감지 시스템{System for Detecting Subway Entrance Door based on Image Deep Learning Reading}

본 발명은 열차 출입문용 안전장치에 관한 것으로, 특히 딥러닝(Deep Learning) 기반으로 취득된 출입문과 스크린 도어 사이의 영상을 분석하여 열차의 출입문 개폐여부를 제어하는 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템에 관한 것이다.

일반적으로, 자동차 산업이 발전함에 따라, 도로는 자동차로 인하여 포화(飽和)가 되어 대중교통 중 지하철을 이용하는 사람이 급증하고 있어, 지하철에 관련된 산업제품 수요가 창출되고, 이로 인한 시장수요도 점차 확대되고 있으며, 지하철에 관련된 업종 종사자와 이와 관련 있는 산업분야가 급증하고 있는 추세이다.

상기 지하철은 지하에 부설된 도시 전기철도로 다른 차량이나 도로와 교차되지 않으므로 속도를 높일 수 있고, 시가지 형태를 그대로 유지할 수 있으며, 소음 발생이 적기 때문에 대도시 공공교통수단의 주류를 이루고 있다.

상기된 지하철은 다수의 출입문을 가진 탑승칸이 보통 6 ~ 10칸 연결되어 운행하게 되는데, 이때, 지하철 탑승구간이 곡선과 같은 경우에는 출입문과 탑승구간이 일정거리를 유지하여 도착하고, 출입문을 이용하여 탑승칸에 승차하게 되는 것이다.

한편, 지하철의 플랫폼은 통상 승강장이 양측에 마련되어져 있으며, 그 승강장의 사이로 지하철의 객차가 진입할 수 있게 구성되어져 있다. 이때, 기존의 지하철 출입문 개방방식은 기관사가 지하철을 정지위치에 정확하게 정지시킨 후, 장애물 센서에 의해 장애물을 감지하여 출입문 및 스크린 도어를 개폐하는 방식으로 이루어진다.

이때, 상기 장애물 센서는 1차 버전으로 포토 센서 타입이 적용되고, 2차 버전으로 레이져 빔 타입이 적용되고 있다. 그러나 각 센서는 종류 별로 현장에서 발생되는 문제로 인해 장애물 감지 방식이 발전되는 실정이다.

즉, 1차 버전인 포토 타입은 먼지로 인한 오동작이 많이 발생함에 따라 유지보수 인원들이 먼지를 수시로 제거해야 하는 문제점이 발생한다. 이에 따라, 2차 버전인 레이져 빔 타입으로 전면 교체하는 실정이다.

또한, 2차 버전 레이져 빔 타입은 설치 후 단점들이 다수 발생하는 실정이다. 예를 들어, 레이져 빔 타입은 금액이 고가이며, 외산(미국, EU) 제품이다. 그리고 레이져 빔 타입은 진동으로 인해 레이져 빔의 설정한 영역의 변화로 오동작을 발생하는 문제점이 있다.

등록실용신안공보 제20-0352895호 (등록일자 2004.06.01.) 등록실용신안공보 제20-0383810호 (등록일자 2005.05.02.)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 딥러닝(Deep Learning) 기반으로 취득된 출입문과 스크린 도어 사이의 영상을 분석하여 기존의 장애물 센서의 기능을 구현함으로써 열차의 출입문 개폐여부를 제어할 수 있도록 한 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템을 제공하는데 그 목적이 있다.

본 발명은 특정한 객체의 형태를 그대로 딥러닝 학습하여 영상데이터를 정확하게 추출함으로써, 딥러닝 영상 분석을 통해 발이 작은 어린이와 여성 및 거동이 불편한 노약자, 장애인이 출입문과 탑승구간 사이에 발이 끼는 사고를 최소화하도록 한 열차 출입문 감지 시스템을 제공하는데 그 목적이 있다.

본 발명은 딥러닝 의미분석 기법과 병행하여 이중안전 장치로 활용할 수 있어 무선 장비(RF)의 이상 시 영상 정보 이력을 통한 객관적이며 체계적인 점검이 가능하도록 한 열차 출입문 감지 시스템을 제공하는데 그 목적이 있다.

본 발명은 열차의 외부적 형태 요소를 식별함으로써 열차의 진입, 이동, 정치, 문열림, 문닫힘, 출발 등 열차의 다양한 동작을 감지하고, 추가적으로 사람 등 승객을 별도로 식별함으로써, 장애 발생률 및 안전사고를 예방하도록 한 열차 출입문 감지 시스템을 제공하는데 그 목적이 있다.

본 발명은 딥러닝 분류 기법을 적용하여 이미지 내의 객체 상태를 정의하고, 정의된 상태로 단순 분류하는 것으로 학습 데이터를 생성함으로써, 분류 성능을 최대화하는 동시에 연산 시간을 최소하여 빠르게 상태를 분류하도록 한 열차 출입문 감지 시스템을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 특징은 외부로 데이터를 송신하거나 외부의 명령을 수신하기 위한 통신 인터페이스를 구비하여 통신망을 통해 종합 제어반 및 열차와의 데이터를 송수신 가능하도록 하는 통신부와, 상기 열차의 출입문 주변을 촬영하는 적어도 하나 이상의 카메라와, 상기 카메라에서 촬영된 영상을 이용하여 저장부에 미리 저장되어 있는 학습 데이터를 이용하여 딥러닝 영상 의미분석 기법으로 영상을 판독하는 영상 판독부와, 상기 영상 판독부에서 판독된 영상 판독 결과를 기반으로 구동 모터를 구동시켜 상기 출입문 개폐여부를 제어하고, 상기 출입문의 개폐신호를 상기 종합 제어반으로 전달하는 개별 제어부를 포함할 수 있다.

바람직하게 상기 영상 판독부는 카메라로부터 영상 정보가 전달되면, 전달된 영상을 이미지 프로세싱하여 노이즈 제거, 선명화 등과 같은 보정을 수행하는 영상 보정부와, 상기 영상 보정부에서 보정된 영상을 기반으로 촬영된 영상에서 입력된 값과 딥러닝 알고리즘을 거쳐 생성된 딥러닝 모델을 기반으로 설정된 영역별로 설치된 각 출입문 주변을 순차적 또는 일괄로 사물을 검출하고, 출입문 주변에 대해 상태를 실시간으로 업데이트하여 객체의 형태를 그대로 딥러닝 학습하여 추론 식별하는 딥러닝 학습부와, 상기 딥러닝 학습부에서 학습된 데이터를 미리 설정된 임계값을 적용 후, 출입문과 스크린 도어 사이에 사물이 있는지 여부를 판단하고, 판단 결과에 기반한 분류 적용 및 상태를 실시간 업데이트하여 개별 제어부로 전달하는 데이터 처리부를 포함할 수 있다.

바람직하게 상기 개별 제어부는 상기 종합 제어반에서 입력되는 출입문 개폐 명령신호와 상기 영상 판독부에서 판독된 영상 판독 결과에 따른 출입문 개폐 명령신호가 모두 열림 또는 모두 닫힘인 경우에만 출입문 개폐여부를 제어할 수 있다.

이상에서 설명한 바와 같은 본 발명에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템은 다음과 같은 효과가 있다.

첫째, 딥러닝(Deep Learning) 기반으로 취득된 출입문과 스크린 도어 사이의 다양한 영상을 적용하여 문제 발생 시 데이터와 영상을 분석함으로써, 더욱 객관적인 판단이 가능한 효과가 있다.

둘째, 특정한 객체의 형태를 그대로 딥러닝 학습하여 영상데이터를 정확하게 추출함으로써, 딥러닝 영상 분석을 통해 발이 작은 어린이와 여성 및 거동이 불편한 노약자, 장애인이 출입문과 탑승구간 사이에 발이 끼는 사고를 최소화할 수 있다.

셋째, 딥러닝 의미분석 기법과 병행하여 이중안전 장치로 활용할 수 있어 무선 장비(RF)의 이상 시 영상 정보 이력을 통한 객관적이며 체계적인 점검이 가능한 효과가 있다. 즉, 영상 이력 기능을 적용함으로써 스크린 도어 고장 및 사고 추적에 용이하다.

넷째, 열차의 외부적 형태 요소를 식별함으로써 열차의 진입, 이동, 정치, 문열림, 문닫힘, 출발 등 열차의 다양한 동작을 감지하고, 추가적으로 사람 등 승객을 별도로 식별함으로써, 장애 발생률 및 안전사고를 예방할 수 있다.

다섯째, 딥러닝 분류 기법을 적용하여 영상 내의 객체 상태를 정의하고, 정의된 상태로 단순 분류하는 것으로 학습 데이터를 생성함으로써, 분류 성능을 최대화하는 동시에 연산 시간을 최소하여 빠르게 상태를 분류할 수 있다. 특히, 영상 딥러닝을 지속적으로 학습함으로써 센서 정확도가 지속적으로 향상될 수 있다.

여섯째, 기존센서에서 해결하지 못한 기술적 문제, 예로서, 먼지, 난반사, 역광, 운무 등을 해결할 수 있어, 운영시간 중 장애 발생률이 감소하며, 이에 따라 이용 불편에 따른 민원이 감소하는 효과가 있다.

일곱째, 영상 딥러닝(인공지능) 기술을 이용한 4차 산업혁명에 발맞춤으로서 기술력 선진화를 가질 수 있으며, 또한 타분야 도입 가능성을 확인할 수 있다.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 실시예에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 구성을 나타낸 구성도이다.
도 3은 도 1에서 영상 판독부의 구성을 상세히 나타낸 구성도이다.
도 4는 도 1에서 카메라의 화각을 적용한 실시예를 나타낸 구성도이다.
도 5는 카메라로부터 취득한 영상을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 동작을 설명하기 위한 흐름도이다.

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 발명에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.

도 1은 본 발명의 실시예에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 구성을 나타낸 구성도이다. 도 1 및 도 2에 도시된 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템은 일 실시예에 따른 것이고, 그 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.

도 1 및 도 2에서 도시하고 있는 것과 같이, 본 발명의 영상 딥러닝 판독에 따른 열차(200) 출입문 감지 시스템은 열차(200) 출입문의 영상 및 데이터를 수집하여 관리하고, 출입문의 개폐여부를 제어하는 종합 제어반(100)과, 신호 송신부(210)를 구비하여 열차(200) 출입문에 부착된 센서부(220)로부터 수신된 RF 신호 및 적외선 신호를 출력하는 열차(200)와, 딥러닝(Deep Learning) 기반으로 취득된 출입문의 영상을 딥러닝 영상 의미분석 기법으로 판독하여 상기 열차(200)로부터 출력되는 RF 신호 및 적외선 신호와 함께 상기 종합 제어반(100)으로 전달하고, 상기 종합 제어반(100)으로부터 입력되는 출입문 제어신호를 기반으로 상기 분석된 영상의 판독 결과를 이용하여 열차(200)의 출입문 개폐여부를 최종 제어하는 승강장(300)을 포함할 수 있다.

이때, 상기 승강장(300)은 외부로 데이터를 송신하거나 외부의 명령을 수신하기 위한 통신 인터페이스를 구비하여 통신망을 통해 종합 제어반(100) 및 열차(200)와의 데이터를 송수신 가능하도록 하는 통신부(310)와, 열차(200) 출입문 주변을 촬영하는 적어도 하나 이상의 카메라(330)와, 상기 카메라(330)에서 촬영된 영상을 이용하여 저장부(340)에 미리 저장되어 있는 학습 데이터를 이용하여 딥러닝 영상 의미분석 기법으로 영상을 판독하는 영상 판독부(320)와, 상기 영상 판독부(320)에서 판독된 영상 판독 결과를 기반으로 구동 모터(360)를 구동시켜 열차(200)의 출입문 개폐여부를 제어하고, 출입문의 개폐신호를 상기 종합 제어반(100)으로 전달하는 개별 제어부(350)를 포함할 수 있다.

이때, 상기 통신망은 인터넷 프로토콜(IP, Internet Protocol)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망, 유선통신망, 이동통신망(CDMA, 2G, 3G, 4G, LTE, 5G), Wibro(Wireless Broadband)망, HSDPA(High Speed Downlink Packet Access)망, 위성통신망 및 와이파이(WI-FI, Wireless Fidelity)망 중 적합한 어느 하나를 이용할 수 있다.

상기 개별 제어부(350)는 중앙 제어반(100)으로부터 인가되는 제어신호에 따라 승강장(300)내 구비된 각각의 스크린 도어 및 안전장치를 직접 제어하는 기능을 함께 수행할 수 있다. 상기 스크린 도어는 열차(200) 이용객의 안전을 위하여 열차(200)가 승강장(300) 내에 정차하고 있지 않은 상황에서는 승강장과 선로 사이를 차단하는 기능을 한다. 상기 스크린 도어는 상기 개별 제어부(350)로부터 인가된 제어 신호로 동작하며 정차된 열차(200)측 출입문의 개폐동작과 연계된 동작으로 스크린 도어의 개폐동작이 수행될 수 있다.

이때, 열차(200)로부터 전달되는 RF 신호 및 적외선 신호를 통해 종합 제어반(100)에서 출입문 개폐 명령신호가 입력되면, 상기 개별 제어부(350)는 상기 영상 판독부(320)에서 분석된 영상 판독 결과를 추가 확인하여 구동 모터(360)를 구동시켜 열차(200)의 출입문 개폐여부를 제어할 수 있다.

상기 개별 제어부(350)는 종합 제어반(100)에서 입력되는 출입문 개폐 명령신호와 상기 영상 판독부(320)에서 판독된 영상 판독 결과에 따른 출입문 개폐 명령신호가 모두 열림 또는 모두 닫힘인 경우에만 출입문 개폐여부를 제어하고, 서로 다른 명령신호가 입력되면, 오류 신호를 발생시킬 수 있다. 이를 통해, 장애 발생률 및 안전사고를 효과적으로 예방할 수 있다.

상기 영상 판독부(320)는 카메라(330)에서 촬영된 해당 영역에 대한 영상을 딥러닝 기반으로 분석하여 움직임 객체를 인식할 수 있다. 즉, 상기 영상 판독부(320)는 해당 출입문 주변에서 움직이는 사물과 움직이는 사물이 사람인지 비사람(유모차, 휠체어, 가방, 자전거 등 사람을 제외한 각종 사물)인지를 인식할 수 있으며, 사람이라고 인식한 경우 움직이는 사람의 방향을 통해 사람이 입구를 향하는지 또는 출구를 향하는지를 파악할 수 있고, 이러한 인식 정보들을 기반으로 해당 영역에서의 이용객 이동을 예측할 수 있는 것이다.

이때, 상기 카메라(330)는 도 4에서 도시하고 있는 것과 같이, 근접거리에서 최대한 넓게 화면을 취득하기 위해 카메라 화각을 170도로 적용하는 것이 바람직하다. 이는 카메라(330)가 승강장의 스크린 도어 상단에 설치됨에 따라 카메라(330)와 열차(200) 간의 거리가 매우 짧아 카메라 화각을 170도로 적용함으로써, 출입문 주변에서 움직이는 사물을 효과적으로 촬영할 수 있다. 도 5는 카메라로부터 취득한 영상을 나타낸 도면으로, 카메라로부터 취득한 영상은 영상 판독부(320)로 전송되어 분석된다.

한편, 상기 영상 판독부(320)는 영역 내 움직임 객체의 감지와 더불어 상기 카메라(330)에서 촬영된 해당 영역의 출입문 영상을 딥러닝 기반으로 분석하여 각 출입문 및 스크린 도어에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 해당 출입문 및 스크린 도어에서 사람과 비사람을 구분하여 출입문 및 스크린 도어 사이에 사람 및 비사람이 위치되는지 여부를 판단함으로써, 열차(200) 이용객의 안전을 더욱 향상시킬 수 있도록 한다.

상기 영상 판독부(320)에서, 이러한 사람과 비사람의 구분 방법은 영상으로부터 형상 이미지를 저장부(340)에 저장되어 있는 학습 데이터를 통해 분석할 수 있다.

이처럼, 상기 영상 판독부(320)는 스크린 도어 및 열차(200) 출입문을 촬영한 실시간 영상을 기반으로 영상을 저장부(340)에 미리 저장되어 있는 학습 데이터와 딥러닝 기반으로 분석하여 각 출입문 주변에서 움직임 객체를 인식하고, 인식한 움직임 객체로부터 열차(200)의 진입, 이동, 정지, 문열림, 문닫힘, 출발 등의 열차(200)의 다양한 동작을 감지하고, 추가적으로 해당 출입문에서 사람 등 승객을 구분하여 승객의 안전사고의 위험을 감지할 수 있다. 특히, 열차(200) 정차 시 정위치 정차의 정도를 cm단위로 측정할 수 있어, 정차 위치에 따른 안전사고도 예방할 수 있다.

도 3은 도 1에서 영상 판독부의 구성을 상세히 나타낸 구성도이다.

도 3에서 도시하고 있는 것과 같이, 영상 판독부(320)는 영상 보정부(321)와, 딥러닝 학습부(322)와, 데이터 처리부(323)를 포함할 수 있다.

상기 영상 보정부(321)는 카메라(330)로부터 영상 정보가 전달되면, 전달된 영상을 이미지 프로세싱하여 노이즈 제거, 선명화 등과 같은 보정을 수행할 수 있다. 예로서, 상기 영상 보정부(321)는 로우 데이터(Raw Data) 처리를 통해 영상 보정 과정을 거칠 수 있다. 그러나 상기 영상 보정 과정은 이에 한정되는 것은 아니며, 이미 공지된 영상 처리방법 중 적합한 하나를 선택하여 이용할 수 있다.

상기 딥러닝 학습부(322)는 상기 영상 보정부(321)에서 보정된 영상을 기반으로 저장부(340)에 저장되어 있는 학습 데이터 중 딥러닝 모델을 선택하고 딥러닝 영상 의미분석 기법을 적용하여 학습 처리할 수 있다.

이를 위해, 상기 저장부(340)는 출입문 주변의 다양한 이미지와, 흐리고, 맑고, 비오는 날씨에 따른 환경 조건, 열차가 정차되어 있고 비어 있는 이미지 등 방대한 양의 이미지에 대해 학습 과정을 거쳐 모델을 생성하여 저장될 수 있다. 이를 통해 조명 및 외부 환경 영향에 따른 오인식률을 최소화할 수 있으며, 이는 현장에서의 다양한 데이터를 수집하여 학습 데이터화함으로써 가능해질 수 있다.

그리고 상기 딥러닝 학습부(323)는 촬영된 영상에서 입력된 값과 딥러닝 알고리즘을 거쳐 생성된 딥러닝 모델을 기반으로 설정된 영역별로 설치된 각 출입문 주변을 순차적 또는 일괄로 검출하고, 출입문 주변에 대해 상태를 실시간으로 업데이트하여 객체의 형태를 그대로 딥러닝 학습하여 추론 식별할 수 있다.

이때, 상기 딥러닝 알고리즘은 CNN(Convolutional Neural Network)를 적용할 수 있다. CNN 알고리즘은 격자 형태로 배열된 데이터를 처리하는 것에 특화되어 데이터의 패턴을 식별하는 것에 대하여 효과적인 신경망이다. CNN은 기본적으로 이미지에 대해 컨볼루션(convolution) 연산을 사용하는 레이어(layer) 들이 사용된 신경망이다. CNN은 공유 파라미터로 사용할 수 있는 다수의 필터를 활용하여 2차원의 경우 이미지의 공간 정보를 유지하여 인접 이미지와의 특징을 효과적으로 추출하며 학습한다. CNN은 최소한의 파라미터와 전처리 과정을 통한 보다 간편한 학습을 가능하게 하는 장점이 있다.

이에 따라, 상기 딥러닝 학습부(323)는 CNN 알고리즘에 따라 생성된 딥러닝 모델을 통과한 현재영상에서 판별 대상이 될 배경(출입문, 스크린 도어, 발판 등)이 검출 될 경우, 영역 내에 사물(사람이나 비사람)이 나타나면 사물을 검출하게 된다.

상기 딥러닝 학습부(323)는 딥러닝 영상 의미분석 기법을 적용하게 되는데, 상기 딥러닝 영상 의미분석 기법은 영상 내에서 식별하고자 하는 객체를 외곽상자 (Bounding Box)로 판별하는 것이 아니라, 객체의 형태를 그대로 딥러닝 학습하여 추론 식별하는 기법이다.

이는 객체의 부분 요소에 대한 위치별 상관관계도 함께 학습함으로써 객체간의 상호 작용에 따른 변별력을 확인할 수 있다. 즉, 부분식별에서는 유사객체로 판별하더라도 전역식별 시에는 다른 객체로 식별할 수 있다. 이를 통해, 조명 및 외부 환경 영향에 따른 오인식률을 최소화할 수 있다. 이는 현장에서의 다양한 데이터를 수집하여 학습데이터화 함으로써 가능해진다.

즉, 카메라(330)에서 촬영되는 영상은 순간적인 조명 변화, 지속적인 조명 변화 등 외부 환경에 따라 그림자 혹은 반사와 같은 영향을 받게 되는데, 상기 영상 판독부(320)는 딥러닝 의미분석 기법을 적용하면서 외부 환경의 영향을 최소화하여 안정적인 데이터 처리가 가능해 질 수 있다. 따라서 열차의 외부, 출입문, 열차실내, 선로 등 열차 관련 다양한 부위를 식별하여 열차의 상태를 파악하고, 추가적으로 사람, 유모차, 휠체어 등 보행자와 각종 사물을 식별하여 장애물을 효과적으로 감지할 수 있다.

상기 데이터 처리부(323)는 상기 딥러닝 학습부(322)에서 학습된 데이터를 미리 설정된 임계값을 적용 후, 출입문과 스크린 도어 사이에 사물이 있는지 여부를 판단하게 되며, 판단 결과에 기반한 분류 적용 및 상태를 실시간 업데이트하여 개별 제어부(350)로 전달할 수 있다.

이때, 상기 데이터 처리부(323)는 모든 출입문 및 스크린 도어 영역의 상태가 업데이트되면 모든 영역에 대한 상태 값, 즉, 각 출입문에 대한 개폐여부가 업데이트 되면 최종값을 출력하여 개별 제어부(350)로 전달할 수 있다. 상기 데이터 처리부(323)는 설정된 영역에 할당된 복수 출입문에 대하여 고유의 식별 코드를 부여할 수 있으며, 출력된 데이터와 고유의 식별코드를 함께 매칭시켜 처리할 수 있다.

이와 같이 구성된 본 발명에 따른 영상 딥러닝 판독에 따른 열차(200) 출입문 감지 시스템의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 또는 도 3과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.

도 6은 본 발명의 실시예에 따른 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템의 동작을 설명하기 위한 흐름도이다.

도 6을 참조하여 설명하면, 먼저 승강장(300)으로 열차(200)가 도착하면, 통신부(310)를 이용하여 열차(200)에 부착된 센서부(220)로부터 RF 신호 및 적외선 신호를 입력받아 종합 제어반(100)으로 전송한다(S10).

그리고 영상 판독부(320)를 이용하여 카메라(330)를 통해 출입문 주변 영역이 촬영된 영상을 이용하여 저장부(340)에 미리 저장되어 있는 학습 데이터를 이용하여 딥러닝 영상 의미분석 기법으로 영상을 판독한다(S20). 즉, 영상 판독부(320)는 열차(200)의 외부, 출입문, 열차실내, 선로 등 열차 관련 다양한 영역을 식별하여 열차(200)의 상태를 판단하고, 추가적으로 사람, 유모차, 휠체어 등 보행자와 각종 사룸을 식별하여 장애물을 감지할 수 있다.

이때, 영상 판독부(320)는 상기 딥러닝 영상 의미분석 기법을 적용하게 되는데, 상기 딥러닝 영상 의미분석 기법은 영상 내에서 식별하고자 하는 객체를 외곽상자 (Bounding Box)로 판별하는 것이 아니라, 객체의 형태를 그대로 딥러닝 학습하여 추론 식별하는 기법이다. 이처럼, 상기 딥러닝 영상 의미분석 기법은 객체의 부분 요소에 대한 위치별 상관관계도 함께 학습함으로써 객체간의 상호 작용에 따른 변별력을 확인할 수 있다. 즉, 부분 식별에서는 유사 객체로 판별하더라도 전역 식별 시에는 다른 객체로 식별할 수 있어, 조명 및 회부 환경 영향에 따른 오 인식률을 최소화할 수 있다. 이는 현장에서의 다양한 데이터를 수집하여 학습 데이터화함으로써 가능할 수 있다.

이처럼, 영상 판독은 순간적인 조명 변화, 지속적인 조명 변화 등 외부 환경에 따라 그림자 혹은 반사와 같은 영향을 받게 되는데, 딥러닝 영상 의미분석 기법을 적용하면서 이러한 영향을 최소화하여 안정적인 데이터 처리가 가능할 수 있다.

상기 영상 판독부(320)를 이용한 딥러닝 영상 의미분석 기법을 이용한 영상 판독 방법을 좀 더 상세히 설명하면 다음과 같다.

먼저 상기 영상 판독부(320)는 영상 보정부(321)를 이용하여 카메라(330)로부터 영상 정보가 전달되면, 전달된 영상을 이미지 프로세싱하여 노이즈 제거, 선명화 등과 같은 보정을 수행할 수 있다(S21). 예로서, 상기 영상 보정부(321)는 로우 데이터(Raw Data) 처리를 통해 영상 보정 과정을 거칠 수 있다.

이어서, 상기 영상 판독부(320)는 딥러닝 학습부(322)를 이용하여 상기 보정된 영상을 기반으로 저장부(340)에 저장되어 있는 학습 데이터를 선택하고 딥러닝 영상 의미분석 기법을 적용하여 학습 처리할 수 있다(S22). 그리고 상기 딥러닝 학습부(323)는 촬영된 영상에서 입력된 값과 딥러닝 알고리즘을 거쳐 생성된 딥러닝 모델을 기반으로 설정된 영역별로 설치된 각 출입문 주변을 순차적 또는 일괄로 영상을 검출할 수 있다(S23).

이에 따라, 상기 딥러닝 학습부(323)는 딥러닝 알고리즘에 따라 생성된 딥러닝 모델을 통과한 현재영상에서 판별 대상이 될 배경(출입문, 스크린 도어, 발판 등)이 검출 될 경우, 영역 내에 사물(사람이나 비사람)이 나타나면 사물을 검출하게 된다.

그리고 상기 영상 판독부(320)는 데이터 처리부(323)를 이용하여 상기 검출된 데이터를 미리 설정된 임계값에 적용 후, 출입문과 스크린 도어 사이에 사물이 있는지 여부를 판단하고, 판단 결과에 기반한 분류 적용 및 상태를 실시간 업데이트할 수 있다(S24).

이때, 데이터 처리부(323)는 모든 출입문 및 스크린 도어 영역의 상태가 업데이트되면 모든 영역에 대한 상태 값, 즉, 각 출입문에 대한 개폐여부가 업데이트 되면 최종값을 출력하여 개별 제어부(350)로 전달할 수 있다. 그리고 이를 위해, 상기 데이터 처리부(323)는 설정된 영역에 할당된 복수 출입문에 대하여 고유의 식별 코드를 부여할 수 있으며, 출력된 데이터와 고유의 식별코드를 함께 매칭시켜 처리할 수 있다.

다음으로, 통신부(310)를 이용하여 상기 입력된 RF 신호 및 적외선 신호와, 상기 영상 판독부(320)에서 판독된 영상 판독 결과를 상기 종합 제어반(100)에 전송할 수 있다(S30).

그리고 개별 제어부(350)는 상기 종합 제어반(100)에서 입력되는 출입문 제어신호를 기반으로 상기 분석된 영상의 판독 결과를 이용하여 구동 모터(360)를 구동시켜 출입문의 개폐여부를 제어할 수 있다(S40).

즉, 상기 개별 제어부(350)는 종합 제어반(100)에서 입력되는 출입문 개폐 명령신호와 상기 영상 판독부(320)에서 판독된 영상 판독 결과에 따른 출입문 개폐 명령신호가 모두 열림 또는 모두 닫힘인 경우에만 출입문 개폐여부를 제어하고, 서로 다른 명령신호가 입력되면, 오류 신호를 발생시킬 수 있다.

이를 통해, 딥러닝 의미분석 기법과 병행하여 이중안전 장치로 활용할 수 있어 무선 장비(RF)의 이상 시 영상 정보 이력을 통한 객관적이며 체계적인 점검이 가능하며, 또한, 열차(200)의 외부적 형태 요소를 식별함으로써 열차의 진입, 이동, 정치, 문열림, 문닫힘, 출발 등 열차(200)의 다양한 동작을 감지하고, 추가적으로 사람 등 승객을 별도로 식별함으로써, 장애 발생률 및 안전사고를 예방할 수 있다. 특히, 열차(200) 정차 시 정위치 정차의 정도를 cm단위로 측정할 수 있어, 정차 위치에 따른 안전사고도 예방할 수 있다.

한편, 개시된 실시예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.　 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서 상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록매체 상에 저장될 수 있다.　여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다.　컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.　 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

개시된 실시예에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 게시된 실시예에서 전체적으로 병합하여 나타낸 것과 동일하게 개시된 실시예에 병합될 수 있다.

개시된 실시예의 이해를 위하여, 도면에 도시된 바람직한 실시예들에서 참조 부호를 기재하였으며, 개시된 실시예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 개시된 실시예가 한정되는 것은 아니며, 개시된 실시예들은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

개시된 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다.　이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다.　예를 들어, 개시된 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 집적회로 구성들을 채용할 수 있다.　개시된 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 개시된 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.　기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.　 또한, 개시된 실시예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.　"메커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.　 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

개시된 실시예에서 설명하는 특정 실행들은 일실시 예들로서, 어떠한 방법으로도 개시된 실시예의 범위를 한정하는 것은 아니다.　명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.　 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.　 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 개시된 실시예의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 종합 제어반 200: 열차
210: 신호 송신부 220: 센서부
300: 승강장 310: 통신부
320: 영상 판독부 321: 영상 보정부
322: 딥러닝 학습부 323: 데이터 처리부
330: 카메라 340: 저장부
350: 개별 제어부 360: 구동 모터

Claims

외부로 데이터를 송신하거나 외부의 명령을 수신하기 위한 통신 인터페이스를 구비하여 통신망을 통해 종합 제어반 및 열차와의 데이터를 송수신 가능하도록 하는 통신부와,
상기 열차의 출입문 주변을 촬영하는 적어도 하나 이상의 카메라와,
상기 카메라에서 촬영된 영상을 이용하여 저장부에 미리 저장되어 있는 학습 데이터를 이용하여 딥러닝 영상 의미분석 기법으로 영상을 판독하는 영상 판독부와,
상기 영상 판독부에서 판독된 영상 판독 결과를 기반으로 구동 모터를 구동시켜 상기 출입문 개폐여부를 제어하고, 상기 출입문의 개폐신호를 상기 종합 제어반으로 전달하는 개별 제어부와,
맑고, 비오는 날씨를 포함하는 환경 조건 및 열차가 정차되어 있고 비어 있는 출입문 주변의 이미지를 수집하여 학습 과정을 거쳐 모델을 생성하고 학습 데이터화하여 저장하는 저장부를 포함하고,
상기 영상 판독부는
카메라로부터 영상 정보가 전달되면, 전달된 영상을 이미지 프로세싱하여 노이즈 제거, 선명화 등과 같은 보정을 수행하는 영상 보정부와,
상기 영상 보정부에서 보정된 영상을 기반으로 촬영된 영상에서 입력된 값과 딥러닝 영상 의미분석 기법을 적용하여 객체의 형태를 그대로 딥러닝 학습하여 추론 식별함으로써 생성된 딥러닝 모델을 기반으로 설정된 영역별로 설치된 각 출입문 주변을 순차적 또는 일괄로 사물을 검출하고, 출입문 주변에 대해 상태를 실시간으로 업데이트하는 딥러닝 학습부와,
상기 딥러닝 학습부에서 학습된 데이터를 미리 설정된 임계값을 적용 후, 출입문과 스크린 도어 사이에 사물이 있는지 여부를 판단하고, 판단 결과에 기반한 분류 적용 및 상태를 실시간 업데이트하여 개별 제어부로 전달하는 데이터 처리부를 포함하는 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템.
삭제
제 1 항에 있어서,
상기 개별 제어부는 상기 종합 제어반에서 입력되는 출입문 개폐 명령신호와 상기 영상 판독부에서 판독된 영상 판독 결과에 따른 출입문 개폐 명령신호가 모두 열림 또는 모두 닫힘인 경우에만 출입문 개폐여부를 제어하는 영상 딥러닝 판독에 따른 열차 출입문 감지 시스템.