KR102360568B1 - 터널 내 돌발상황 감지 시스템 및 방법 - Google Patents

Abstract

터널 내 다수의 카메라에 대한 영상 관제를 효과적으로 수행하는 터널 내 돌발상황 감지 시스템 및 방법이 개시된다. 이 방법은 객체 추론부에서 입력 영상에서 딥러닝 기반으로 객체, 이벤트 혹은 터널유고항목을 추론하는 단계, 추론된 객체가 화재 또는 보행자이면 알람신호 발생부에 신호 또는 정보를 전달하는 단계, 추론된 객체가 차량 또는 오토바이이면 객체 추적부를 통해 정주행, 역주행, 정차 또는 충돌 상태인지를 판단하는 단계, 객체 추적부에서의 판단 결과, 추론된 객체의 상태가 역주행, 정차 또는 충돌이면, 알람신호 발생부에 신호 또는 정보를 전달하는 단계, 알람신호 발생부에 입력되는 신호 또는 정보에 대응하는 영상에 대하여 선별점수 산출부에서 미리 설정된 가중치를 반영한 선별점수를 산출하는 단계, 및 선별점수의 순위에 기초한 상위 일정 개수의 영상이나 이에 대응하는 알람신호를 디스플레이 장치에 출력하는 단계를 포함한다.

Description

터널 내 돌발상황 감지 시스템 및 방법{METHOD AND SYSTEM FOR DETECTING INCIDENT IN TUNNEL ENVIRONMENT}

본 발명은 돌발상황 감지 기술에 관한 것으로, 보다 상세하게는, 터널 내 다수의 카메라에 대한 영상 관제를 효과적으로 수행하는 터널 내 돌발상황 감지 시스템 및 방법에 관한 것이다.

터널은 일반도로에 비해 운전자가 대피할 공간이 충분하지 않으며, 회피운전을 하기 어렵기 때문에 터널 내에서의 교통류 돌발상황은 대형사고와 후속차량의 2차 사고로의 확대로 이어질 가능성이 크다.

또한, 터널 내 사고는 터널의 폐쇄적 공간 특성으로 인하여 인지, 탈출 및 우회가 제한될 수 있고, 화재 발생 시 연기나 유독가스 발생으로 인하여 시야확보가 어렵고 상대적으로 높은 사망률을 보인다.

따라서 상당수의 중대형 터널에서 터널 내 돌발상황을 실시간 감시하는 터널유고시스템이 운영 중에 있다. 터널유고시스템은 다수의 폐쇄회로텔레비전(CCTV)을 통해 터널에서 발생하는 보행자(배회), 역주행, 낙하물, 연기, 불꽃, 주차(멈춤) 등의 비정상적인 교통상황이나 돌발상황을 실시간 감지하고 감지 상황을 관제요원에게 전달하여 사고의 신속한 대응조치와 추가 사고의 위험성을 방지하기 위해 사용되고 있다.

하지만, 종래 기술의 터널유고시스템에 대한 검지 현황 보고서에 의하면, 2012년에서 2015년까지 오검지율이 88% 이상인 것으로 파악되었다(Kim, 2016). 이러한 오검지율은 터널 내 환경변화와 감지된 영상의 화질에 매우 민감하여 터널 내 각 영상유고항목에 대한 자동 인식률이 매우 낮다는 것을 나타낸다.

이와 같이 터널 내 각 영상유고항목에 대한 자동 인식률이 높은 터널유고시스템이 요구되고 있는 실정이다.

등록특허공보 제10-1963308호(2019.03.28)

Kim, T.B.(2016), "The national highway, expressway tennel video incident detection system performance analysis and reflect attributes for double deck tunnel in great depth underground space", Journal of the Korea Institute of Information and Communication Engineering, Vol. 20, No. 7, pp.1325-1334.

본 발명은 전술한 종래 기술의 요구에 부응하기 위해 도출된 것으로, 본 발명의 목적은 터널 내 각 영상유고항목에 대한 자동 인식률을 높일 수 있는 터널 내 돌발상황 감지 시스템 및 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 터널 내 다수의 카메라에 대한 영상 관제를 효과적으로 수행하도록 지원하는 터널 내 돌발상황 감지 시스템 및 방법을 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 터널 내 돌발상황 감지 방법은, 객체 추론부에서 입력 영상에서 딥러닝 기반으로 객체, 이벤트 혹은 터널유고항목을 추론하는 단계; 추론된 객체가 화재 또는 보행자이면 알람신호 발생부에 신호 또는 정보를 전달하는 단계; 추론된 객체가 차량 또는 오토바이이면 객체 추적부를 통해 정주행, 역주행, 정차 또는 충돌 상태인지를 판단하는 단계; 상기 객체 추적부에서의 판단 결과, 추론된 객체의 상태가 상기 역주행, 정차 또는 충돌이면, 상기 알람신호 발생부에 신호 또는 정보를 전달하는 단계; 상기 알람신호 발생부에 입력되는 신호 또는 정보에 대응하는 영상에 대하여 선별점수 산출부에서 미리 설정된 가중치를 반영한 선별점수를 산출하는 단계; 및 상기 선별점수의 순위에 기초한 상위 일정 개수의 영상이나 이에 대응하는 알람신호를 디스플레이 장치에 출력하는 단계를 포함한다.

일실시예에서, 상기 산출하는 단계는, 터널 내 카메라 위치 또는 폐쇄회로텔레비전(CCTV) 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출한다. 상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함한다. 상기 카메라 위치는 터널 입구, 터널 중간 및 터널 출구의 제1 구분과, 직선 터널 및 곡선 터널의 제2 구분의 조합에 따라 부가되는 제1 기본값을 갖도록 설정될 수 있다. 상기 돌발상황 종류는 터널 내의 보행자, 화재, 역주행, 정차에 따라 부가되는 제2 기본값을 갖도록 설정되며, 여기서 상기 정차는 차량 사고나 차량 충돌에 의한 정차를 포함할 수 있다.

일실시예에서, 상기 출력하는 단계는, 상기 선별점수 산출부의 산출결과를 받는 선별 관제부가 기 감지된 이벤트를 포함한 영상들에 대한 선별점수들의 순위에 따라 미리 설정된 특정 순위 내의 상기 영상이나 상기 알람신호를 표출한다.

일실시예에서, 터널 내 돌발상황 감지 방법은, 상기 추론하는 단계 이전에, 상기 객체 추론부의 전단에 연결되는 전처리부에 의해 터널 내 카메라의 수집 영상을 전처리하여 상기 입력 영상을 생성하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 입력 영상을 생성하는 단계는, 터널 내 카메라로부터 획득되거나 수집된 기준 영상에 미리 설정된 규칙에 따라 관심영역(ROI)을 설정하는 단계; 및 상기 관심영역에 대한 왜곡 영상을 생성하는 단계를 포함할 수 있다. 여기서 상기 왜곡 영상은 상기 입력 영상에 대응한다.

일실시예에서, 터널 내 돌발상황 감지 방법은, 상기 추론하는 단계 이전에, Faster R-CNN(Regions with convolutional Neural Networks), YOLO(You only look once) 또는 SSD(Single Shot multi-box Detection) 모듈에 기초하여 상기 왜곡 영상에서 보행자, 화재, 정주행 차량, 역주행 차량, 정주행 오토바이 및 역주행 오토바이를 포함한 기준 객체에 대응하는 특징을 추출하고, 추출된 특징을 격자 그리드로 나누어 클래스를 판단하고 클래스 판단 결과를 통해 객체의 위치와 크기를 구분하는 학습 단계를 더 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 측면에 따른 터널 내 돌발상황 감지 시스템은, 입력 영상에서 딥러닝 기반으로 객체, 이벤트 혹은 터널유고항목을 추론하는 객체 추론부; 상기 객체 추론부에서 추론된 객체가 차량 또는 오토바이일 때 객체의 역주행, 정차 또는 충돌을 추적하는 객체 추적부; 상기 객체 추론부에서 추론된 객체가 화재 또는 보행자이거나 상기 객체 추적부에서 추적된 객체가 역주행, 정차 또는 충돌 상태이면 알림신호를 발생시키는 알람신호 발생부; 상기 알람신호가 발생된 객체를 포함한 영상에 대하여 선별점수를 산출하는 선별점수 산출부; 및 상기 선별점수의 순위에 기초한 상위 일정 개수의 영상이나 이에 대응하는 알람신호를 디스플레이 장치에 출력하는 선별 관제부를 포함한다.

일실시예에서, 상기 선별점수 산출부는, 터널 내 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출한다. 상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함할 수 있다.

일실시예에서, 터널 내 돌발상황 감지 시스템은, 터널 내 카메라에 의해 수집되는 영상을 전처리하는 전처리부를 더 포함한다. 그 경우, 상기 객체 추론부는 상기 전처리부에서 전처리된 영상이나 전처리된 영상이 수집된 수집 영상을 상기 입력 영상으로 받는다.

일실시예에서, 상기 전처리부는, 터널 내 카메라로부터 획득되거나 수집된 기준 영상에 미리 설정된 규칙에 따라 관심영역(ROI)을 설정하는 ROI 설정모듈; 및 상기 관심영역에 대한 왜곡 영상을 생성하는 왜곡 영상 생성부를 구비한다. 여기서 상기 왜곡 영상은 상기 전처리된 영상이나 상기 수집 영상에 대응한다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 측면에 따른 터널 내 돌발상황 감지 시스템은, 하나 이상의 감시용 카메라로부터 혹은 카메라 촬영 서버로부터 획득한 영상을 토대로 터널유고상황을 판단하는 컴퓨팅 장치에 연결되고 상기 터널유고상황을 영상관제단말에 알리는 알람장치(또는 서버)를 포함하는 터널 내 돌발상황 감지 시스템으로서, 상기 컴퓨팅 장치 또는 상기 알람장치에 의한 알람신호 발생 시 상기 알람신호의 발생에 대응하는 영상을 제1 시간 동안 디스플레이 장치의 화면에 출력하는 선별 관제부; 및 상기 알람신호의 발생에 대응하는 영상에 대하여 미리 설정된 가중치를 적용한 선별점수를 산출하는 선별점수 산출부;를 포함한다. 여기서, 상기 선별 관제부는, 상기 선별점수의 순위에 기초한 상위 일정 개수의 영상을 상기 순위에 따라 설정되는 추가 시간동안 상기 디스플레이 장치에 출력한다.

일실시예에서, 상기 선별점수 산출부는, 터널 내 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출하고, 여기서 상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 측면에 따른 터널 내 돌발상황 감지 방법은, 컴퓨팅 장치에 의해 수행되는 터널 내 돌발상황 감지 방법으로서, 터널 내 카메라의 영상에서 딥러닝 기반으로 객체를 추론하는 단계; 상기 추론하는 단계에서 추론된 객체가 기설정된 객체인지를 판단하는 단계; 상기 기설정된 개체이면, 상기 추론된 객체가 추적 대상인지를 판단하는 단계; 상기 추적 대상이면 상기 추론된 객체의 움직임을 추적하고, 상기 추적 대상이 아니면 알람신호 발생부로 상기 추론된 객체에 대응하는 신호나 정보를 제공하는 단계; 상기 추론된 객체의 움직임 추적 결과, 특정 돌발상황에 해당하면, 상기 알람신호 발생부로 상기 돌발상황의 객체에 대응하는 신호나 정보를 제공하는 단계; 상기 알람신호 발생부에 제공된 신호나 정보에 기초하여 상기 추론된 객체나 상기 돌발상황의 객체에 대한 선별점수를 산출하는 단계; 및 상기 선별점수의 순위에 기초하여 디스플레이 장치에 출력되는 표출 영상을 선택하거나 상기 표출 영상의 표출시간을 선별적 제어하는 단계를 포함한다. 여기서, 상기 산출하는 단계는, 터널 내 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출한다. 그리고 상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함한다.

전술한 본 실시예에 따른 터널 내 돌발상황 감지 시스템 및 방법을 이용하면, 영상 전처리를 통해 딥러닝 기반의 객체추론 처리의 재현율을 높이고, 알람신호 발생에 대응하는 영상에 대한 가중치 반영과 선별점수 부여를 통해 정밀도를 높임으로써 터널 내 각 영상유고항목에 대한 자동 인식률을 혁신적으로 개선할 수 있다.

또한, 본 발명에 의하면, 관제 센터의 관제 요원이 확인해야 하는 선별 영상을 선별하게 제공함으로써 관제 요원의 피로도를 낮추고, 관제 요원이 담당해야 하는 카메라 예컨대 CCTV 카메라의 개수를 현재 상태로 유지하거나 더 늘릴 수 있어 인력 운영 효율을 높이고 비용을 절감할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 터널 내 돌발상황 감지 시스템을 포함하는 터널 관제 시스템의 개략적인 구성도이다.
도 2는 본 발명의 일실시예에 따른 터널 내 돌발상황 감지 시스템의 구성도이다.
도 3은 도 2의 터널 내 돌발상황 감지 시스템에 채용할 수 있는 터널 내 돌발상황 감지 방법에 대한 흐름도이다.
도 4는 본 발명의 다른 일실시예에 따른 터널 내 돌발상황 감지 시스템의 구성도이다.
도 5 내지 도 7은 도 4의 전처리부의 주요 작동 원리를 설명하기 위한 도면들이다.
도 8a 내지 도 8d는 도 4의 전처리부의 실제 작동 과정을 보여주는 예시도들이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다.

도 1은 본 발명의 일실시예에 따른 터널 내 돌발상황 감지 시스템(이하 간략히 '돌발상황 감지 시스템'이라 한다)을 포함하는 터널 관제 시스템의 개략적인 구성도이다.

도 1을 참조하면, 본 실시예에 따른 터널 내 돌발상황을 효과적으로 감지하고 표출하는 돌발상황 감지 시스템(100)은 터널 내부에 설치되는 다수의 카메라(10)와 네트워크(20)를 통해 다수의 카메라(10)에 연결되는 터널 관제부(30)와의 사이에 연결되어 카메라로부터의 터널 영상 또는 수집 영상을 분석하고 객체를 감지 및 추적한 후 기설정된 표출 레벨에 따라 선별된 이벤트 영상을 표출한다. 표출 레벨은 시스템의 처리 결과에 대한 표출에 있어서 정확도 혹은 민감도 등에 대응될 수 있다.

특히, 본 실시예의 돌발상황 감지 시스템(100)은 딥러닝 기반으로 수집 영상에서 객체를 추론하고 필요에 따라 객체를 추적한 후 알람신호를 발생시키면서 알람신호 발생에 원인이 되는 객체를 포함하는 영상에 대하여 선별점수를 부여하고, 선별점수의 순위에 따라 일정 순위 이상의 영상만을 표출함으로써 임의의 다수의 이벤트 영상이 무작위로 표출되는 것을 방지하며, 그에 의해 관제사의 피로도를 줄이고 관제 집중도를 높여 효과적인 선별 관제를 가능케 한다.

선별점수는 카메라 위치, 돌발상황 종류, 돌발상황 발생 요일 및 돌발상황 발생 시간대에 따라 기설정된 차등적인 가중치를 적용하여 산출된다.

도 2는 본 발명의 일실시예에 따른 터널 내 돌발상황 감지 시스템의 구성도이다.

도 2를 참조하면, 본 실시예에 따른 돌발상황 감지 시스템(100)은, 객체 추론부(110), 객체 추적부(120), 알람신호 발생부(130) 및 선별점수 산출부(140)를 포함한다. 또한, 돌발상황 감지 시스템(100)은 선별 관제부(150)를 더 포함할 수 있다.

객체 추론부(110)와 객체 추적부(120)는 인공지능, 인공신경망 또는 딥러닝(Deep learning) 기반으로 입력 영상에서 객체를 추론하고 추론한 객체를 추척한다. 객체 추론부(110)와 객체 추적부(120)는 컴퓨팅 장치에서 동작하는 소프트웨어 모듈 형태를 구비할 수 있다. 여기서 객체 추론부(110)에 입력되는 입력 영상은 터널 영상이나 터널 영상에 대응하는 수집 영상을 포함하거나, 터널 영상이나 수집 영상을 전처리한 영상을 포함할 수 있다.

좀더 구체적으로, 객체 추론부(110)는 Faster R-CNN(Regions with convolutional Neural Networks), YOLO(You only look once) 또는 SSD(Single Shot multi-box Detection) 모듈에 기초하여 상기 왜곡 영상에서 보행자, 화재, 정주행 차량, 역주행 차량, 정주행 오토바이 및 역주행 오토바이를 포함한 기준 객체에 대응하는 특징을 추출하고, 추출된 특징을 격자 그리드로 나누어 클래스를 판단하고 클래스 판단 결과를 통해 객체의 위치와 크기를 구분하여 객체를 추론한다.

객체 추론부(110)는 객체 추론 이전에, 동시에 혹은 이후에 객체를 추론하는 학습 과정를 포함할 수 있다. 학습 과정은 지도학습(supervised learning), 비지도학습(unsupervised learning), 강화학습(reinforcement learning) 또는 이들의 조합 형태를 포함할 수 있다. 여기서, 지도학습은 입력에 따른 정답을 알려주는 방식이고, 비지도학습은 정답 혹은 라벨이 없이 클러스터링(clustering)을 통해 패턴을 파악하는 방식이고, 강화학습은 라벨이 없이 스스로 입력 데이터의 패턴을 구분하는 비지도학습과 유사하나 환경으로부터 보상값을 받는 점에서 비지도학습과 차이가 있고 연속된 행동을 수행하는 영상 내 객체 구분에 적합한 방식이다.

Faster R-CNN은 Fast R-CNN과 전체적인 절차는 동일하지만, 정지영상에서 먼저 객체에 대한 정확한 위치를 찾기 위하여 격자 그리드로 나누어지는 직사각형 객체 박스(object box)로 객체를 구분하고, 박스 형태의 정지영상 이미지에서 객체와 대응되는 객체의 종류나 이벤트 정보로 구성되는 출력값을 구함으로써 객체 인식(object detection)을 수행한다. 여기서, Fast R-CNN은 R-CNN의 계산시간이 많이 소요되는 단점을 해결하기 위해 고안된 알고리즘이고, R-CNN은 컨볼루션신경망(convolutional Neural Networks, CNN)에서 파생된 방법으로 영상 내에 존재하는 객체(object)의 정확한 위치를 직사각형 박스로 찾기 위해서 고안된 방법이다.

즉, Faster R-CNN은 직사각형의 바운딩 박스(bounding box, BB)를 찾는 RPN(Region Proposal Networks)을 이용하는 방법으로서 논리에 의한 알고리즘을 이용하는 것이 아닌 CNN에서 추출된 특성화 지도상에서 RPN을 이용해 객체를 인식한 후, 전통 인공신경망과 연계하여 객체의 종류와 위치정보를 추론하는 방식으로서, 기존 R-CNN과 비교하면 250배 빠르게 실시간으로 객체를 인식할 수 있다.

YOLO(You only look once)는 객체 검출의 대표적인 방법으로 R-CNN이 영역 제안(region proposal)이라는 수백개의 이미지 후보를 생성하고 각각에 대해 분류를 하는 방식과 다르게, 격자 그리드로 나누어 한 번에 클래스를 판단하고 이를 통합해 최종 객체를 구분하는 방식을 사용한다. 이러한 YOLO를 사용하면 동영상 내 객체도 거의 실시간으로 구분하는 것이 가능하다.

SSD(Single Shot multibox Detection)는 YOLO와 유사하게 네트워크 하나만 사용하여 객체(object)의 경계 박스를 찾고 클래스를 인식한다. 이러한 SSD는 VGG-16 등을 이미지 특징 추출기로 사용할 수 있다. SSD는 최종 특징맵에만 경계 박스와 클래스 정보가 있는 YOLO와 다르게 여러 히든 레이어에 정보가 분산되어 있다. 즉, SSD는 YOLO의 마지막 특징맵에 해당하는 레이어가 6개 있을 있으며, 그 경우 특정 복수의 컨볼루션 레이어를 컨볼루션하여 생성되는 6개의 특징맵안에는 경계박스와 클래스 정보가 담겨 있고, 이 특징맵들은 서로 크기가 다를 수 있고, 가로 또는 세로 크기가 점점 작아질 수 있다. 또한, SSD는 신뢰도 점수가 특정값 예컨대, 0.01보다 높은 경계박스만을 남기도록 설정되면, 적어도 수십개의 경계 박스 중 원하는 정도(예를 들어 2개)의 경계박스만을 남기고 대부분의 경계박스가 사라져 최종적으로 경계 박스 후보를 추려낼 수 있다.

전술한 바와 같이, 객체 추론부(110)는 딥러닝 기반으로 터널 영상 내 객체를 구분하여 실시간으로 객체를 인식하여 객체의 종류, 예를 들어, 사람, 화재, 차량, 오토바이 등과 그 위치 정보를 추론할 수 있다.

객체 추적부(120)는 객체 추론부(110)에서 인식된 객체 중 차량이나 오토바이의 움직임을 추적하여 역주행인지 정차 혹은 충돌인지를 판단한다. 객체 추적부(120)는 움직이는 장면에서 영상에 있는 객체의 경로(path) 근사치를 구하는 추적(tracking) 기법에 의해 구현된다. 즉, 객체 추적은 영상에서 관심 객체가 움직이는 경로가 그 이전 프레임과 유사한지 판단한 다음 동일 객체라고 인식되면 그 객체를 계속 추적하는 방식으로 구현된다. 이러한 객체 추적에는 칼만필터(Kalman Filter) 기반의 객체 탐지 및 추적(object detection) 기법이 사용될 수 있다.

전술한 객체 추론부(110)와 객체 추적부(120)에 의하면, 딥러닝 기반으로 실시간으로 터널 영상 내 객체를 구분하여 인식하고 객체의 종류, 예를 들어, 정주행 차량, 역주행 차량, 정차 차량, 차량 충돌, 이동 중인 사람, 서 있는 사람, 화재, 정주행 오토바이, 역주행 오토바이, 정차 오토바이 등과 그 위치 정보를 추출할 수 있다.

알람신호 발생부(130)는 객체 추론부(110)의 제1 신호를 받아 알람신호를 발생시키거나, 객체 추적부(120)의 제2 신호를 받아 알람신호를 발생시킬 수 있다. 알람신호 발생부(130)는

알람신호 발생부(130)는 알람신호의 원인이 되는 객체를 포함하는 터널 영상 또는 수집 영상을 터널 관제부의 어느 하나 이상의 디스플레이 장치에 표출하기 위한 신호나 데이터를 포함할 수 있다.

전술한 알람신호 발생부(130)는 객체 추론부(110), 객체 추적부(120) 또는 이들의 조합을 포함하는 인공지능 모듈 혹은 딥러닝 모듈의 출력단(110a, 120a)에 결합되어 딥러닝 모듈의 출력 신호에 따라 출력 신호에 포함되는 수집 영상 식별자, 객체 식별자, 시간 정보, 위치 정보 등에 기초하여 특정 정보를 포함하는 알람신호를 생성할 수 있다. 특정 정보는 관련 식별자, 시간 정보, 위치 정보 등을 포함하는 특정 룩업테이블을 포함하거나 룩업테이블이 저장된 주소를 포함할 수 있다.

본 실시예에서는 알림신호 발생부(130)에서 발생된 알람신호에 대응하는 터널 영상이나 알람은 알람신호 발생 후 즉시 혹은 매우 짧은 시간 간격 예컨대 1초 이내의 시간 간격을 두고 별도로 혹은 동시에 터널 관제부의 디스플레이 장치에서 표출될 수 있다.

한편, 본 실시예의 변형 예에서는, 알림신호 발생부(130)에서 발생된 알람신호에 대응하는 터널 영상이나 알람은 알람신호 발생 후 후술하는 선별점수의 부여 후에 선별적으로 별도로 혹은 동시에 터널 관제부의 디스플레이 장치에서 표출될 수 있다.

선별점수 산출부(140)는 알람신호 발생부(130)에서 발생되는 알람신호에 따라 알람신호의 원인이 되는 터널 영상이나 수집 영상에 대한 선별점수를 산출한다. 선별점수는 가중치와 이벤트 점수의 곱으로 산출될 수 있다.

선별 관제부(150)는 선별점수 산출부(140)에서 산출된 선별점수에 따라 일정 시간 동안의 영상들의 선별점수를 내림차순으로 정렬한 뒤 미리 설정된 상위 n(임의의 자연수)개의 영상을 디스플레이 장치의 화면에 선별적으로 출력할 수 있다. 이때, 선별 관제부(150)는 알람신호가 발생한 모든 영상에 대하여 디스플레이 장치의 화면에 출력하면서 선별점수에 따라 선택된 일부 영상을 구분하여 표출하는 것이 가능하다. 그리고, 일정 시간 동안 이벤트가 지속되지 않는 영상은 자동적으로 출력되지 않도록 설정될 수 있다.

도 3은 도 2의 터널 내 돌발상황 감지 시스템에 채용할 수 있는 터널 내 돌발상황 감지 방법에 대한 흐름도이다.

도 3을 참조하면, 본 실시예에 따른 터널 내 돌발상황 감지 방법은 먼저 객체 추론부(110)가 입력 영상에서 딥러닝 기반으로 개체를 추론한다(S31). 객체 추론은 Faster R-CNN, YOLO, SSD의 딥러닝 기법 중 어느 하나로 수행될 수 있다.

다음, 추론된 객체가 설정된 객체가 아니면, 즉 기설정된 객체와 관련하여 객체 추론을 통해 원하는 결과를 얻지 못하는 경우, 현재 영상에 대한 돌발상황 감지 프로세스를 종료할 수 있다(S32).

다음, 현재 영상에서 기설정된 객체를 추론한 경우, 추론한 객체가 추적 대상인지를 판단할 수 있다(S33). 추적 대상이면, 객체 추론부(110)의 특정 출력 신호나 데이터는 객체 추적부(120)에 전달되고, 추적 대상이 아니면, 객체 추론부(110)의 특정 출력 신호나 데이터는 알람신호 발생부에 전달될 수 있다. 본 단계(S33)는 객체 추론에 의해 구분된 객체들에 대하여 미리 설정된 특정 구분에 속한 객체를 추적 대상으로 처리하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부에 의해 구현될 수 있다.

또한, 전술한 단계들(S32, S33)은 객체 추론부(110)의 출력단이나 그 일부로 구비된 출력단 제어부에 의해 수행될 수 있으며, 객체 추론부(110)에서 구분된 객체가 기설정된 객체인 경우 혹은 구분된 객체가 있는 경우에 대하여와, 구분된 객체가 차량이나 오토바이인 경우에 대하여 순차적으로 자동 수행되도록 설정될 수 있다. 출력단 제어부는 구분된 영상에 대한 식별자, 위치 정보, 시간 정보 등을 포함한 신호나 데이터를 객체 추적부(120)나 알람신호 발생부에 전달할 수 있다.

다음으로, 객체 추적부(120)은 객체 추론부(110)으로부터 추적 대상 객체에 대한 정보 혹은 추적 대상 객체를 포함하는 영상이나 영상 정보를 받고 영상에 포함된 추적 대상 객체의 추적(tracking)을 수행한다(S34).

다음, 객체 추적에 의해 추적된 객체의 위치와 움직이는 방향에 기초하여 객체의 정주행, 역주행 또는 정차를 판단한다. 즉, 객체에 의한 특정 돌발상황이 발생하고 있는지를 판단한다(S35). 이러한 판단 과정(S35)는 객체 추적부(120)의 최종 레이어나 출력단에서 구분되는 추적 결과에 따라 자동으로 판단될 수 있다.

다음, 객체 추론에 의해 객체 추적 대상이 사람이나 화재인 경우, 객체 추론부(110)에 연결되는 알람신호 발생부는 객체 추론부(110)의 제1 신호에 따라 알람신호를 발생시킬 수 있다(S36). 또한, 알람신호 발생부는 객체 추적에 의해 차량이나 오토바이의 역주행이나 정차에 따른 제2 신호를 객체 추적부(120)로부터 받고 제2 신호에 따라 알람신호를 발생시킬 수 있다(S36).

다음, 선별점수 산출부는 알람신호 발생부에서 발생한 알람신호에 기초하여 알람신호 발생에 원인이 되는 터널 영상이나 수집 영상을 생성한 카메라의 위치, 카메라가 설치된 터널 내 도로의 종류, 추론되거나 추적된 객체의 종류, 영상 촬영 요일, 및 영상 촬영 시간에 따라 설정되는 이벤트 점수와 가중치에 의해 선별점수를 산출할 수 있다(S37).

여기서, 카메라의 위치는 터널 입구, 터널 출구, 터널 중간, 굽은 도로 구간 등으로 구분될 수 있다. 또한, 카메라의 위치는 낮은 높이와 중간 높이로 추가 부분될 수 있다. 그리고, 도로의 종류는 고속국도, 일반국도, 지방도 등으로 구분될 수 있다.

객체의 종류는 보행자, 화재, 차량, 오토바이를 포함하고, 좀더 구체적으로는 정주행 차량, 역주행 차량, 정차 차량(충돌 차량 포함), 정주행 오토바이, 역주행 오토바이, 정차 오토바이를 포함할 수 있다.

영상 촬영 요일은 일요일 내지 토요일 중 어느 하나의 요일을 포함하고, 영상 촬영 시간은 하루 시간대로서 자정 0시에서 다음날 직전의 자정 12시까지 중 일출 시간대, 일몰 시간대, 낮 시간대, 밤 시간대로 구분될 수 있다.

다음, 선별 관제부는 선별점수 산출부에서 산출된 선별점수의 순위에 따라 일정 순위 이상의 영상 즉, 미리 설정된 상위의 선별 점수를 가진 영상을 표출할 수 있다(S38). 영상은 알람 출력과 함께 관제요원의 디스플레이 장치에 표출될 수 있다.

전술한 선별점수의 산출 과정을 좀더 상세히 설명하면 다음과 같다.

선별점수는 가중치(W)를 이벤트 점수에 곱하여 산출할 수 있다. 여기서, 가중치(W)는 요일, 시간대, 카메라 위치, 돌발상황 종류 또는 이들의 조합에 대하여 설정되는 값으로 설정될 수 있다. 그리고 이벤트 점수는 알람신호 발생에 따라 알람이 지속되는 특정 영상에 대하여 알람 지속 시간 동안 특정 영상이나 이 영상의 관심 영역 내 존재하는 움직이는 객체 1개당 1점을 부여하고, 해당 객체의 움직임이 5초 이상 지속되는 경우 3점을 추가하여 산출할 수 있다.

전술한 선별점수(S)를 수학식으로 표현하면 다음의 [수학식 1]과 같다.

수학식 1에서, W는 가중치, k는 알람 지속 시간, m은 알람 지속 최대 설정 시간, N_{total objects}는 선별점수를 산출하고 있는 영상의 관심 영역 내 움직이는 객체의 개수, N_k≥5는 미리 설정된 시간 예컨대 5초 이상 객체의 움직임이 지속되는 객체의 개수를 각각 나타낸다.

또한, 전술한 선별점수 산출부에 적용할 수 있는 가중치(W)를 위한 일부 시나리오를 예시하면 다음과 같다.

시나리오 1

터널 입구나 터널 출구의 터널 개구부 주변 카메라에서 촬영된 영상의 경우, 일출 시간대나 일몰 시간대에 터널 내부로 들어오는 햇빛으로 인해 촬영 영상의 화질이 좋지 않게 되어 돌출상황 감지에 오작동이 발생할 수 있다. 따라서, 터널 개구부 주변 카메라 예컨대, 터널 입구의 2대와 터널 출구의 2대(총 4대)의 카메라에서 해당 시간대에 촬영되는 영상에 대해서는 돌발상황 이벤트 판별에 대한 가중치를 하향 조절한다. 하향 조정되는 가중치는 기본 가중치 1보다 낮은 가중치 예컨대 0.5로서 별도로 설정되는 이벤트 점수에 곱해져 선별점수를 산출하는데 이용될 수 있다. 일출 시간대와 일몰 시간대는 계절에 따른 영향이 있으므로 계절에 따라 일출 시간대와 일몰 시간대를 조정할 수 있다.

시나리오 2

역주행 돌발상황의 경우로서, 국도 대면터널에서는 추월 차량 때문에 역주행 알림이 빈번하게 울려 관제요원의 관제 효율을 떨어뜨리는 경우가 다수 발생하고 있으므로, 국도 대면터널의 터널 관제 입장에서 정책적으로 국도 대면터널의 역주행에 대한 가중치를 하향 조정할 수 있다. 하향 조정되는 가중치는 예컨대 0.5로서 별도로 산출되는 이벤트 점수에 곱해질 수 있다.

시나리오 3

통행량이 많은 터널의 경우, 평일 출퇴근 시간 정체 현상 또는 휴가철 통행량 증가 등의 원인으로 정차 알림이 빈번하게 울려 관제요원의 관제 효율을 떨어뜨리는 경우가 발생할 수 있다. 따라서, 전술한 원인이 발생하는 특정 기간에는 해당 터널의 정차에 대한 가중치를 하향 조절할 수 있다. 하향 조정되는 가중치는 예컨대 0.1일 수 있다. 그 경우, 전술한 원인이 발생하는 특정 기간이나 시간대에 정차에 대한 알람이 거의 발생하지 않도록 설정하는 것이 가능하다.

시나리오 4

국도 터널의 경우, 오토바이나 자전거가 통행할 수 있어 보행자 오작동이 빈번이 발생할 수 있다. 따라서, 전술한 조건을 가진 국도 터널에 대해서는 도로에서 감지되는 보행자에 대한 가중치를 하향 조절할 수 있다. 하향 조정되는 가중치는 예컨대 0.5일 수 있다.

시나리오 5

보행자 돌발상황의 경우, 돌발상황이 발생한 카메라의 양옆 혹은 전후에 위치하는 카메라들에서 1분 이내의 시간에 연속적으로 돌발상황이 발생할 가능성이 높다. 따라서, 보행자의 진입이 금지된 터널에서 보행자에 대한 가중치를 상향 조정하여 보행자에 대한 알람을 확실하게 수행할 수 있다. 보행자에 대한 가중치는 기본 가중치 1보다 높은 가중치 예컨대 1.2로 설정될 수 있다.

시나리오 6

하나의 카메라에서 2가지 이상의 돌발상황이 수 초(seconds) 이내에 연속적으로 발생하는 경우, 관제요원에게 알림이 필요한 중요한 상황이라고 볼 수 있다. 따라서, 일정 시간 내 돌발상황의 연속 발생 개수에 따라 가중치를 상향 조정할 수 있다. 일례로 돌발상황 2개 동시 발생시 가중치는 1.5, 돌발상황 3개 동시 발생시 가중치는 2.5, 돌발상황 4개 동시 발생시 가중치는 3과 같이 조정할 수 있다.

본 실시예에 의하면, 특정 객체나 터널 내 도로에 형성되는 조건이나 환경에 따라 선별적으로 영상을 자동 선택하여 표출하는 것이 가능하므로, 관제 효율을 높이고 관제요원의 피로도를 감소시키는데 크게 기여할 수 있다.

도 4는 본 발명의 다른 일실시예에 따른 터널 내 돌발상황 감지 시스템의 구성도이다.

도 4를 참조하면, 본 실시예에 따른 돌발상황 감지 시스템(300)은 좀더 넓은 의미의 시스템으로서 도 2 또는 도 3을 참조하여 앞서 설명한 돌발상황 감지 시스템(100)과 이 시스템(100)의 입력단 측에 결합하는 전처리부(200)를 포함한다.

전처리부(200)는 CCTV 카메라의 영상이나 IP(internet protocol) 카메라의 영상을 전처리하여 돌발상황 감지 시스템(100)의 입력 영상으로 전달한다. 이러한 전처리부(200)의 영상 전처리에 의하면 돌발상황 감지 시스템(100)은 더욱 효과적으로 선별 알람을 표출할 수 있다. 여기서 선별 알람은, 터널 관제에 있어서, 돌발상황이 발생한 터널 영상이나 수집 영상이 관제요원의 디스플레이 장치의 화면에 선택적으로 출력되는 것을 포함할 수 있다.

특히, 본 실시예에 따른 돌발상황 감지 시스템(100)은 수집 영상별 선별점수를 내림차순으로 정렬하여 사전에 정의한 개수만큼의 상위 n(임의의 자연수)개의 영상을 출력하고(제1 표출모드), 제1 표출모드에서 출력되는 영상 중 추가적으로 수 초(예컨대 8초) 이상 알람이 지속되는 영상을 선별점수에 따라 내림차순으로 정렬하여 상위 n개의 영상을 출력(제2 표출모드)하도록 구현될 수 있다. 여기서, 제1 표출모드는 일반모드로, 제2 표출모드는 선별모드로 각각 지칭될 수 있다.

도 5 내지 도 7은 도 4의 전처리부의 주요 작동 원리를 설명하기 위한 도면들이다.

도 5 및 도 6을 참조하면, 본 실시예에서 전처리부는 터널 영상에서 관심 영역을 추출한다. 터널 영상에는 대면 도로 상의 차선(L1), 중앙선(C), 차량(P1, P2), 배수라인(D), 소화전(F), 유도등(La), 터널벽(W), 터널 개구부(T1) 등이 표시될 수 있다. 일례로, 전처리부는 터널 영상에서 일정 개수의 소화전(F)이나 유도등(La)의 개수로 정해지는 도로 영역이나 터널 바닥 영역을 검출하고 이에 대하여 도 6의 점선(R1)과 같이 관심 영역을 지정한다.

관심 영역은 개별 카메라마다 사용자 임의로 사전에 설정되어 고정될 수 있다. 그 경우, 관심 영역의 고정에 따라 정보의 일관성과 추론 성능을 향상시킬 수 있다. 물론, 본 발명은 그러한 구성으로 한정되지 않고, 팬/틸트와 회전 구동부가 구비된 카메라 등에서 카메라의 화각에 따라 미리 설정된 기준에 따라 필요시 자동 설정되도록 구현될 수 있다. 아울러, 터널 내 진동이나 기타 주변 환경에 의해 카메라의 화각이 변화되는 경우에도 수집되는 터널 영상에 대하여 미리 설정된 기준에 따라 자동으로 관심 영역을 설정할 수 있음은 물론이다.

다음으로, 도 7의 (a)에서와 같이 관심 영역을 추출하고, 도 7의 (b)와 같이 미리 설정된 사이즈의 영상으로 추출된 관심 영역(R1)을 늘려 영상을 왜곡시킨다. 영상 왜곡은 관심 영역(R1)의 네 모서리가 미리 설정된 크기의 영상의 네 모서리에 위치하도록 영상을 네 방향에서 늘린 방식이 사용될 수 있다. 즉, 도 7의 (c)에서와 같이 왜곡된 영상 즉 왜곡 영상(R2)을 생성할 수 있다.

영상 왜곡에 의하면, 추출된 관심 영역(R1)에 대하여 적어도 일부 영역의 좌표를 아핀(affine) 변환함으로써 왜곡 영상(R2)을 생성할 수 있다. 즉, 관심 영역의 각 픽셀의 좌표가 변환되기 때문에 왜곡 영상(R2) 내 이동 객체(P1, P2)의 좌표도 변환될 수 있다. 즉, 왜곡 영상(R2)) 내 이동 객체(P1, P2)는 사이즈가 확대된 형태로 식별될 수 있다. 생성된 왜곡 영상(R2)는 객체 추론부에 입력 영상으로 제공될 수 있다.

영상 왜곡을 사용하면, 터널 내 카메라의 높이가 상대적으로 낮아 영상 내 도로 상의 객체가 중첩되는 경우에도 각 객체를 효과적으로 식별하는 것이 가능하고, 상대적으로 객체의 크기가 커져 딥러닝 기반의 객체 추론이나 객체 추적에서 그 신뢰도와 속도를 크게 향상시키는데 기여할 수 있다.

도 8a 내지 도 8d는 도 4의 전처리부의 실제 작동 과정을 보여주는 예시도들이다. 즉, 도 8a는 영상별 관심 영역(region of interest, ROI)을 설정하는 과정에 대한 예시이고, 도 8b는 ROI 영역에 대한 영상 왜곡에 대한 예시이다.

도 8c는 도 8b의 왜곡 영상에서 신경망이나 딥러닝 기반의 특징 추출(feature extraction)을 통해 객체에 대하여 그리드 기반 바운딩 박스 디텍션을 수행하는 과정에 대한 예시도이다.

그리고, 도 8c 및 도 8d는 본 실시예에 따른 왜곡 영상에 대한 객체 추적 과정을 보여주는 예시도이다. 도 8c의 t-1번째 프레임(frame) 영상 내 아래쪽 차량(car)과 도 8d의 t번째 프레임 영상 내 차량(car: 0)과 같이 영상 내 움직이는 객체의 경로(path) 근사치를 계산하여 객체의 움직임을 추적한다.

이러한 객체 추적은 칼만필터(Kalman Filter)를 기반으로 동일 객체의 연속적인 측정값을 추적하는 방식으로 수행될 수 있다. 즉, 칼만필터(Kalman Filter)란 잡음이 포함되어 있는 측정치를 바탕으로 선형 역학계의 상태를 추정하는 재귀 필터로서, 객체의 측정값에 확률적인 오차가 포함되고, 객체의 특정 시점에서의 상태가 이전 시점의 상태와 선형적인 관계를 가지고 있는 경우에, 연속적으로 측정하는 값들을 칼만 필터를 이용해서 해당 객체의 위치의 경로 근사치를 추정할 수 있다.

전술한 구성에 의하면, 하나 이상의 감시용 카메라로부터 획득한 영상을 토대로 터널유고상황을 판단하는 컴퓨팅 장치에 연결되고 터널유고상황을 영상관제단말에 알리는 알람장치(또는 서버)를 포함하는 터널 내 돌발상황 감지 시스템을 제공할 수 있다. 즉, 컴퓨팅 장치 또는 알람장치에 의한 알람신호 발생 시 알람신호의 발생에 대응하는 영상을 제1 시간 동안 디스플레이 장치의 화면에 출력하고, 알람신호의 발생에 대응하는 영상에 이벤트 점수와 상황별 가중치를 반영한 선별점수를 부여함으로써, 일정 시간 이후에 선별점수의 순위에 기초한 상위 일정 개수의 영상만을 디스플레이 장치의 화면에 출력함으로써 효과적인 선별 관제 환경을 제공할 수 있다.

이상과 같이 본 발명의 상세한 설명에서는 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

Claims (13)

1. 객체 추론부에서 입력 영상에서 딥러닝 기반으로 객체, 이벤트 혹은 터널유고항목을 추론하는 단계;
   추론된 객체가 화재 또는 보행자이면 알람신호 발생부에 신호 또는 정보를 전달하는 단계;
   추론된 객체가 차량 또는 오토바이이면 객체 추적부를 통해 정주행, 역주행, 정차 또는 충돌 상태인지를 판단하는 단계;
   상기 객체 추적부에서의 판단 결과, 추론된 객체의 상태가 상기 역주행, 정차 또는 충돌이면, 상기 알람신호 발생부에 신호 또는 정보를 전달하는 단계;
   상기 알람신호 발생부에 입력되는 신호 또는 정보에 대응하는 영상에 대하여 선별점수 산출부에서 미리 설정된 가중치를 반영한 선별점수를 산출하는 단계; 및
   상기 선별점수의 순위에 기초한 상위 일정 개수의 영상이나 이에 대응하는 알람신호를 디스플레이 장치에 출력하는 단계;를 포함하고,
   상기 산출하는 단계는,
   터널 내 카메라 위치 또는 폐쇄회로텔레비전(CCTV) 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출하고,
   상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함하며,
   상기 카메라 위치는 터널 입구, 터널 중간 및 터널 출구의 제1 구분과, 직선 터널 및 곡선 터널의 제2 구분의 조합에 따라 부가되는 제1 기본값을 갖도록 설정되고,
   상기 돌발상황 종류는 터널 내의 보행자, 화재, 역주행, 정차에 따라 부가되는 제2 기본값을 갖도록 설정되며, 여기서 상기 정차는 차량 사고나 차량 충돌에 의한 정차를 포함하는, 터널 내 돌발상황 감지 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 출력하는 단계는, 상기 선별점수 산출부의 산출결과를 받는 선별 관제부가 기 감지된 이벤트를 포함한 영상들에 대한 선별점수들의 순위에 따라 미리 설정된 특정 순위 내의 상기 영상이나 상기 알람신호를 표출하는, 터널 내 돌발상황 감지 방법.
4. 청구항 1에 있어서,
   상기 추론하는 단계 이전에, 상기 객체 추론부의 전단에 연결되는 전처리부에 의해 터널 내 카메라의 수집 영상을 전처리하여 상기 입력 영상을 생성하는 단계를 더 포함하는, 터널 내 돌발상황 감지 방법.
5. 청구항 4에 있어서,
   상기 입력 영상을 생성하는 단계는,
   터널 내 카메라로부터 획득되거나 수집된 기준 영상에 미리 설정된 규칙에 따라 관심영역(ROI)을 설정하는 단계; 및
   상기 관심영역에 대한 왜곡 영상을 생성하는 단계를 포함하며,
   상기 왜곡 영상은 상기 입력 영상에 대응하는 터널 내 돌발상황 감지 방법.
6. 청구항 5에 있어서,
   상기 추론하는 단계 이전에, 동시에 혹은 이후에, Faster R-CNN(Regions with Convolutional Neural Networks), YOLO(You only look once) 또는 SSD(Single Shot multi-box Detection) 모듈에 기초하여 상기 왜곡 영상에서 보행자, 화재, 정주행 차량, 역주행 차량, 정주행 오토바이 및 역주행 오토바이를 포함한 기준 객체에 대응하는 특징을 추출하고, 추출된 특징을 격자 그리드로 나누어 클래스를 판단하고 클래스 판단 결과를 통해 객체의 위치와 크기를 구분하여 객체를 추론하는 학습 단계를 더 포함하는 터널 내 돌발상황 감지 방법.
7. 입력 영상에서 딥러닝 기반으로 객체, 이벤트 혹은 터널유고항목을 추론하는 객체 추론부;
   상기 객체 추론부에서 추론된 객체가 차량 또는 오토바이일 때 객체의 역주행, 정차 또는 충돌을 추적하는 객체 추적부;
   상기 객체 추론부에서 추론된 객체가 화재 또는 보행자이거나 상기 객체 추적부에서 추적된 객체가 역주행, 정차 또는 충돌 상태이면 알림신호를 발생시키는 알람신호 발생부;
   상기 알람신호가 발생된 객체를 포함한 영상에 대하여 선별점수를 산출하는 선별점수 산출부; 및
   상기 선별점수의 순위에 기초한 상위 일정 개수의 영상이나 이에 대응하는 알람신호를 디스플레이 장치에 출력하는 선별 관제부;를 포함하고,
   상기 선별점수 산출부는,
   터널 내 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출하고,
   상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함하며,
   상기 카메라 위치는 터널 입구, 터널 중간 및 터널 출구의 제1 구분과, 직선 터널 및 곡선 터널의 제2 구분의 조합에 따라 부가되는 제1 기본값을 갖도록 설정되고,
   상기 돌발상황 종류는 터널 내의 보행자, 화재, 역주행, 정차에 따라 부가되는 제2 기본값을 갖도록 설정되며, 여기서 상기 정차는 차량 사고나 차량 충돌에 의한 정차를 포함하는, 터널 내 돌발상황 감지 시스템.
8. 삭제
9. 청구항 7에 있어서,
   터널 내 카메라에 의해 수집되는 영상을 전처리하는 전처리부를 더 포함하고,
   상기 객체 추론부는 상기 전처리부에서 전처리된 영상이나 전처리된 영상이 수집된 수집 영상을 상기 입력 영상으로 받는 터널 내 돌발상황 감지 시스템.
10. 청구항 9에 있어서,
    상기 전처리부는, 터널 내 카메라로부터 획득되거나 수집된 기준 영상에 미리 설정된 규칙에 따라 관심영역(ROI)을 설정하는 ROI 설정모듈; 및 상기 관심영역에 대한 왜곡 영상을 생성하는 왜곡 영상 생성부를 구비하며, 여기서 상기 왜곡 영상은 상기 전처리된 영상이나 상기 수집 영상에 대응하는 터널 내 돌발상황 감지 시스템.
11. 하나 이상의 감시용 카메라로부터 혹은 카메라 촬영 서버로부터 획득한 영상을 토대로 터널유고상황을 판단하는 컴퓨팅 장치에 연결되고 상기 터널유고상황을 영상관제단말에 알리는 알람장치(또는 서버)를 포함하는 터널 내 돌발상황 감지 시스템으로서,
    상기 컴퓨팅 장치 또는 상기 알람장치에 의한 알람신호 발생 시 상기 알람신호의 발생에 대응하는 영상을 제1 시간 동안 디스플레이 장치의 화면에 출력하는 선별 관제부; 및
    상기 알람신호의 발생에 대응하는 영상에 대하여 미리 설정된 가중치를 적용한 선별점수를 산출하는 선별점수 산출부;를 포함하고,
    상기 선별 관제부는, 상기 선별점수의 순위에 기초한 상위 일정 개수의 영상을 상기 순위에 따라 설정되는 추가 시간동안 상기 디스플레이 장치에 출력하고,
    상기 선별점수 산출부는,
    터널 내 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출하고,
    상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함하며,
    상기 카메라 위치는 터널 입구, 터널 중간 및 터널 출구의 제1 구분과, 직선 터널 및 곡선 터널의 제2 구분의 조합에 따라 부가되는 제1 기본값을 갖도록 설정되고,
    상기 돌발상황 종류는 터널 내의 보행자, 화재, 역주행, 정차에 따라 부가되는 제2 기본값을 갖도록 설정되며, 여기서 상기 정차는 차량 사고나 차량 충돌에 의한 정차를 포함하는, 터널 내 돌발상황 감지 시스템.
12. 삭제
13. 컴퓨팅 장치에 의해 수행되는 터널 내 돌발상황 감지 방법으로서,
    터널 내 카메라의 영상에서 딥러닝 기반으로 객체를 추론하는 단계;
    상기 추론하는 단계에서 추론된 객체가 기설정된 객체인지를 판단하는 단계;
    상기 기설정된 개체이면, 상기 추론된 객체가 추적 대상인지를 판단하는 단계;
    상기 추적 대상이면 상기 추론된 객체의 움직임을 추적하고, 상기 추적 대상이 아니면 알람신호 발생부로 상기 추론된 객체에 대응하는 신호나 정보를 제공하는 단계;
    상기 추론된 객체의 움직임 추적 결과, 특정 돌발상황에 해당하면, 상기 알람신호 발생부로 상기 돌발상황의 객체에 대응하는 신호나 정보를 제공하는 단계;
    상기 알람신호 발생부에 제공된 신호나 정보에 기초하여 상기 추론된 객체나 상기 돌발상황의 객체에 대한 선별점수를 산출하는 단계; 및
    상기 선별점수의 순위에 기초하여 디스플레이 장치에 출력되는 표출 영상을 선택하거나 상기 표출 영상의 표출시간을 선별적 제어하는 단계를 포함하고,
    상기 산출하는 단계는, 터널 내 카메라 위치, 돌발상황 종류, 요일별 가중치, 하루 시간대별 가중치 또는 이들의 조합에 기초한 선별점수를 산출하고,
    상기 선별점수는 움직이는 객체 1개당 부가되는 제1 점수와 상기 객체의 움직임이 제1 시간 이상 지속될 때 부가되는 제2 점수를 더한 기본 점수에 상기 요일별 가중치 및 상기 하루 시간대별 가중치를 곱한 것을 포함하는, 터널 내 돌발상황 감지 방법.

Images