KR20190119350A - 영상을 이용한 에스컬레이터 사고 감지 장치 및 방법 - Google Patents

Abstract

영상을 이용한 에스컬레이터 사고 감지 장치 및 방법이 개시된다. 본 발명에 따른 영상을 이용한 에스컬레이터 사고 감지 장치에 의해 수행되는 영상을 이용한 에스컬레이터 사고 감지 방법은, 감시 대상이 되는 에스컬레이터를 촬영한 영상을 입력받는 단계, 입력받은 상기 영상의 이전 프레임과 현재 프레임 사이의 광 흐름 정보를 연산하는 단계, 상기 광 흐름 정보에 모폴로지컬 클로징 연산을 수행하여, 후보 블랍을 생성하는 단계, 상기 후보 블랍 중에서 비정상 블랍을 검출하는 단계, 그리고 상기 비정상 블랍에 상응하는 속도를 기반으로, 상기 에스컬레이터에서의 사고를 감지하는 단계를 포함한다.

Description

영상을 이용한 에스컬레이터 사고 감지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OF ESCALATOR ACCIDENT USING IMAGE}

본 발명은 영상을 이용한 에스컬레이터 사고 감지 기술에 관한 것으로, 특히 에스컬레이터를 촬영한 영상의 원근 왜곡을 고려하여, 에스컬레이터에서의 사고를 감지하는 기술에 관한 것이다.

에스컬레이터는 대량의 인원을 지속적으로 이동시킬 수 있어, 대규모 상권이나 시설 등이 한 곳에 집중되는 장소에 많이 설치된다. 오늘날 에스컬레이터는 유동 인구가 많은 공공 장소에서 매우 필요한 편의 장치 중 하나이며, 에스컬레이터의 설치 및 이용 빈도가 크게 증가함에 따라, 에스컬레이터를 이용하는 도중에 발생하는 사고 또한 증가하고 있다. 특히, 에스컬레이터에서 발생하는 사고는 2차, 3차의 연이은 사고를 유발하는 경우가 많아, 최대한 빠르게 사고를 감지하고, 후속 조치를 취해야 한다.

최근에는, 획득한 영상으로부터 사고나 사건, 상황 등을 자동으로 감지하여 사용자에게 통보하는 기술들이 많이 연구되고 있으며, 지능형 영상 감시(Intelligent Visual Surveillance, IVS) 시스템이 그 대표적인 기술 중에 하나이다.

그러나, 지능형 영상 감시(IVS) 시스템은 오류가 빈번하게 발생하여, 실제 현장에서 단독으로 운용되기 어렵다. 지능형 영상 감시 시스템에서 오류가 빈번하게 발생하는 이유 중 하나는, 해당 시스템의 3차원 공간 정보를 반영하지 않고 영상을 분석하여 판단하기 때문이다.

CCTV 등과 같이 고정형 촬영 장치를 통해 획득한 영상은 실제 3차원의 현실 세계가 2차원의 CCD 센서(CMOS)에 투영된 결과이다. 즉, 획득한 영상의 각각의 픽셀에 해당하는 현실 세계의 지점들이 카메라에서 동일한 거리만큼 떨어져 있지 않다. 따라서, 이러한 원근 왜곡(Perspective Distortion)을 고려하지 않고, 종래의 지능형 영상 감시 시스템과 같이, 영상의 픽셀 값들에 동일한 의미의 가중치를 부여하여 분석할 경우 잦은 오류가 발생한다.

예를 들어, 실제로 동일한 물체더라도, 물체가 촬영 장치(카메라)에서 가까운 지점에 위치할수록 영상에는 크게 투영되고, 촬영 장치에서 먼 지점에 위치 할수록 영상에는 작게 투영된다. 이로 인하여, 물체를 감지하기 위하여 영상에 동일한 크기로 템플릿을 적용할 경우 물체의 위치에 따라 감지 여부가 달라질 수 있다.

종래 기술에 따르면, 이전 프레임과 현재 프레임의 차를 이용하여 모션 벡터(Motion Vector) 및 밝기 변화량을 연산하고, 이에 대한 통계 값과 임계값을 비교하여 사고 상황을 판단하는 기술이 개발되었다. 그러나 이 종래기술 역시 영상의 원근 왜곡은 전혀 고려하고 있지 않아, 영상 감시 시 오류가 발생할 확률이 높다.

따라서, 실제 3차원의 현실 세계가 반영되도록 하여, 영상을 기반으로 에스컬레이터의 사고를 감지할 때, 오 탐지되거나 미 탐지되는 오류를 최소화할 수 있는 기술의 개발이 필요하다.

한국 등록 특허 제10-1219407호, 2013년 01월 11일 공고(명칭: 영상처리기술을 이용한 에스컬레이터 모니터링 시스템)

본 발명의 목적은 3차원 현실 세계를 반영한 에스컬레이터 사고 감지 기술을 제공하여, 에스컬레이터에서의 사고를 신속하게 탐지하고 이에 대응할 수 있도록 하는 것이다.

또한, 본 발명의 목적은 영상 속 원근감을 고려한 정규화를 수행하여, 오 검출이나 미 검출 등의 문제를 해결하고 에스컬레이터의 사고 감지 기술의 성능을 향상시키는 것이다.

또한, 본 발명의 목적은 촬영 장치의 카메라 파라미터를 알지 못하는 경우에도 원근 왜곡을 보정할 수 있도록 하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 영상을 이용한 에스컬레이터 사고 감지 장치에 의해 수행되는 영상을 이용한 에스컬레이터 사고 감지 방법은 감시 대상이 되는 에스컬레이터를 촬영한 영상을 입력받는 단계, 입력받은 상기 영상의 이전 프레임과 현재 프레임 사이의 광 흐름 정보를 연산하는 단계, 상기 광 흐름 정보에 모폴로지컬 클로징 연산을 수행하여, 후보 블랍을 생성하는 단계, 상기 후보 블랍 중에서 비정상 블랍을 검출하는 단계, 그리고 상기 비정상 블랍에 상응하는 속도를 기반으로, 상기 에스컬레이터에서의 사고를 감지하는 단계를 포함한다.

이때, 상기 광 흐름 정보를 연산하는 단계는, 광 흐름 각도 및 광 흐름 세기를 포함하는 상기 광 흐름 정보를 각 픽셀별로 연산할 수 있다.

이때, 상기 후보 블랍을 생성하는 단계는, 상기 광 흐름 각도가 기준 각도 범위 내에 포함되고 상기 광 흐름 세기가 기준 세기 이상인 픽셀에 픽셀 값을 설정하고, 상기 모폴로지컬 클로징 연산을 수행하여 상기 후보 블랍을 생성할 수 있다.

이때, 상기 비정상 블랍을 검출하는 단계는, 임계 크기 이상인 상기 후보 블랍을 상기 비정상 블랍으로 검출하고, 상기 임계 크기는, 상기 후보 블랍에 상응하는 상기 에스컬레이터의 위치와 상기 영상을 촬영한 촬영 장치 간 거리를 기반으로 설정된 것일 수 있다.

이때, 상기 비정상 블랍을 검출하는 단계는, 상기 영상의 중심 행에 대응되는 실제 위치와 상기 촬영 장치 간 실제 거리를 연산하는 단계, 상기 영상의 각 행에 대응되는 실제 위치와 상기 촬영 장치 간 실제 거리를 기반으로, 상기 행의 가중치를 연산하는 단계, 기 설정된 기준 크기를 상기 후보 블랍에 상응하는 행의 가중치로 나누어 정규화를 수행하여, 상기 각 행에 상응하는 상기 임계 크기를 연산하는 단계, 그리고 상기 임계 크기 이상인 상기 후보 블랍을 상기 비정상 블랍으로 검출하는 단계를 포함할 수 있다.

이때, 상기 에스컬레이터에서의 사고를 감지하는 단계는, 상기 비정상 블랍의 내부에 포함된 하나 이상의 픽셀의 상기 광 흐름 정보를 기준 광 흐름 정보로 나누어 상대 광 흐름 속도 정보를 연산하는 단계, 그리고 상기 비정상 블랍의 내부에 포함된 상기 픽셀의 상기 상대 광 흐름 속도 정보의 평균을 이용하여, 상기 비정상 블랍에 상응하는 속도를 연산하는 단계를 포함할 수 있다.

이때, 상기 에스컬레이터에서의 사고를 감지하는 단계는, 상기 비정상 블랍에 상응하는 속도가 기 저장된 정상 승객의 상대 광 흐름 속도보다 빠른 경우, 상기 에스컬레이터에 사고가 발생한 것으로 감지할 수 있다.

또한, 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치는 감시 대상이 되는 에스컬레이터를 촬영한 영상을 입력받는 영상 입력부, 입력받은 상기 영상의 이전 프레임과 현재 프레임 사이의 광 흐름 정보를 연산하는 광 흐름 연산부, 상기 광 흐름 정보에 모폴로지컬 클로징 연산을 수행하여, 후보 블랍을 생성하고, 상기 후보 블랍 중에서 비정상 블랍을 검출하는 비정상 블랍 검출부, 그리고 상기 비정상 블랍에 상응하는 속도를 기반으로, 상기 에스컬레이터에서의 사고를 감지하는 사고 감지부를 포함한다.

이때, 상기 광 흐름 연산부는, 광 흐름 각도 및 광 흐름 세기를 포함하는 상기 광 흐름 정보를 각 픽셀별로 연산할 수 있다.

이때, 상기 비정상 블랍 검출부는, 상기 광 흐름 각도가 기준 각도 범위 내에 포함되고 상기 광 흐름 세기가 기준 세기 이상인 픽셀에 픽셀 값을 설정하고, 상기 모폴로지컬 클로징 연산을 수행하여 상기 후보 블랍을 생성할 수 있다.

이때, 상기 비정상 블랍 검출부는, 임계 크기 이상인 상기 후보 블랍을 상기 비정상 블랍으로 검출하고, 상기 임계 크기는, 상기 후보 블랍에 상응하는 상기 에스컬레이터의 위치와 상기 영상을 촬영한 촬영 장치 간 거리를 기반으로 설정된 것일 수 있다.

이때, 상기 비정상 블랍 검출부는, 상기 영상의 중심 행에 대응되는 실제 위치와 상기 촬영 장치 간 실제 거리를 연산하고, 상기 영상의 각 행에 대응되는 실제 위치와 상기 촬영 장치 간 실제 거리를 기반으로 상기 행의 가중치를 연산하며, 기 설정된 기준 크기를 상기 후보 블랍에 상응하는 행의 가중치로 나누어 정규화를 수행하여, 상기 각 행에 상응하는 상기 임계 크기를 연산하며, 상기 임계 크기 이상인 상기 후보 블랍을 상기 비정상 블랍으로 검출할 수 있다.

이때, 상기 사고 감지부는, 상기 비정상 블랍의 내부에 포함된 하나 이상의 픽셀의 상기 광 흐름 정보를 기준 광 흐름 정보로 나누어 상대 광 흐름 속도 정보를 연산하고, 상기 비정상 블랍의 내부에 포함된 상기 픽셀의 상기 상대 광 흐름 속도 정보의 평균을 이용하여 상기 비정상 블랍에 상응하는 속도를 연산할 수 있다.

이때, 상기 사고 감지부는, 상기 비정상 블랍에 상응하는 속도가 기 저장된 정상 승객의 상대 광 흐름 속도보다 빠른 경우, 상기 에스컬레이터에 사고가 발생한 것으로 감지할 수 있다.

본 발명에 따르면, 3차원 현실 세계를 반영한 에스컬레이터 사고 감지 기술을 제공하여, 에스컬레이터에서 발생한 사고를 신속하게 탐지하고 이에 대응할 수 있다.

또한 본 발명에 따르면, 영상 속 원근감을 고려한 정규화를 수행하여, 오 검출이나 미 검출 등의 문제를 해결하고 에스컬레이터의 사고 감지 기술의 성능을 향상시킬 수 있다.

또한 본 발명에 따르면, 촬영 장치의 카메라 파라미터를 알지 못하는 경우의 원근 왜곡을 보정할 수 있다.

도 1은 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일실시예에 따른 비정상 블랍을 검출하는 과정을 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따른 에스컬레이터에서의 사고를 감지하는 과정을 설명하기 위한 순서도이다.
도 6은 본 발명의 일실시예에 따른 임계 크기를 에스컬레이터에서의 위치별로 상이하게 설정하는 것을 설명하기 위한 예시도이다.
도 7은 본 발명의 일실시예에 따른 영상의 각 행에 대응되는 실제 위치와 촬영 장치 간 실제 거리를 연산하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일실시예에 따른 영상의 중심 행에 대응되는 실제 위치와 촬영 장치 간 실제 거리를 연산하는 방법을 설명하기 위한 예시도이다.
도 9는 본 발명의 일실시예에 따른 각 행의 기준 광 흐름 속도를 나타낸 예시도이다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하에서는 도 1 및 도 2를 통하여 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치가 적용되는 환경 및 장치의 구성에 대하여 더욱 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.

도 1에 도시한 바와 같이, 영상을 이용한 에스컬레이터 사고 감지 시스템은 하나 이상의 촬영 장치(100), 영상을 이용한 에스컬레이터 사고 감지 장치(200) 및 관리자 단말기(300)를 포함할 수 있다.

촬영 장치(100)는 고정된 카메라나 CCTV 등의 고정형 촬영 장치를 의미할 수 있다. 촬영 장치(100)는 감시 대상이 되는 에스컬레이터를 촬영하고, 촬영한 영상을 영상을 이용한 에스컬레이터 사고 감지 장치(200)로 전송한다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 하나 이상의 촬영 장치(100)로부터 영상을 입력받고, 입력받은 영상을 분석하여, 감시 대상이 되는 에스컬레이터에서 사고가 발생하였는지 여부를 판단한다. 이때, 사고의 발생이 감지된 경우, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 관리자 단말기(300)로 사고 발생을 알리거나, 경보 장치 등을 이용하여 사고가 발생하였음을 알릴 수 있다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 촬영 장치(100)가 촬영한 영상의 원근 왜곡을 고려하여 정규화시키고, 이를 통하여 실제 3차원의 현실 세계를 반영하는 에스컬레이터 사고를 감지할 수 있다.

특히, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상의 이전 프레임과 현재 프레임 사이의 광 흐름 정보를 연산하고, 광 흐름 정보를 이용하여 후보 블랍을 생성한다. 그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 후보 블랍 중에서 비정상 블랍을 검출하고, 비정상 블랍의 속도를 기반으로 에스컬레이터에서의 사고를 감지할 수 있다.

설명의 편의를 위하여, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 감시 대상이 되는 에스컬레이터를 촬영한 영상을 분석하여 에스컬레이터에서의 사고 발생을 감지하는 것으로 설명하였다. 그러나 이에 한정하지 않고, 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 감시 대상이 되는 시설물이나 장소의 영상의 원근 왜곡을 보정한 후 분석하는 기술에 활용될 수 있다.

도 2는 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치의 구성을 나타낸 블록도이다.

도 2에 도시한 바와 같이, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상 입력부(210), 광 흐름 연산부(220), 비정상 블랍 검출부(230) 및 사고 감지부(240)를 포함한다.

먼저, 영상 입력부(210)는 감시 대상이 되는 에스컬레이터를 촬영한 영상을 입력받는다. 영상 입력부(210)는 구비된 카메라를 이용하여 영상을 촬영하거나, 외부의 촬영 장치로부터 영상을 입력받을 수 있다. 이때, 영상 입력부(210)가 입력받은 영상은 에스컬레이터의 범위가 한 화면 내에 포함되는 영상일 수 있다.

그리고 광 흐름 연산부(220)는 입력받은 영상의 이전 프레임과 현재 프레임 사이의 가시적인 움직임 패턴인 광 흐름(Optical Flow) 정보를 연산한다. 즉, 광 흐름 연산부(220)는 이전 프레임과 현재 프레임 사이의 광 흐름 정보를 연산하며, 광 흐름 정보는 광 흐름 각도 및 광 흐름 세기 중 적어도 어느 하나를 포함할 수 있다.

다음으로 비정상 블랍 검출부(230)는 광 흐름 정보를 이용하여 하나 이상의 후보 블랍을 생성하고, 생성된 후보 블랍 중에서 사고로 추정될 수 있는 가능성이 가장 높은 영역인 비정상 블랍을 검출한다.

비정상 블랍 검출부(230)는 광 흐름 정보로부터 각 픽셀 별 광 흐름 각도 및 광 흐름 세기를 연산하고, 광 흐름 각도가 기준 각도 범위 내에 포함되고, 광 흐름 세기가 기준 세기 이상인지 여부를 판단한다. 여기서, 광 흐름 세기는 y축 방향(위아래)의 세기를 의미한다.

광 흐름 각도는 -150도 내지 -30도 이거나, 30도 내지 150도일 수 있으며, 기준 세기는 노이즈를 제거하기 위한 것으로, 최소한의 유의미한 광 흐름의 세기를 의미하며 기준 세기는 10으로 설정될 수 있다. 광 흐름 각도 및 광 흐름 세기의 수치를 예를 들어 설명하였으나 이에 한정하지 않고, 에스컬레이터가 설치된 환경에 따라 다양하게 설계 변경하여 적용될 수 있다.

광 흐름 정보가 기준 각도 범위 및 기준 세기 조건을 만족하는 경우, 비정상 블랍 검출부(230)는 해당 픽셀의 위치에 픽셀 값을 설정하고, 모폴로지컬 클로징 연산을 수행하여 후보 블랍을 생성할 수 있다. 이때, 비정상 블랍 검출부(230)는 조건을 만족해는 해당 픽셀에 화이트(white) 값인 255를 설정하여 모폴로지컬 클로징 연산을 수행할 수 있다.

그리고 비정상 블랍 검출부(230)는 생성한 하나 이상의 후보 블랍 중에서 비정상 블랍을 검출한다. 이때, 비정상 블랍 검출부(230)는 기준 크기 이상인 후보 블랍을 비정상 블랍으로 검출할 수 있다. 예를 들어, 비정상 블랍 검출부(230)는 해상도 1920x1080를 기준으로, 3500 픽셀(pixels) 이상의 크기를 갖는 후보 블랍을 비정상 블랍으로 검출할 수 있다. 여기서, 기준 크기는 에스컬레이터에 탑승한 사람이나 물체 중에서 사고 감지의 대상이 되는 사람이나 물체의 최소 크기를 의미한다.

이때, 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치(200)의 비정상 블랍 검출부(230)는 영상 전체에 동일한 크기의 기준 크기를 적용하여 비정상 블랍을 검출하는 것이 아니라, 영상의 원근을 고려하여 정규화를 수행하고, 실제 3차원의 현실 세계가 반영되도록 임계 크기를 설정한다.

예를 들어, 에스컬레이터가 상층과 하층 사이에 설치되어 운영되고 있고, 촬영 장치(100)가 하층에서 상층을 바라보는 방향으로 설치된 경우, 촬영 장치(100)가 촬영한 영상은 영상의 하단부에 가까울수록 촬영 장치(100)와의 거리가 가까워 동일한 물체라도 크게 촬영되고, 영상의 상단부에 가까울수록 촬영 장치(100)와의 거리가 멀어 동일한 물체라도 작게 촬영된다.

따라서, 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치(200)의 비정상 블랍 검출부(230)는 후보 블랍이 영상의 상단부에 위치할수록 작은 크기의 임계 크기를 적용하고, 후보 블랍이 영상의 하단부에 위치할수록 큰 크기의 임계 크기를 적용하여 비정상 블랍을 검출할 수 있다.

이때, 비정상 블랍 검출부(230)는 촬영 장치(100)의 카메라 파라미터 정보를 이용하여 촬영 장치(100)와 실제 에스컬레이터의 실제 위치 간 실제 거리를 연산하고, 실제 거리에 따라 비례 적용하여 임계 크기를 설정할 수 있다.

비정상 블랍 검출부(230)는 실제 거리에 따라 임계 크기를 설정하기 위하여, 촬영 장치(100)의 초점 거리, 위치 및 자세 등을 포함하는 카메라 파라미터 정보를 입력받고, 카메라 파라미터 정보를 이용하여 영상의 중심 행에 해당하는 위치와 촬영 장치(100) 사이의 실제 거리를 연산한다.

그리고 비정상 블랍 검출부(230)는 계산된 실제 거리를 이용하여 기준 거리를 설정하고, 기준 거리의 가중치를 1.0으로 설정할 수 있다. 비정상 블랍 검출부(230)는 영상의 각 행에 상응하는 실제 거리를 연산하고, 연산된 각 행의 실제 거리를 기준 거리로 나눠 각 행에 상응하는 가중치(weight)를 연산할 수 있다.

또한, 비정상 블랍 검출부(230)는 후보 블랍들 각각의 최 하단 위치에 해당하는 행의 가중치로 기준 크기를 나누어 정규화를 수행하고, 정규화로 인해 사이즈가 재 설정된(resize) 기준 크기인 임계 크기와 후보 블랍의 크기를 비교하여, 비정상 블랍을 검출할 수 있다.

마지막으로 사고 감지부(240)는 검출된 비정상 블랍에 대한 속도를 연산하고, 연산된 비정상 블랍에 상응하는 속도와 정상 승객의 상대 광 흐름 속도를 비교하여, 에스컬레이터에서의 사고를 감지한다.

여기서, 정상 승객의 상대 광 흐름 속도는, 승객이 탑승하지 않은 상태에서 운행 중인 영상을 분석하여 연산한 속도 정보와, 에스컬레이터에 탑승한 승객이 걷거나 뛰어가는 경우의 영상을 분석하여 연산한 속도 정보를 기반으로 연산된 것일 수 있다.

그리고 사고 감지부(240)는 비정상 블랍의 내부에 포함된 하나 이상의 픽셀의 광 흐름 정보를 기준 광 흐름 정보로 나누어, 픽셀에 대한 상대 광 흐름 속도 정보를 연산할 수 있다. 그리고 사고 감지부(240)는 비정상 블랍의 내부에 포함된 픽셀들의 상대 광 흐름 속도 정보의 평균을 연산하여, 해당 비정상 블랍에 상응하는 속도를 연산할 수 있다.

이때, 사고 감지부(240)는 비정상 블랍에 상응하는 속도가 기 저장된 정상 승객의 상대 광 흐름 속도보다 빠른 경우, 에스컬레이터에 사고가 발생한 것으로 감지할 수 있다.

사전에, 사고 감지부(240)는 승객이 탑승하지 않은 상태로 정상 운영중인 에스컬레이터의 영상을 이용하여 이전 프레임과 현재 프레임 간 광 흐름 정보를 연산할 수 있다. 그리고 사고 감지부(240)는 에스컬레이터에 해당하는 영역의 각 행 별로 y축 방향의 평균 광 흐름 정보의 y값(기준 광 흐름 정보)을 연산하고 그 결과를 저장할 수 있다.

이하에서는 도 3 내지 도 9를 통하여 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치에 의해 수행되는 영상을 이용한 에스컬레이터 사고 감지 방법에 대하여 더욱 상세하게 설명한다.

도 3은 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 방법을 설명하기 위한 순서도이다.

먼저, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 에스컬레이터 영상을 입력받는다(S310).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 촬영 장치(100)로부터 감시 대상이 되는 에스컬레이터를 촬영한 영상을 입력받는다. 설명의 편의를 위하여, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 외부의 촬영 장치(100)로부터 영상을 수신하는 것을 설명하였으나 이에 한정하지 않고, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 카메라를 구비하는 경우, 직접 촬영한 영상을 이용하여 후술할 S320 단계 내지 S350 단계를 수행할 수 있다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)가 수신한 영상은, 감시 대상이 되는 에스컬레이터의 범위가 한 화면 내에 포함되는 영상일 수 있다. 즉, 사람이 에스컬레이터에 탑승하는 탑승지부터 사람이 에스컬레이터에서 하차하는 하차지까지가 하나의 영상 내에 포함될 수 있다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상의 광 흐름 정보를 연산한다(S320).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상의 현재 프레임과 이전 프레임을 비교하여, 두 프레임 사이의 가시적인 움직임 패턴인 광 흐름 정보를 연산한다. 여기서, 광 흐름 정보(Optical Flow)는 광 흐름 각도 및 광 흐름 세기 중 적어도 어느 하나를 포함할 수 있다. 특히, 광 흐름 세기는 y축 방향(위아래 방향)의 세기일 수 있다.

다음으로 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 후보 블랍을 생성한다(S330).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 광 흐름 정보를 기반으로 후보 블랍(White blob)을 생성한다. 여기서, 후보 블랍은 후술할 S340 단계에서 비정상 블랍(Abnormal blob)을 생성하는 후보 군으로 사용될 수 있다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 광 흐름 정보의 광 흐름 각도와 광 흐름 세기를 기준 각도 범위 및 기준 세기와 비교하고, 비교 결과를 기반으로 광 흐름 정보에 상응하는 픽셀에 픽셀 값을 설정한다. 그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 모포롤지컬 클로징 연산을 수행하여 후보 블랍을 생성할 수 있다.

이때, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 광 흐름 각도가 기준 각도 범위(예, -150도 내지 -30도 또는 30도 내지 150도)에 포함되고, 광 흐름 세기가 기준 세기(예, 10) 이상인 경우, 해당 픽셀에 화이트 값(255)을 설정한 후 모폴로지컬 클로징 연산을 수행할 수 있다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 후보 블랍 중에서, 비정상 블랍을 검출한다(S340).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 생성된 하나 이상의 후보 블랍 중에서, 블랍의 크기가 기준 크기 이상인 후보 블랍을 비정상 블랍으로 검출한다. 예를 들어, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 해상도 1920x1080를 기준으로, 3500 픽셀(pixels) 이상의 크기를 갖는 후보 블랍을 비정상 블랍으로 검출할 수 있다.

이때, 본 발명의 일실시예에 따른 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상에 포함된 객체의 원근감을 고려하여 정규화를 수행하고, 이를 통하여 실제 3차원의 현실 세계가 반영되도록 임계 크기를 설정하여 비정상 블랍을 검출할 수 있다.

도 6은 본 발명의 일실시예에 따른 임계 크기를 에스컬레이터에서의 위치별로 상이하게 설정하는 것을 설명하기 위한 예시도이다.

도 6에 도시한 바와 같이, 객체(10)의 위치에 따라 에스컬레이터를 촬영한 영상에서 객체의 크기가 상이하다. 객체가 촬영 장치의 근거리에 위치한 경우 제1 영상(610)과 같이 객체(10_1)가 크게 촬영되고, 객체가 촬영 장치의 원거리에 위치한 경우 제2 영상(620)과 같이 객체(10_2)가 작게 촬영된다.

이때, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 제1 영상(610)과 같이 객체가 근거리에 위치할 경우 임계 크기를 크게 설정하고, 제2 영상(620)과 같이 객체가 원거리에 위치할 경우 임계 크기를 작게 설정한다.

예를 들어, 기준 크기가 해상도 1920x1080를 기준으로, 3500 픽셀(pixels) 이상의 크기로 설정된 경우, 영상의 하단에 위치한 근거리 객체에는 3500 픽셀보다 큰 크기의 임계 크기를 설정하여 비정상 블랍을 검출하고, 영상의 상단에 위치한 원거리 객체에는 3500 픽셀보다 작은 크기의 임계 크기를 설정하여 비정상 블랍을 검출할 수 있다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)가 비정상 블랍을 검출하는 과정에 대해서는 후술할 도 4를 통하여 더욱 상세하게 설명한다.

마지막으로, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍의 검출 결과를 기반으로 에스컬레이터에서의 사고를 감지한다(S350).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 검출된 비정상 블랍에 상응하는 속도를 연산하고, 비정상 블랍에 상응하는 속도와 정상 속도를 비교하여, 비정상 블랍이 비정상 이벤트에 의한 것인지 여부를 판단한다.

이때, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍의 내부에 포함된 복수의 픽셀들 각각에 대한 광 흐름 속도 정보의 평균을 연산하고, 이를 해당 비정상 블랍에 상응하는 속도로 활용할 수 있다.

그리고 정상 속도는 정상 운행 중인 에스컬레이터의 속도, 에스컬레이터에 탑승한 승객이 걸어 올라가거나 걸어 내려가는 속도, 에스컬레이터에서 뛰어 오르거나 뛰어 내려가는 속도 등을 포함하는 범위 값일 수 있으며, 사용자에 의해 설정되거나, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 영상을 분석하여 연산한 결과일 수 있다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍에 상응하는 속도가 정상 속도의 범위 내에 포함되지 않는 경우, 비정상 블랍에 상응하는 객체에 비정상 이벤트가 발생한 것으로 판단한다. 즉, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍에 상응하는 객체가 넘어지는 사고 등을 감지할 수 있다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)가 에스컬레이터에서의 사고(비정상 이벤트)를 감지하는 과정에 대해서는 후술할 도 5를 통하여 더욱 상세하게 설명한다.

도 4는 본 발명의 일실시예에 따른 비정상 블랍을 검출하는 과정을 설명하기 위한 순서도이다.

도 3의 S330 단계를 통해 후보 블랍을 생성한 후, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 중심 행의 실제 거리를 연산한다(S410).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 촬영 장치(100)의 카메라 파라미터 정보를 이용하여, 영상의 중간 두 개의 행(row)에 상응하는 실제 거리인 중심 행의 실제 거리를 연산한다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 종래의 공지 기술을 이용하여 카메라 파라미터를 이용하여 실제 거리를 연산할 수 있으며, 일 예로 후술할 도 7과 같이 실제 거리를 연산할 수 있다.

도 7은 본 발명의 일실시예에 따른 영상의 각 행에 대응되는 실제 위치와 촬영 장치 간 실제 거리를 연산하는 방법을 설명하기 위한 예시도이다.

도 7에서, 촬영 장치인 카메라(C)와 객체 사이의 거리는 다음의 수학식 1과 같이 연산될 수 있다.

[수학식 1]

설명의 편의상, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 도 7 및 수학식 1과 같이 촬영 장치(100)와 객체 간 실제 거리를 연산하는 것으로 설명하였으나 이에 한정하지 않고, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 실제 거리를 연산하는 방법은 다양하게 설계 변경되어 구현될 수 있다. 특히, 영상을 이용한 에스컬레이터 사고 감지 장치(200)가 장 시간 동안의 영상에 대해 각 행의 기준 광 흐름 속도(

)를 연산하여 저장하는 경우, 카메라 파라미터 정보를 알지 못하는 경우에도 영상의 원근 왜곡을 보정하여 에스컬레이터 사고를 감지할 수 있다.

해상도가 1920x1080인 영상인 경우 영상의 중심에는 두 개의 중간 행(Middle rows)이 존재한다. 따라서, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상 중간의 두 개의 중간 행에 해당하는 실제 거리를 연산하고, 두 개의 행의 실제 거리의 합을 절반으로 나누어 중심 행의 실제 거리를 연산할 수 있다.

도 8은 본 발명의 일실시예에 따른 영상의 중심 행에 대응되는 실제 위치와 촬영 장치 간 실제 거리를 연산하는 방법을 설명하기 위한 예시도이다.

도 8에 도시한 바와 같이, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 제1 중간 행(810)과 제2 중간 행(820)에 상응하는 실제 거리를 연산하고, 두 실제 거리의 합을 2로 나누어 중심 행(815)의 실제 거리를 연산할 수 있다.

다시 도 4에 대하여 설명하면, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 각 행의 정규화를 수행하고, 임계 크기를 연산한다(S420).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 중심 행의 가중치를 1로 설정하고, 영상의 나머지 행 들에 대한 실제 거리를 연산하며, 나머지 행 들 각각에 해당하는 가중치를 연산할 수 있다. 여기서, 중심 행에 상응하는 실제 거리가 기준 거리를 의미하고, 기준 거리에서 비정상 블랍을 검출하는 기준이 되는 크기가 기준 크기를 의미이다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상의 행들에 대한 실제 거리를 기준 거리로 나누어 각 행에 상응하는 가중치를 연산할 수 있다. 또한, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 기준 크기를 각 행에 상응하는 가중치로 나누어 정규화를 수행하여, 각 행에 상응하는 임계 크기를 연산할 수 있다.

다음으로 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 임계 크기 이상인 후보 블랍을 비정상 블랍으로 검출한다(S430).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 후보 블랍의 크기와 후보 블랍의 최 하단 행에 상응하는 임계 크기를 비교하여, 후보 블랍이 임계 크기보다 큰 지 여부를 판단한다. 이때, 후보 블랍의 크기가 임계 크기 이상인 경우, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 해당 후보 블랍을 비정상 블랍으로 검출할 수 있다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 검출된 비정상 블랍에 대해 도 3의 S350 단계를 수행하여, 에스컬레이터에서 비 정상 이벤트(예, 사고)가 발생하였는지 감지할 수 있다.

도 5는 본 발명의 일실시예에 따른 에스컬레이터에서의 사고를 감지하는 과정을 설명하기 위한 순서도이다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 픽셀의 상대 광 흐름 속도 정보를 연산한다(S510).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍의 내부에 포함된 픽셀의 광 흐름 정보를 기준 광 흐름 정보로 나누어, 해당 픽셀에 대한 상대 광 흐름 속도 정보를 연산할 수 있다.

특히, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 픽셀의 광 흐름 정보의 y값을 픽셀에 상응하는 행의 기준 광 흐름 속도(

)로 나누어, 해당 픽셀에 대한 상대 광 흐름 속도 정보를 연산할 수 있다.

여기서, 각 행의 기준 광 흐름 속도(

)는 다음의 수학식 9를 통하여 연산된 것일 수 있다.

도 9는 본 발명의 일실시예에 따른 각 행의 기준 광 흐름 속도를 나타낸 예시도이다.

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 승객이 탑승하지 않은 상태로 정상 운행 중인 에스컬레이터의 영상을 이용하여 광 흐름 정보를 연산할 수 있다. 이때, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 연속된 두 개의 프레임(frames) 간 광 흐름(Optical flow) 정보를 연산할 수 있다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 영상 중 에스컬레이터에 해당하는 영역에 대해, y축 방향의 평균 광 흐름 정보의 y값을 연산하여, 해당 행의 기준 광 흐름 속도로 설정할 수 있다.

다시 도 5에 대하여 설명하면, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍의 속도를 연산한다(S520).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍의 내부에 포함된 복수의 픽셀들 각각에 대한 상대 광 흐름 속도 정보의 평균을 연산하여, 비정상 블랍의 속도를 연산할 수 있다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍의 속도가 정상 승객의 상대 광 흐름 속도보다 큰지 여부를 판단한다(S530).

영상을 이용한 에스컬레이터 사고 감지 장치(200)는 S520 단계에서 연산된 비정상 블랍의 속도와 정상 속도를 비교하여, 비정상 블랍이 비정상 이벤트에 의한 것인지 여부를 판단할 수 있다.

여기서, 정상 속도는 정상 승객의 상대 광 흐름 속도를 의미할 수 있으며, 정상 운행 중인 에스컬레이터에 탑승한 승객의 속도, 에스컬레이터에 탑승한 승객이 걸어 올라가거나 걸어 내려가는 속도, 에스컬레이터에서 뛰어 오르거나 뛰어 내려가는 속도 등을 포함하는 범위 값일 수 있다.

비정상 블랍의 속도가 정상 승객의 상대 광 흐름 속도 이하인 경우, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 정상 상황인 것으로 판단할 수 있다(S540).

비정상 블랍의 속도가 정상 승객의 상대 광 흐름 속도보다 느리거나, 정상 속도 범위 내에 포함되는 경우, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 블랍이 이상 상황에 의한 것이 아닌 것으로 판단할 수 있다.

반면, 비정상 블랍의 속도가 정상 승객의 상대 광 흐름 속도보다 큰 것으로 판단된 경우, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 에스컬레이터에서 사고가 발생한 것으로 감지할 수 있다(S550).

비정상 블랍의 속도가 정상 승객의 상대 광 흐름 속도보다 빠르거나, 정상 속도 범위 내에 포함되지 않는 경우, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 해당 비정상 블랍에 상응하는 객체에 비정상 이벤트가 발생한 것으로 판단할 수 있다. 여기서, 비정상 이벤트는 승객의 넘어짐 등의 사고를 의미할 수 있다.

예를 들어, 상행 에스컬레이터에 탑승한 승객이 넘어져 굴러 떨어지는 사고가 발생한 경우 해당 승객의 속도는 상행 에스컬레이터와 반대 방향이다. 이때, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 감시 대상이 되는 에스컬레이터가 상행 에스컬레이터이나, 승객 등의 객체에 해당하는 비정상 블랍의 이동 방향이 아래쪽을 향하는 경우, 해당 비정상 블랍에 상응하는 객체에 비정상 이벤트가 발생한 것으로 감지할 수 있다.

또한, 하행 에스컬레이터에 탑승한 승객이 넘어져 굴러 떨어지는 사고가 발생한 경우, 해당 승객의 속도는 정상 승객의 상대 광 흐름 속도보다 빠르다. 따라서, 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 해당 비정상 블랍에 상응하는 객체에 비정상 이벤트가 발생한 것으로 감지할 수 있다.

그리고 영상을 이용한 에스컬레이터 사고 감지 장치(200)는 비정상 이벤트의 발생을 알리기 위하여 관리다 단말기로 비정상 이벤트 발생 메시지를 전송하거나, 출력 장치를 통해 경보를 출력하여, 에스컬레이터에서 발생한 사고에 신속하게 대응하도록 할 수 있다.

도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 10을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다. 도 10에 도시된 바와 같이, 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 영상을 이용한 에스컬레이터 사고 감지 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 촬영 장치
200: 영상을 이용한 에스컬레이터 사고 감지 장치
210: 영상 입력부
220: 광 흐름 연산부
230: 비정상 블랍 검출부
240: 사고 감지부
10_1, 10_2: 승객
610, 620: 영상
810, 820: 중간 행
815: 중심 행
1000: 컴퓨터 시스템
1010: 프로세서
1020: 버스
1030: 메모리
1031: 롬
1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지
1070: 네트워크 인터페이스
1080: 네트워크

Claims (1)

1. 영상을 이용한 에스컬레이터 사고 감지 장치에 의해 수행되는 영상을 이용한 에스컬레이터 사고 감지 방법에 있어서,
   감시 대상이 되는 에스컬레이터를 촬영한 영상을 입력받는 단계,
   입력받은 상기 영상의 이전 프레임과 현재 프레임 사이의 광 흐름 정보를 연산하는 단계,
   상기 광 흐름 정보에 모폴로지컬 클로징 연산을 수행하여, 후보 블랍을 생성하는 단계,
   상기 후보 블랍 중에서 비정상 블랍을 검출하는 단계, 그리고
   상기 비정상 블랍에 상응하는 속도를 기반으로, 상기 에스컬레이터에서의 사고를 감지하는 단계를 포함하는 영상을 이용한 에스컬레이터 사고 감지 방법.

Images