KR102215565B1 - 에스컬레이터 이용자 행위 검지 장치 및 그 방법 - Google Patents

Abstract

본 발명은 일반 카메라 대신 광각 카메라를 이용하여 에스컬레이터의 경사 영역 전체를 검지 영역으로 촬영한 후 다양한 보정과정을 통해 평면화하고, 해당 평면화된 영상을 기반으로 객체를 추적하여 이상행위를 자동으로 검지하도록 함으로써 이상행위에 대한 즉각적인 대응이 가능하도록 한 에스컬레이터 이용자 행위 검지 장치 및 그 방법에 관한 것으로, 에스컬레이터의 경사부에 광각렌즈 카메라를 배치하고, 해당 광각렌즈 카메라를 통해 얻어진 전체 에스컬레이터 영상에 대한 왜곡을 보정한 후 추가로 원근을 보정하여 감시할 에스컬레이터 이동 영역에 대한 평면 감지 영상을 얻은 후, 해당 감지 영상에 나타나는 탑승객의 특징점을 추출하여 그 궤적을 추적하면서 이상 행동 여부를 딥러닝을 포함하는 다양한 분석 방식 중 하나를 통해 파악하여 이상 행동시 알람을 발생시키도록 함으로써, 비용을 낮추고, 설치 용이성을 높이며, 연산량을 줄이면서도 신뢰성은 크게 높일 수 있는 효과가 있다.

Description

에스컬레이터 이용자 행위 검지 장치 및 그 방법{Apparatus and method for detecting human behavior in escalator area}

본 발명은 에스컬레이터 이용자 행위 검지 장치 및 그 방법에 관한 것으로, 특히 일반 카메라 대신 광각 카메라를 이용하여 에스컬레이터의 경사 영역 전체를 검지 영역으로 촬영한 후 다양한 보정과정을 통해 평면화하고, 해당 평면화된 영상을 기반으로 객체를 추적하여 이상행위를 자동으로 검지하도록 함으로써 이상행위에 대한 즉각적인 대응이 가능하도록 한 에스컬레이터 이용자 행위 검지 장치 및 그 방법에 관한 것이다.

에스컬레이터는 동력에 의해 회전하는 계단을 구동시켜 자동적으로 위아래층으로 오르내릴 수 있도록 만든 계단 모양의 장치로서, 1900년 오티스사가 파리 만국박람회에 이동계단을 에스컬레이터라는 이름으로 출품한 이래 수 많은 곳에서 사용되고 있다.

이러한 에스컬레이터는 계단에 해당하는 발판이 체인에 고정되어 이동하는 것으로, 강력한 구동용 전동기에 의해 구동되므로 여러 안전상의 위험 요인들이 존재한다.

통상 에스컬레이터 탑승부에 이물질이 끼일 경우 자동으로 운전을 정지하도록 한다거나, 계단과 측면 난간 사이에 이물질이 끼이지 않도록 보호 수단을 장착하는 등 다양한 에스컬레이터 안전 수단들이 고안되어 적용되고 있다.

하지만 에스컬레이터를 사용함에 있어 넘어짐, 떨어짐, 끼임 등의 사고는 계속하여 발생하고 있는데, 그 중에서 가장 많은 사고 고령자나 음주자, 걷거나 뛸 경우 발생되는 넘어짐 사고로서, 이러한 넘어짐은 사고자 뿐만 아니라 대기 중인 다른 이용객들에게 영향을 미칠 수 있으며 이러한 상태에서도 에스컬레이터가 지속적으로 운전될 경우 대형사고로 이어질 수 있다.

따라서, 이러한 에스컬레이터 사고 발생을 방지하기 위하여 걷거나 뛰는 등의 이상행동을 발견하여 안전 사용을 계도하거나, 발생된 사고를 신속하게 파악하여 에스컬레이터를 중지시키고 사고자에 대한 긴급 조치를 취해야 한다.

하지만, 에스컬레이터의 입체적 구조에 의해 아직까지도 단순히 CCTV 영상을 관리자가 육안으로 확인하는 수동적 방식에 의존하고 있어 이상행동에 대한 발견이나 사고에 대한 신속한 조치가 어려운 형편이다.

도 1은 현재 사용되고 있는 에스컬레이터 관제 시스템 구조를 보인 것으로, 도시된 바와 같이 에스컬레이터(1)의 진입부와 진출부에 각각 배치되는 카메라(11a, 11b)를 관제 장치(10)에서 제어하여 그 영상을 수신한 후 관리자에게 표시하면 관리자가 표시되는 영상들을 육안으로 확인하면서 이상 발생 여부를 판단하게 된다.

하지만, 이러한 기존의 에스컬레이터 관제 시스템은 입체적으로 구성된 에스컬레이터의 진입부와 진출부 및 그와 연결된 일정 영역은 확인이 가능하지만 카메라의 시야각의 한계로 에스컬레이터 중간 부분에서의 상황은 파악이 어렵다.

특히, 최근에는 다양한 영상 분석 기술들이 활발히 개발되면서 자동으로 객체를 인식하고 추적하며 설정된 움직임 여부를 확인할 수 있으나, 대부분 평면을 검지 영역으로 하는 것이어서 에스컬레이터와 같이 수평과 경사면이 혼재하며 경사면에서 다수의 탑승객들이 겹쳐있을 뿐만 아니라 에스컬레이터의 동작에 따라 객체가 계속하여 이동하는 가운데 걷거나 뛰는 탑승객들이 혼재되면서 각 객체를 구분하여 추적하는 작업이 쉽지 않다. 즉, 에스컬레이터 관제용 영상 분석 알고리즘과 장비를 새롭게 개발해야 하므로 많은 개발 비용이 발생하고, 환경의 복잡성 때문에 많은 연산을 수행해야 하므로 분석 장비의 비용이 높아지며, 신뢰성도 높지 않기 때문에 현실적으로 적용이 쉽지 않은 문제가 있다.

이러한 문제점을 해결하기 위해 한국 등록특허 제10-1219407호, '영상처리기술을 이용한 에스컬레이터 모니터링 시스템'은 에스컬레이터의 경사면에 복수의 카메라를 배치하고 각 카메라를 통해 객체의 움직임 벡터를 파악하여 움직임 벡터가 다른 것을 넘어짐으로 판단하도록 한 것으로서, 이러한 복수 카메라의 배치만으로는 정확한 객체 인식이 되지 않으므로 열화상 카메라와 3차원 스테레오 카메라를 적용하여 객체를 구분하도록 하고 있다. 따라서, 에스컬레이터 경사면을 따라 상당히 고가인 열화상 카메라와 3차원 스테레오 카메라들을 복수로 배치해야 하므로 비용이 과다하게 높아지며 복수 카메라들 간에 검출된 객체를 전달하기 위해 겹치는 감지 영역에 대한 상호 매칭이 필요하므로 복잡성이 증가하는 문제가 있다.

또한, 한국 등록특허 제10-1329526호, '에스컬레이터의 실시간 안전운행 시스템의 제어방법'은 에스컬레이터의 전체 운행 구간에 복수의 카메라들을 배치하고, 각 카메라의 감지영역 내에서 넘어지는 사람의 영상 변화값을 실시간 분석하여 에스컬레이터를 정지하도록 하되, 넘어지는 영상 변화값은 감지 영역의 영상을 2차원 및 3차원 구획으로 분할하여 각 분할 구획별 영상 변화 값을 인식 및 분석함으로써 확인하도록 하고 있다. 따라서, 이 역시 복수의 카메라들이 배치되어야 하며 겹치는 감시 영역에 대한 객체의 전달에 대한 복잡한 구성이 필요한 반면, 단순히 구획별 영상 변화를 통해 사람의 복잡한 움직임(손발의 움직임, 휴대 물품의 움직임, 걷거나 뛰기, 주저 앉기, 넘어짐 등) 중에서 넘어짐을 판단하기가 어려워 신뢰성이 낮은 한계가 있다.

따라서, 비교적 간단하고 저렴한 감시 수단을 통해서 에스컬레이터의 탑승객 이상행동을 신뢰성 있게 판단할 수 있는 새로운 기술이 요구되고 있는 실정이다.

한국 등록특허 제10-1219407호, [영상처리기술을 이용한 에스컬레이터 모니터링 시스템] 한국 등록특허 제10-1329526호, [에스컬레이터의 실시간 안전운행 시스템의 제어방법]

전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 에스컬레이터의 경사부에 광각렌즈 카메라를 배치하고, 해당 광각렌즈 카메라를 통해 얻어진 전체 에스컬레이터 영상에 대한 왜곡을 보정한 후 추가로 원근을 보정하여 감시할 에스컬레이터 이동 영역에 대한 평면 감지 영상을 얻은 후, 해당 감지 영상에 나타나는 탑승객의 특징점을 추출하여 그 궤적을 추적하면서 이상 행동 여부를 딥러닝을 포함하는 다양한 분석 방식 중 하나를 통해 파악하여 이상 행동시 알람을 발생시키도록 함으로써, 비용을 낮추고, 설치 용이성을 높이며, 연산량을 줄이면서도 신뢰성은 크게 높일 수 있도록 한 에스컬레이터 이용자 행위 검지 장치 및 그 방법을 제공하는 것이다.

본 발명 실시예들의 다른 목적은 에스컬레이터 이동 영역에 대한 평면 감지 영상을 얻은 후, 검출되는 객체들이 스스로 움직이지 않을 경우(걷거나 뛰지 않고 서 있는 경우)의 이동 속도가 동일한 속도가 되도록 평면 감지 영상을 추가 보정함으로써 모든 영상 영역에서 실제 이동 속도와 표시 객체의 이동 속도가 동일하도록 하여 연산 부하를 경감시킬 수 있도록 한 에스컬레이터 이용자 행위 검지 장치 및 그 방법을 제공하는 것이다.

본 발명 실시예들의 또 다른 목적은 사람이 없을 경우 정지하였다가 사람이 탑승하면 이동을 시작하는 자동 운전 방식의 에스컬레이터에서 정지 상태에서 탑승객이 탑승할 경우 정상 속도로 이행하는 과정에서의 속도 변화를 고려하여 이상 여부를 판단하도록 함으로써 초기 구동시 걷는 탑승객과 움직이지 않는 탑승객이 있을 때 걷는 탑승객을 정상으로 파악하고 움직이지 않는 탑승객을 이상행위로 오판하는 것을 방지할 수 있도록 한 에스컬레이터 이용자 행위 검지 장치 및 그 방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 에스컬레이터 이용자 행위 검지 장치는 에스컬레이터의 경사 영역을 감지 영역으로 하는 광각 카메라와, 광각 카메라의 영상을 수신하여 렌즈 왜곡을 보상하고, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 광각 카메라 영상 보정부와, 광각 카메라 영상 보정부에서 보정된 평면 감지 영상에서 이동 객체를 추출하는 이동 객체 추출부와, 이동객체 추출부에서 추출된 이동 객체의 특징점을 선별하여 추적하는 이동객체 특징점 추적부와, 이동객체 특징점 추적부에서 추적한 특징점의 이동 백터에 대한 궤적을 산출하는 궤적 분석부와, 궤적 분석부의 궤적을 설정된 이상행동 판단 조건과 대비하여 이상 발생 여부와 그 종류를 판단하는 이상 발생 판단부와, 이상 발생 판단부에서 판단한 이상 발생 여부와 그 종류를 관리자에게 전달하는 알람부를 포함한다.

일례로서, 알람부는 이상 발생 에스컬레이터에 운전 정지 신호를 전달할 수 있다.

일례로서, 이상 발생 판단부는 이동 객체의 이상행동을 걷기, 뛰기, 넘어짐, 난간 너머로 몸 기울이기, 역방향 진입, 에스컬레이터 정지 중 적어도 하나 이상으로 구분할 수 있다.

일례로서, 카메라 영상 보정부는 생성된 평면 감지 영상을 기준으로 궤적 분석부에서 산출된 객체의 이동 궤적을 이용하여 표시되는 평면 감지 영역에서의 객체 이동 속도가 동일하도록 영상을 보정 하는 이동속도 균일화 보정부를 더 포함할 수 있다.

일례로서, 이동 객체 추출부는 에스컬레이터의 정지 상태와 재 운전 상태를 검출하며, 상기 이동 객체 추출부의 에스컬레이터 정지 상태와 재 운전 상태를 통해서 재 운전 후 에스컬레이터의 속도가 정상화 되는 시점까지 순차적으로 가변되는 에스컬레이터의 속도에 맞추어 객체의 정상 이동 속도에 대한 정보를 이상 발생 판단부에 제공하는 특성 정보 관리부를 더 포함할 수 있다.

일례로서, 이동객체 특징점 추적부는 혼잡도, 에스컬레이터의 정지나 운전 여부 중 하나를 식별하며, 광각 카메라의 수직 하단부에 위치하는 에스컬레이터의 계단 하나에 해당하는 영역을 카운트 영역으로 설정하고, 해당 카운트 영역을 지나는 이동객체의 특징점을 기준으로 통과 인원을 카운트할 수 있다.

한편, 이상발생 판단부의 이상 발생 여부와 그 종류, 이동객체 특징점 추적부에서 식별한 혼잡도, 에스컬레이터의 정지나 운전 여부, 카운트한 통과 인원, 궤적 분석부의 궤적 정보 중 적어도 하나 이상을 식별 정보로서 저장하고 그 통계를 제공하는 식별정보 관리부를 더 포함할 수도 있다.

본 발명의 다른 실시예에 따른 에스컬레이터 이용자 행위 검지 방법은 에스컬레이터 이용자 행위 검지 장치 장치에서 수행되는 방법으로서, 에스컬레이터의 경사 영역을 감지 영역으로 하는 광각 카메라 영상을 수신하여 렌즈 왜곡을 보상하고, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 광각 카메라 영상 캘리브레이션 단계와, 영상 캘리브레이션 단계에서 보정된 평면 감지 영상에서 이동 객체를 추출하는 이동 객체 추출 단계와, 이동객체 추출 단계에서 추출된 이동 객체의 특징점을 선별하여 추적하는 이동객체 특징점 추적 단계와, 이동객체 특징점 추적 단계에서 추적한 특징점의 이동 백터에 대한 궤적을 산출하는 궤적 분석 단계와, 궤적 분석 단계를 통해 산출된 궤적을 설정된 이상행동 판단 조건과 대비하여 이상 발생 여부와 그 종류를 판단하는 이상 발생 판단 단계와, 이상 발생 판단 단계에서 판단된 이상 발생 여부와 그 종류를 관리자에게 전달하는 알람 단계를 포함한다.

일례로서, 광각 카메라 영상 캘리브레이션 단계는 생성된 평면 감지 영상을 기준으로 궤적 분석 단계에서 산출된 객체의 이동 궤적을 이용하여 표시되는 평면 감지 영역에서의 객체 이동 속도가 동일하도록 영상을 보정 하는 이동속도 균일화 보정단계를 더 포함할 수 있다.

일례로서, 이동 객체 추출 단계는 에스컬레이터의 정지 상태와 재 운전 상태를 검출하며, 이상 발생 판단 단계는 상기 이동 객체 추출 단계에서 검출된 에스컬레이터 정지 상태와 재 운전 상태를 통해서 재 운전 후 에스컬레이터의 속도가 정상화 되는 시점까지 순차적으로 가변되는 에스컬레이터의 속도에 맞추어 객체의 정상 이동 속도에 대한 정보를 생성하여 이상 발생 판단에 적용하는 단계를 더 포함할 수 있다.

본 발명 실시예들에 따른 에스컬레이터 이용자 행위 검지 장치 및 그 방법은 에스컬레이터의 경사부에 광각렌즈 카메라를 배치하고, 해당 광각렌즈 카메라를 통해 얻어진 전체 에스컬레이터 영상에 대한 왜곡을 보정한 후 추가로 원근을 보정하여 감시할 에스컬레이터 이동 영역에 대한 평면 감지 영상을 얻은 후, 해당 감지 영상에 나타나는 탑승객의 특징점을 추출하여 그 궤적을 추적하면서 이상 행동 여부를 딥러닝을 포함하는 다양한 분석 방식 중 하나를 통해 파악하여 이상 행동시 알람을 발생시키도록 함으로써, 비용을 낮추고, 설치 용이성을 높이며, 연산량을 줄이면서도 신뢰성은 크게 높일 수 있는 효과가 있다.

본 발명 실시예들에 따른 에스컬레이터 이동 영역에 대한 평면 감지 영상을 얻은 후, 검출되는 객체들이 스스로 움직이지 않을 경우(걷거나 뛰지 않고 서 있는 경우)의 이동 속도가 동일한 속도가 되도록 평면 감지 영상을 추가 보정함으로써 모든 영상 영역에서 실제 이동 속도와 표시 객체의 이동 속도가 동일하도록 하여 연산 부하를 경감시킴과 아울러 관리자의 육안 관찰 시 객체 움직임 표현의 동일성을 유지할 수 있는 효과가 있다.

본 발명 실시예들에 따른 에스컬레이터 이용자 행위 검지 장치 및 그 방법은 사람이 없을 경우 정지하였다가 사람이 탑승하면 이동을 시작하는 자동 운전 방식의 에스컬레이터에서 정지 상태에서 탑승객이 탑승할 경우 정상 속도로 이행하는 과정에서의 속도 변화를 고려하여 이상 여부를 판단하도록 함으로써 초기 구동시 걷는 탑승객과 움직이지 않는 탑승객이 있을 때 걷는 탑승객을 정상으로 파악하고 움직이지 않는 탑승객을 이상행위로 오판하는 것을 방지할 수 있도록 하여 신뢰성을 높일 수 있는 효과가 있다.

도 1은 종래 에스컬레이터 관제 시스템의 구성을 보인 예시도.
도 2는 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 장치의 구현 예를 보인 개념도.
도 3은 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 장치의 구성도.
도 4는 본 발명의 실시예에 따른 어안렌즈 카메라 영상 보정부 구성도 및 궤적 분석부와의 연동을 설명하는 개념도.
도 5는 본 발명의 실시예에 따른 렌즈 왜곡 보정 방식을 설명하는 개념도.
도 6은 렌즈 왜곡 보정 방식에 따른 영상 보정 상태를 보인 예시도.
도 7은 본 발명의 실시예에 따른 에스컬레이터 원근 보정부의 보정 방식을 설명하는 개념도.
도 8은 본 발명의 실시예에 다른 영상 보정 상태를 보인 예시도.
도 9는 본 발명의 실시예에 따른 이동속도 균일화 보정보의 보정 방식을 설명하는 개념도.
도 10은 본 발명의 실시예에 따른 이상행위 검지 방식을 설명하기 위한 개념도.
도 11은 본 발명의 실시예에 따른 자동운전 방식 에스컬레이터의 특성을 반영하는 방식을 설명하기 위한 개념도.
도 12는 본 발명의 실시예에 따른 탑승객 카운트 방식을 설명하기 위한 개념도.
도 13은 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 과정을 설명하기 위한 순서도.
도 14는 본 발명의 실시예에 따른 캘리브레이션 과정을 설명하기 위한 순서도.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

특히, 본 발명을 설명함에 있어, 광각렌즈 카메라의 일종인 어안 카메라를 예로 들어 설명하지만, 이로서 발명이 한정되는 것은 아니며 다양한 광각렌즈 카메라가 동일한 기술적 원리를 통해 사용될 수 있다. 더불어, 광각 카메라나 어안 카메라는 광각렌즈를 적용한 카메라나 어안레즈를 적용한 카메라를 약칭하는 것이다.

또한, 본 발명에서 기술되는 에스컬레이터 이용자 행위 검지 장치는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될수 있으며, CPU를 포함하는 제어부와 휘발성 혹은 비휘발성 메모리를 포함하는 컴퓨터 기반 장치의 형태를 가질 수 있다.

도 2는 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 장치의 구현 예를 보인 개념도로서, 도시된 바와 같이 에스컬레이터 이용자 행위 검지 장치(100)는 적어도 에스컬레이터(1)의 경사 영역 전체를 촬영 영역으로 하는 광각 카메라(101)를 포함하며, 해당 광각 카메라(10)가 촬영한 단일 영상을 다양한 방식으로 보정하여 평면 감지 영상을 생성하고, 해당 평면 감지 영상에 나타나는 탑승객을 이동 객체로 구분한 다음 특징점을 추출하여 그 궤적을 추적하면서 이상 행동 여부를 딥러닝을 포함하는 다양한 분석 방식 중 하나를 통해 파악하여 이상 행동시 알람을 발생하여 관제 장치(200)에 제공한다.

여기서 관제 장치(200)는 단순한 모니터일 수도 있고, 복수의 에스컬레이터 이용자 행위 검지 장치(100)를 통합적으로 관리하는 관제 서버(서버 PC, 일반 개인용 PC, 노트북, 스마트폰, 이동통신 단말기, 타블렛을 포함하는 다양한 서버나 단말 장치 중 하나일 수 있다)의 구성을 가질 수도 있으며, 에스컬레이터(1)에 대한 운전 정지나 재 운전 등의 실질적 제어를 직접 혹은 간접적으로 수행할 수도 있다.

이러한 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 장치(100)는 복수의 감시 카메라를 이용함으로써 감시 카메라 비용이 높고 복수의 카메라를 설치 및 관리하기 위한 부담이 증가하며, 복수 카메라 간 추적 대상이 되는 객체를 전달하기 위해 겹치는 영역에 대한 동일 객체 판단 구성과 객체 전달 구성이 필요한 기존의 복잡하고 신뢰성이 낮은 방식 대신 하나의 광각 카메라를 이용하여 에스컬레이터 전체를 감지할 수 있도록 함으로써 이러한 여러 문제점을 해소할 수 있도록 한다.

통상 넓은 영역의 영상을 얻을 수 있지만 촬영 영상이 왜곡되는 광각 카메라를 영상 분석을 위한 영상 소스로 사용할 경우 영상 분석 비용이 높아지는 문제가 있으나, 본 발명의 실시예에서는 그 대상을 정형화된 형상을 가진 에스컬레이터로 한정함으로써 영상 왜곡에 대한 보정을 다단계로 수행함으로써 영상 분석이 용이한 평면 감지 영상을 제공할 수 있도록 한다. 특히, 이러한 평면 감지 영상의 경우 초기 캘리브레이션 과정을 통해서 일정한 결과 영상을 제공하게 되므로 그 변환에 필요한 자원은 크지 않으며, 이러한 보정된 평면 감지 영상을 통한 영상 분석은 일반적인 평면 영상분석을 위한 다양한 방식들을 활용할 수 있어 개발에 필요한 비용을 낮추고, 성능 및 신뢰성을 모두 높일 수 있다.

특히, 평면 영상 분석에 활용되고 있는 다양한 알고리즘을 전면적인 재설계 없이 에스컬레이터 이상행동 분석을 위해 적용할 수 있기 때문에 개발 비용과 시간이 줄어들고, 최적화된 알고리즘을 통해 필요한 하드웨어 자원의 수준을 낮추어 제품 비용에 대한 경제성을 얻을 수 있다. 더불어, 복수의 카메라 대신 단일 광각렌즈 카메라를 이용하기 때문에 설치와 유지 보수 비용이 줄어들게 되므로 적용에 대한 부담도 줄어든다.

도 3은 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 장치의 구성도이다. 도시된 예시는 광각 카메라의 일종인 어안렌즈 카메라를 실시예로 적용한 것이다.

도시된 에스컬레이터 이용자 행위 검지 장치(100)는 에스컬레이터의 경사 영역을 감지 영역으로 하는 어안렌즈 카메라의 영상을 수신하여 렌즈 왜곡을 보상하고, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 어안렌즈 카메라 영상 보정부(110)와, 어안렌즈 카메라 영상 보정부(110)에서 보정된 평면 감지 영상에서 이동 객체를 추출하는 이동 객체 추출부(120)와, 이동객체 추출부(120)에서 추출된 이동 객체의 특징점을 선별하여 추적하는 이동객체 특징점 추적부(130)와, 이동객체 특징점 추적부(130)에서 추적한 특징점의 이동 백터에 대한 궤적을 산출하는 궤적 분석부(140)와, 궤적 분석부(140)의 궤적을 설정된 이상행동 판단 조건과 대비하여 이상 발생 여부와 그 종류를 판단하는 이상 발생 판단부(150)와, 이상 발생 판단부(150)에서 판단한 이상 발생 여부와 그 종류를 관리자에게 전달하는 알람부(160)를 포함한다.

통상 카메라의 촬영 영상을 기반으로 하는 영상 분석 방식에서는 영상과 실제 공간을 매칭하기 위한 캘리브레이션 과정이 요구된다. 즉, 2차원 영상과 3차원 공간에 대한 관계성을 수식으로 정리하기 위하여 카메라의 위치, 광각 등에 대한 정보와 실제 3차원 공간과 2차원 영상 사이의 관계성을 확인하기 위한 위치별 객체의 크기 정보 등이 설정됨으로써 2차원 영상에 등장하는 객체의 크기와 이동 속도, 이동 방향 등에 대한 정확한 분석이 가능하게 된다. 이러한 캘리브레이션은 대부분 바닥이 평편한 공간을 대상으로 하는 것으로 바닥에 경사가 있거나 높낮이 차이가 심한 경우 캘리브레이션이 극히 어려워지게 된다.

따라서, 에스컬레이터와 같이 입체적인 경사 영역이 감시 대상이 되는 경우 캘리브레이션이 쉽지 않다.

본 발명의 실시예는 에스컬레이터의 경사 부분 상부에 배치되는 광각 카메라를 통해 얻은 왜곡된 영상을 평면으로 보정하는 과정을 거치고, 이렇게 보정된 평면 감지 영상과 실제 공간의 객체 크기와 이동에 대한 정보를 매칭한다.

이러한 과정은 기존의 일반 카메라 이용 방식에서는 복잡한 작업이 되지만, 본 발명의 실시에에서는 에스컬레이터의 경사 부분과 각도가 유사하게 배치되는 광각 카메라를 이용하여 하나의 영상으로서 감시 영역에 대한 영상을 수집한다는 점, 감시 대상이 되는 에스컬레이터 공간이 고정된 영역이라는 점, 등장하는 객체(탑승객) 역시 소정 범위의 크기를 가진다는 점 등의 감지 영역 고유의 특성을 고려하여 최적으로 보정된 평면 감지 영상을 제공하므로 감시 영역에 대한 영상 분석은 비교적 용이하다.

한편, 어안렌즈를 포함하는 대부분의 광각 카메라의 왜곡된 영상은 해당 카메라의 렌즈 특성에 반대되는 왜곡을 적용함으로써 원본 영상으로 복원하는 보정 절차를 거치게 되는데, 실질적으로 이러한 단순 왜곡 보정은 균일한 평면 영상을 제공하기 어렵다. 이는 평면으로 촬영되어 얻은 영상을 렌즈 필터를 통해 왜곡한 후 이를 다시 보정하는 것이 아니라 애초에 광각에 대응되어 왜곡된 상태로 원본 영상이 촬영되기 때문에 평면 상태로 촬영된 영상과는 경계부로 갈수록 촬영되는 각도 자체가 다르기 때문이다. 그로인해 왜곡된 영상을 촬영하는데 적용된 렌즈와 반대되는 왜곡을 적용하여 왜곡된 영상을 보정할 경우 영상의 측면이 과장되는 한계가 존재하게 된다. 따라서, 이를 균일한 평면에서 촬영한 것 처럼(즉, 짧은 거리에서 광각 렌즈로 촬영한 영상을 마치 더 높은 곳에서 평면으로 촬영한 것처럼) 정교하게 변환하는 것은 쉽지 않다.

하지만, 본 발명의 실시예에서는 그 감시 대상이 에스컬레이터라는 특수한 대상으로 한정되고, 이러한 에스컬레이터는 그 상부에서 평면적으로 볼 경우 화면에 수직으로 표현되며, 촬영되는 각 발판의 크기가 실제로 동일하다는 특성이 있으므로 이를 반영하여 감시 대상이 평면 감지 영상이 될 수 있도록 보정할 수 있다. 더불어, 광각의 특성상 중심에서 멀어지는 경우 발판의 상판이 아닌 발판의 하부가 촬영되어 원근이 강조된다는 점에서 이를 추가로 보정함으로써 마치 높은 곳에서 내려다본 것처럼 평면 감지 영상을 보정할 수 있다.

본 발명의 실시예에 따른 어안렌즈 카메라 영상 보정부(110)는 에스컬레이터 이상행동 판단을 위한 평면 감지 영상을 제공하기 위하여 렌즈 왜곡 보정과 에스컬레이터 원근을 보정하는 작업을 수행한다.

이렇게 마치 평면처럼 보정된 평면 감지 영상이 얻어지면, 이동객체 추출부(120)는 해당 평면 감지 영상으로부터 객체를 검출한다. 이러한 객체 검출은 일반적인 차분 영상(영상 프레임 간 변화된 픽셀들을 모아서 객체 특성과 대비하여 객체를 구분)을 이용하는 기본적인 방식으로부터, 광학적 흐름(Optical Flow), 칼만(Kalman) 필터, 파티클(Particle) 필터, 객체의 특징에 따른 변형된 다양한 알고리즘들 중 임의의 알고리즘을 채택할 수 있다.

감지 대상 객체를 추출하는 이러한 알고리즘 외에도, 영상 내의 객체에 대한 종류까지도 식별할 수 있는 알고리즘들도 등장하고 있는데, 객체 식별을 위해서는 아다부스트(Adaboost) 알고리즘, SVM(Support Vector Machine), 랜덤 포레스트(Random Forest), 딥러닝 등의 다양한 방식이 활용될 수 있으며, 이는 기술의 발전에 따라 영상 내 객체의 존재 여부, 객체의 종류, 객체의 특성, 객체에 대한 상황 등을 실시간 파악할 수도 있게 될 것으로 보인다. 본 발명의 실시예는 이러한 기술 발전에 따른 실시간 이동객체 식별또한 이동객체 추출의 일종으로 포괄할 수 있다.

이렇게 이동 객체를 추출하면 이동객체 특징점 추적부(130)에서 이동객체 추출부(120)에서 추출된 이동 객체의 특징점을 선별하여 추적하는데, 객체의 특징점을 추출하는 것은 유사 하르(Haar-like), HoG(Histogram of Gradient), LBP(local binary pattern) 등의 알고리즘을 활용할 수 있으며, 이들의 추적은 앞서 설명했던 광학적 흐름, 칼만 필터, 파티클 필터 등의 다양한 알고리즘을 병용할 수 있다. 이러한 객체의 추출과 특징점 추적은 알려져 있는 다양한 알고리즘들을 선택적으로 사용하거나 복합적으로 사용할 수 있으며, 에스컬레이터의 특성을 고려하여 기존 알고리즘을 적절히 변형하거나 새롭게 구성할 수도 있으므로 어떠한 알고리즘을 통해서 이동 객체를 추출하는 지, 특징점을 특정하는 지, 특징점을 통해 이동 객체를 추적하는 지에 대한 구체적인 구성으로 본 발명이 한정되지는 않는다.

더불어, 이동객체 특징점 추적부(130)는 특징점의 숫자나 추적 상태를 통해서 혼잡도, 에스컬레이터의 정지나 운전 여부, 카운트한 통과 인원 중 적어도 하나를 더 식별할 수도 있다.

궤적 분석부(140)는 이동객체 특징점 추적부(130)에서 추적한 특징점의 이동 벡터에 대한 궤적을 산출하는데, 이를 통해 이동객체의 움직임을 비교적 간단한 기준을 통해 파악할 수 있게 되며, 이러한 궤적 정보는 그 자체로서 탑승객의 탑승 환경이나 특성을 파악하기 위한 식별 자료로서 별도 관리될 수 있다.

이상발생 판단부(150)는 궤적 분석부(140)에서 분석된 궤적들을 이용하여 이동 객체의 이상행동(에스컬레이터 자체의 이상 행동(정지, 가속, 감속 등))을 파악할 수 있는데, 단순히 궤적의 통계적 움직임, 영역별 궤적의 변화 상태 등을 기준으로 간단히 다른 궤적과 다른 궤적을 설정된 분류별 이상행동 패턴과 대비하는 방식을 이용할 수도 있으며, 다수의 궤적 정보들과 이상 행동에 대한 정보를 이용한 기계학습(아다부스트, SVM, 랜덤 포레스트, 딥러닝 등)을 통해서 보다 정교한 이상 행동 판단이 가능하도록 할 수 있다. 이러한 궤적을 기반으로 이상 행동 여부를 판단하는 방식으로, 최근 등장하는 다양한 인공지능 판단 방식을 적용할 수 있으므로 이러한 궤적을 기반으로 이상 행동을 판단하는 구체적인 방법에 의해 본 발명이 한정되지 않는다.

이러한 이상발생 판단부(150)는 앞서 설명한 다양한 방식을 이용하여 궤적을 설정된 이상행동 판단 조건과 대비함으로써 이상 발생 여부와 그 종류를 판단할 수 있는데, 이동 객체의 이상행동을 걷기, 뛰기, 넘어짐, 난간 너머로 몸 기울이기, 역방향 진입, 에스컬레이터 정지 중 적어도 하나 이상으로 구분할 수 있다.

알람부(160)는 이상 발생 판단부(150)에서 판단한 이상 발생 여부와 그 종류를 관리자에게 전달하는데, 단순히 관제 장치(200)에 이러한 이상 발생 여부와 그 종류를 검출 신호정보로 전달할 수도 있고, 관제 장치(200)의 디스플레이에 이러한 이상 발생 여부와 종류를 표시해 줄 수도 있으며, 관제 장치(200)를 통해서 이상 발생 에스컬레이터에 대한 운전 정지 신호를 전달하도록 요청할 수도 있다. 이를 통해서 긴급한 이상이 발생한 경우 추가적인 피해를 줄일 수 있게 된다.

한편, 에스컬레이터 이용자 행위 검지 장치(100)는 추가적으로 식별정보 관리부(170)와 특성 정보 관리부(180)를 더 포함할 수 있는데, 식별정보 관리부(170)는 이상발생 판단부(150)의 이상 발생 여부와 그 종류, 이동객체 특징점 추적부(130)에서 부가적으로 식별한 정보(예를 들어, 탑승객의 숫자, 혼잡도, 에스컬레이터의 정지나 운전 여부 등), 궤적 분석부(140)의 궤적 정보 중 적어도 하나 이상을 식별 정보로서 저장하고 그 통계를 제공할 수 있다.

특성정보 관리부(180)는 에스컬레이터가 지속적으로 운영되는 것인지, 아니면 탑승객의 유무에 따라 자동적으로 운전여부가 결정되는 것인지에 따라 최초 탑승객의 이동 속도(궤적)에 차이가 발생하게 되는데, 이러한 환경에서 걷거나 뛰는 탑승객이 혼재할 경우 정상과 이상 행동을 잘못 판단하는 오류를 해결하기 위하여 에스컬레이터의 운전 상태에 따라 판단 기준을 동적으로 가변하기 위한 기능을 수행하기 위한 것이다.

예컨대, 이동 객체 추출부(120)가 에스컬레이터의 정지 상태와 재 운전 상태를 검출하여 이를 특성 정보 관리부(180)에 제공하면, 특성 정보 관리부(180)가 이동 객체 추출부(120)의 에스컬레이터 정지 상태와 재 운전 상태 정보를 통해서 재 운전 후 에스컬레이터의 속도가 정상화 되는 시점까지 순차적으로 가변되는 에스컬레이터의 속도에 맞추어 객체의 정상 이동 속도에 대한 정보를 이상 발생 판단부(150)에 제공할 수 있다.

이와 같이, 에스컬레이터 이용자 행위 검지 장치(100)는 광각 렌즈를 통해 얻어진 왜곡된 영상을 정확한 객체 추출과 추적이 가능하며 왜곡에 대한 추가 연산이 필요하지 않은 평면 감지 영상으로 보정한 후 이동 객체를 추출 및 추적하면서 그 궤적을 분석하여 이상발생을 정확하게 판단함으로써 순간적인 판단과 그에 따른 조치가 필요한 에스컬레이터 사고에 즉각 대응할 수 있도록 함과 아울러, 사고를 유발할 수 있는 이상행동을 파악하여 사전에 사고를 방지할 수 있도록 유도할 수 있다. 특히, 이러한 신뢰성 있는 이상행동 판단을 위한 카메라 구성을 단순화하고, 실제 운행 시 영상 분석을 위한 연산량을 줄임으로써 경제성을 높일 수 있다.

도 4는 본 발명의 실시예에 따른 어안렌즈 카메라 영상 보정부 구성도 및 궤적 분석부와의 연동을 설명하는 개념도로서, 그 구체적인 기능부의 동작을 설명하기 위하여 도 5 내지 도 9를 참고하여 설명한다.

먼저, 도시된 어안렌즈 카메라 영상 보정부(110)는 광각 카메라의 영상을 수신하여 렌즈 왜곡을 보상하는 렌즈 왜곡 보정부(111)와, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 에스컬레이터 원근 보정부(112)와, 부가적으로 생성된 평면 감지 영상 전체에서 객체의 이동 속도가 동일(시간당 픽셀의 이동 속도)하도록 영상을 추가 보정하는 이동속도 균일화 보정부(113)를 포함한다. 여기서, 이동속도 균일화 보정부(113)는 실제 추적되는 이동 객체의 궤적을 분석하여 동일한 속도로 이동하는 객체들의 화면 상 이동 속도가 유사해 지도록 평면 감지 영상을 보정하는 것이기 때문에 궤적 분석부(140)로부터 캘리브레이션 과정 중 수집되는 객체의 궤적 정보를 수신하여 이용한다.

먼저, 렌즈 왜곡 보정부(111)는 도 5에서 도시한 바와 같이 광각 렌즈를 통해 왜곡된 영상(301)을 그 반대가 되는 왜곡 정보(302)를 반영하여 왜곡이 보상된 영상(303)을 생성하는 방식을 이용한다.

하지만, 이러한 렌즈 왜곡 보정부(111)를 통해 보정된 영상의 경우 애초에 광각 렌즈에 의해서 경계부분 영상이 대상의 상부가 아닌 측면이 쵤영된다는 점에서 왜곡을 보상해도 경계부분의 영상은 늘어나 보일 수 밖에 없다.

도 6은 일반적인 광각렌즈(어안렌즈) 카메라 영상을 도 5를 통해 설명한 방식으로 보정한 경우를 보인 것이다.

도시된 예시와 같이, 영상의 가운데 부분은 대상의 바로 윗 부분을 촬영하지만 영상의 각 측면 경계부로 갈수록 대상의 상부가 아닌 측면이 촬영되므로 이를 보정하였을 때 각 경계부분은 상대적으로 늘어나는 형태로 왜곡된다. 도시된 붉은색 원을 보면 가운데에 인접한 인물은 작게, 멀리 있는 인물은 크게 왜곡되며, 머리의 크기를 보면 2배 정도 차이가 발생하게 된다.

하지만, 본 발명의 경우 에스컬레이터라는 이미 알고 있는 감시 대상 정보가 있으며, 최종적으로 원하는 평면 감지 영상의 형상(에스컬레이터의 손잡이를 기준으로 수직을 유지하고 각 발판의 크기는 동일한 규격임)을 이미 알고 있기 때문에 에스컬레이터 원근 보정부(112)를 통해 에스컬레이터의 원근을 보정한다.

즉, 광각 카메라를 통해 보이는 에스컬레이터는 경계부분으로 치우침에 따라 에스컬레이터 발판의 상부가 아닌 측면이 보이거나 앞선 발판에 가려 발판이 잘 보이지 않게 된다.

이러한 원근을 보정함으로써 에스컬레이터 감시 영역에 대한 평면 감지 영상을 생성한다.

도 7은 이러한 원근 보정에 대한 원리를 보인 것으로, 설명을 위하여 다소 과장되게 나타낸 것이다.

도시된 바와 같이 광각 렌즈를 통해 왜곡된 에스컬레이터 영상(311)을 렌즈 보정을 통해 보정한 후 얻은 렌즈 보정된 영상(312)에 대해서 이를 평면 감지 영상이 되도록 원근을 보정한 영상(313)을 얻을 수 있도록 보정한다.

도 8은 광각 렌즈를 통해 왜곡된 영상을 렌즈 왜곡 보정과 원근 보정을 통해서 보정하여 평면 감지 영상을 생성한 것을 보인 것이다. 자동으로 수행될 수도 있고, 일부 설정은 관리자가 수동으로 조절할 수도 있다.

이와 같이 감시 영역에 대한 영상 분석이 용이하도록 평면 감지 영상을 얻을 수 있으며, 감지 영역을 승강 영역과 하강 영역으로 구분하여 상이한 기준으로 이상 행동을 분석할 수 있다.

한편, 도 9는 이동속도 균일화 보정부(113)의 동작 원리를 설명하기 위한 개념도로서, 도시된 바와 같이 렌즈 왜곡 보정과 원근 보정을 통해 얻어진 평면 감지 영상을 기준으로 궤적 분석부(140)에서 산출된 객체의 이동 궤적을 이용하여 표시되는 평면 감지 영역에서의 객체 이동 속도가 동일하도록 영상을 보정하는 방식을 보인 것이다.

도시된 예에서, 특징점 추출 및 추적에 따른 궤적을 극히 단순하게 객체 당 하나 씩 나타내었으나 특징점 수에 따라 하나의 객체에 대해 다수의 특징점 추적에 따른 궤적들이 나타날 수 있으며, 그 해상도 역시 도시된 예시와 달리 높으므로 궤적은 직선이 아닐 수 있다.

더불어, 도시된 예시에서는 이동 객체의 궤적이 평면 감지 영상의 상부 및 하부에서만 다른 영역의 이동 객체 궤적과 차이가 있는 것으로 나타내었으나 이는 설명의 편의를 위한 것일 뿐, 실질적으로는 전체 영역에 대해서 완만한 변화 곡선을 그리면서 속도 편차가 분포할 수 있다.

도시된 예에서, 에스컬레이터의 상부(A)와 하부(B)는 상대적으로 객체의 이동 궤적이 화면 상 다른 영역의 객체 이동 궤적에 비해 짧을 수 있는데, 이는 왜곡 보정 과정에서 화면의 비율이 달라진 부분일 수 있으므로 객체의 이동 속도가 동일(즉, 궤적의 길이가 동일)하도록 객체의 이동 궤적이 상대적으로 짧은 부분은 화면을 조금 확대(상하)하여 그 궤적의 길이가 전체 영역에서 비슷하도록 보정할 수 있다.

물론, 이러한 과정은 초기 설치 후 캘리브레이션 과정에서 수행될 수 있으며, 이러한 초기 캘리브레이션 과정을 통해서 보정 정보(설정)를 얻으면 이를 저장하여 추후 지속적으로 활용할 수 있으므로 실제 운행시에는 이러한 과정(캘리브레이션을 위한 연산)을 반복 수행할 필요 없이 설정된 값으로 보정하면 된다.

이를 통해 우측과 같이 전체 영역에 대해서 객체의 이동 속도가 균일하도록 하면 궤적 분석 시 화면 왜곡을 고려하지 않아도 되므로 실제 운행 시 연산 부하가 줄어들 수 있고, 관리자가 화면을 통해 상황을 파악하고자 하는 경우에도 동일성을 유지할 수 있다.

도 10은 본 발명의 실시예에 따른 이상행위 검지 방식을 설명하기 위한 개념도(궤적을 극히 간단하게 나타내었고, 해상도 역시 낮게 표현)로서, 이상발생 판단부(150)는 도시된 예시들과 같이 이동 객체의 움직임을 궤적 분석을 통해 판단하여 도 10a와 같은 정상 상태, 도 10b와 같은 이상행동(걷기) 상태, 도 10c와 같은 이상행동(뛰기) 상태, 도 10d와 같은 이상행동(넘어짐) 상태를 각각 구분하여 검지할 수 있다. 물론, 도시되지 않은 다른 종류의 이상행동(난간 너머로 몸 기울이기, 역방향 진입, 에스컬레이터 정지/가속/감속 등)도 궤적 분석을 통해 구분하여 검지할 수 있다.

도 11은 앞서 설명했던 특성정보 관리부(180)의 기능을 설명하기 위한 예시도로서, 도시된 바와 같이 탑승객이 없을 경우 자동적으로 운전을 정지하였다가 탑승객이 탑승하는 경우 운전을 시작하는 자동 운행 에스컬레이터의 운전 시작 과정을 보인 것이다. 도시된 바와 같이 처음 탑승객이 진입할 경우 정지되어 있던 에스컬레이터가 천천히 운전을 시작하여 일정 기간이 지나면 정상 속도로 운행되는 것을 도 11a 내지 도 11d를 통해 확인할 수 있다.

이러한 가변적 속도의 운행에 따라 식별된 객체의 특징점 궤적 역시 도시된 바와 같이 정상 운전 상태에 도달하기까지 상대적으로 짧다. 만일, 이러한 환경에서 다른 탑승객이 걸을 경우 그 속도가 정상 운전 상태와 유사할 수 있게 되는데, 이 경우 제자리에 서 있는 정상 행동 탑승객이 이상행동을 하는 것으로 잘못 판단할 수 있다.

따라서, 특성정보 관리부(180)는 이동 객체 추출부(120)로부터 에스컬레이터의 정지 상태와 재 운전 상태에 대한 정보를 수신하여 에스컬레이터가 재 운전을 시작하는 경우 재 운전 후 에스컬레이터의 속도가 정상화되는 시점까지 순차적으로 가변되는 에스컬레이터의 속도에 맞추어 객체의 정상 이동 속도에 대한 정보를 이상 발생 판단부(150)에 제공함으로써 오류를 방지할 수 있다.

도 12는 본 발명의 실시예에 따른 탑승객 카운트 방식을 설명하기 위한 개념도로서, 도시된 바와 같이 광각 카메라의 배치 위치에서 그 바로 아래는 탑승객의 머리가 보이는 지점(사람의 머리에 해당하는 원형으로 객체 식별)으로 왜곡이 가장 적고, 에스컬레이터의 특성상 하나의 발판에 한 명에서 많아야 3명 이내의 탑승객이 탑승한다는 것을 알고 있으므로, 이동객체 특징점 추적부(130)는 광각 카메라의 수직 하단부에 위치하는 에스컬레이터의 계단 하나에 해당하는 영역을 카운트 영역으로 설정하고 해당 카운트 영역을 지나는 이동객체의 특징점을 기준으로 통과 인원을 카운트할 수 있다.

도 13은 본 발명의 실시예에 따른 에스컬레이터 이용자 행위 검지 장치를 이용한 에스컬레이터 이용자 행위 검지 과정을 설명하기 위한 순서도이다.

도시된 바와 같이 에스컬레이터의 경사 영역을 감지 영역으로 하는 광각 카메라 영상을 수신하여 렌즈 왜곡을 보상하고, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 광각 카메라 영상 캘리브레이션을 수행한다.

이러한 영상 캘리브레이션 수행에 따라 보정된 평면 감지 영상에서 이동 객체를 추출한다.

이동객체 추출 후 추출된 이동 객체의 특징점을 선별하여 추적하고, 추적한 특징점의 이동 백터에 대한 궤적을 산출한다.

이러한 산출된 특징점 궤적을 설정된 이상행동 판단 조건과 대비하여 이상이 발생한 경우 이상 발생 여부와 그 종류를 판단하여 알람을 발생시키고 그에 따른 로그를 생성한다. 만일 이상행동으로 판단되지 않는 경우 지속적으로 객체를 추적하여 특징점 궤적을 분석한다.

도 14는 본 발명의 실시예에 따른 캘리브레이션 과정을 설명하기 위한 순서도이다.

도시된 바와 같이 어안 카메라의 영상을 수신하여 해당 어안 카메라의 렌즈 왜곡을 보정한다.

렌즈 왜곡이 보정된 영상에서 에스컬레이터 영역에 대한 원근 보정을 수행하여 평면 감지 영상을 생성한다.

이렇게 생성된 평면 감지 영상을 기준으로 객체를 추출하고 그 특징점을 분석하여 특징점 궤적을 수집한다.

만일 평면 감지 영상에서 감지되는 각 객체의 특징점 궤적 속도가 영역에 따라 편차가 있는 경우 속도 편차가 없을 때까지 정규화 왜곡을 반복하여 보정한다.

이러한 과정은 초기 캘리브레이션 과정에서 약속된 조건(뛰거나 걷지 않음)으로 수행될 수 있으며, 한 번 보정되어 그 설정 정보를 얻게 되면 이를 캘리브레이션 설정(어안렌즈 왜곡 보정 설정값, 에스컬레이터 원근 보정값, 속도 편차 보정값 등)으로 저장하며 이후로는 해당 설정 정보를 반영하면 된다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 에스컬레이터 이용자 행위 검지 장치 101: 광각 카메라
110: 어안렌즈 카메라 영상 보정부 111: 렌즈 왜곡 보정부
112: 에스컬레이터 원근 보정부 113: 이동속도 균일화 보정부
120: 이동객체 추출부 130: 이동객체 특정점 추적부
140: 궤적 분석부 150: 이상발생 판단부
160: 알림부 170: 식별정보 관리부
180: 특성정보 관리부 200: 관제 장치

Claims (10)

1. 에스컬레이터의 경사 영역을 감지 영역으로 하는 광각 카메라와;
   광각 카메라의 영상을 수신하여 렌즈 왜곡을 보상하고, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 광각 카메라 영상 보정부와;
   광각 카메라 영상 보정부에서 보정된 평면 감지 영상에서 이동 객체를 추출하는 이동 객체 추출부와;
   이동객체 추출부에서 추출된 이동 객체의 특징점을 선별하여 추적하는 이동객체 특징점 추적부와;
   이동객체 특징점 추적부에서 추적한 특징점의 이동 백터에 대한 궤적을 산출하는 궤적 분석부와;
   궤적 분석부의 궤적을 설정된 이상행동 판단 조건과 대비하여 이상 발생 여부와 그 종류를 판단하는 이상 발생 판단부와;
   이상 발생 판단부에서 판단한 이상 발생 여부와 그 종류를 관리자에게 전달하는 알람부를 포함하고,
   상기 광각 카메라 영상 보정부는,
   상기 광각 카메라의 영상을 수신하여 왜곡된 영상을 촬영하는데 적용된 렌즈와 반대되는 왜곡 정보를 반영하여 왜곡이 보상된 영상을 생성하는 렌즈 왜곡 보정부;
   보상된 영상에서 에스컬레이터의 원근을 보정하여 에스컬레이터 감시 영역에 대한 평면 감지 영상을 생성하는 에스컬레이터 원근 보정부; 및
   생성된 평면 감지 영상을 기준으로 궤적 분석부에서 산출된 객체의 이동 궤적을 이용하여 표시되는 평면 감지 영역에서의 객체 이동 속도가 동일하도록 영상을 보정하는 이동속도 균일화 보정부를 포함하며,
   상기 이동속도 균일화 보정부는,
   상기 평면 감지 영역에서 상기 객체의 이동 궤적이 상대적으로 짧은 부분은 화면을 확대하여 궤적 길이가 전체 영역에서 동일하도록 영상을 보정하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 장치.
   
2. 청구항 1에 있어서, 상기 알람부는 이상 발생 에스컬레이터에 운전 정지 신호를 전달하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 장치.
   
3. 청구항 1에 있어서, 상기 이상 발생 판단부는 이동 객체의 이상행동을 걷기, 뛰기, 넘어짐, 난간 너머로 몸 기울이기, 역방향 진입, 에스컬레이터 정지 중 적어도 하나 이상으로 구분하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 장치.
   
4. 삭제
5. 청구항 1에 있어서, 상기 이동 객체 추출부는 에스컬레이터의 정지 상태와 재 운전 상태를 검출하며, 상기 이동 객체 추출부의 에스컬레이터 정지 상태와 재 운전 상태를 통해서 재 운전 후 에스컬레이터의 속도가 정상화 되는 시점까지 순차적으로 가변되는 에스컬레이터의 속도에 맞추어 객체의 정상 이동 속도에 대한 정보를 상기 이상 발생 판단부에 제공하는 특성 정보 관리부를 더 포함하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 장치.
   
6. 청구항 1에 있어서, 상기 이동객체 특징점 추적부는 혼잡도, 에스컬레이터의 정지나 운전 여부 중 하나를 식별하며, 광각 카메라의 수직 하단부에 위치하는 에스컬레이터의 계단 하나에 해당하는 영역을 카운트 영역으로 설정하고, 해당 카운트 영역을 지나는 이동객체의 특징점을 기준으로 통과 인원을 카운트하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 장치.
   
7. 청구항 6에 있어서, 이상발생 판단부의 이상 발생 여부와 그 종류, 이동객체 특징점 추적부에서 식별한 혼잡도, 에스컬레이터의 정지나 운전 여부, 카운트한 통과 인원, 궤적 분석부의 궤적 정보 중 적어도 하나 이상을 식별 정보로서 저장하고 그 통계를 제공하는 식별정보 관리부를 더 포함하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 장치.
   
8. 제 1항 내지 제 3항, 제 5항 내지 제 7항 중 어느 한 항에 따른 에스컬레이터 이용자 행위 검지 장치에서 수행되는 방법으로서,
   에스컬레이터의 경사 영역을 감지 영역으로 하는 광각 카메라 영상을 수신하여 렌즈 왜곡을 보상하고, 보상된 영상 중 적어도 에스컬레이터 영역에 대한 원근을 보정하여 평면 감지 영상을 생성하는 광각 카메라 영상 캘리브레이션 단계와;
   상기 광각 카메라 영상 캘리브레이션 단계에서 보정된 평면 감지 영상에서 이동 객체를 추출하는 이동 객체 추출 단계와;
   상기 이동객체 추출 단계에서 추출된 이동 객체의 특징점을 선별하여 추적하는 이동객체 특징점 추적 단계와;
   상기 이동객체 특징점 추적 단계에서 추적한 특징점의 이동 백터에 대한 궤적을 산출하는 궤적 분석 단계와;
   상기 궤적 분석 단계를 통해 산출된 궤적을 설정된 이상행동 판단 조건과 대비하여 이상 발생 여부와 그 종류를 판단하는 이상 발생 판단 단계와;
   상기 이상 발생 판단 단계에서 판단된 이상 발생 여부와 그 종류를 관리자에게 전달하는 알람 단계를 포함하는 에스컬레이터 이용자 행위 검지 방법.
   
9. 청구항 8에 있어서, 상기 광각 카메라 영상 캘리브레이션 단계는 생성된 평면 감지 영상을 기준으로 궤적 분석 단계에서 산출된 객체의 이동 궤적을 이용하여 표시되는 평면 감지 영역에서의 객체 이동 속도가 동일하도록 영상을 보정 하는 이동속도 균일화 보정단계를 더 포함하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 방법.
   
10. 청구항 8에 있어서, 상기 이동 객체 추출 단계는 에스컬레이터의 정지 상태와 재 운전 상태를 검출하며, 상기 이상 발생 판단 단계는 상기 이동 객체 추출 단계에서 검출된 에스컬레이터 정지 상태와 재 운전 상태를 통해서 재 운전 후 에스컬레이터의 속도가 정상화 되는 시점까지 순차적으로 가변되는 에스컬레이터의 속도에 맞추어 객체의 정상 이동 속도에 대한 정보를 생성하여 이상 발생 판단에 적용하는 단계를 더 포함하는 것을 특징으로 하는 에스컬레이터 이용자 행위 검지 방법.

Images