KR20090027410A - Stereo vision based monitoring system in railway station and method thereof - Google Patents

Stereo vision based monitoring system in railway station and method thereof Download PDF

Info

Publication number
KR20090027410A
KR20090027410A KR1020070092609A KR20070092609A KR20090027410A KR 20090027410 A KR20090027410 A KR 20090027410A KR 1020070092609 A KR1020070092609 A KR 1020070092609A KR 20070092609 A KR20070092609 A KR 20070092609A KR 20090027410 A KR20090027410 A KR 20090027410A
Authority
KR
South Korea
Prior art keywords
train
area
image
dangerous
identification code
Prior art date
Application number
KR1020070092609A
Other languages
Korean (ko)
Other versions
KR100897914B1 (en
Inventor
오세찬
이한민
김길동
홍용기
강진기
장재호
Original Assignee
한국철도기술연구원
(주)로드닉스
건아정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원, (주)로드닉스, 건아정보기술 주식회사 filed Critical 한국철도기술연구원
Priority to KR1020070092609A priority Critical patent/KR100897914B1/en
Publication of KR20090027410A publication Critical patent/KR20090027410A/en
Application granted granted Critical
Publication of KR100897914B1 publication Critical patent/KR100897914B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

A system for monitoring a platform based on a stereo image and a method thereof are provided to increase reliability of the system and to manage dangerous situation rapidly. A system for monitoring a platform based on a stereo image comprises the followings: an information collecting unit(100) comprising a stereo camera(110); the stereo camera acquiring image information about a platform monitoring area; and a information processing unit(200) including an object detection module(220) and an object recognition module(230). The object detection module determines falling of the object in a dangerous region based on the image information.

Description

스테레오 영상기반 승강장 모니터링 시스템 및 그 방법{STEREO VISION BASED MONITORING SYSTEM IN RAILWAY STATION AND METHOD THEREOF}Stereo image-based platform monitoring system and its method {STEREO VISION BASED MONITORING SYSTEM IN RAILWAY STATION AND METHOD THEREOF}

본 발명은, 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법에 관한 것으로, 보다 상세하게는, 스테레오 카메라에 의해 획득되는 영상 정보에 기초하여 승강장 내의 위험 상황을 판단하는 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법에 관한 것이다.The present invention relates to a stereo image-based platform monitoring system and method, and more particularly, to a stereo image-based platform monitoring system and method for determining a dangerous situation in the platform based on the image information obtained by the stereo camera. It is about.

철도분야에서 승객의 안전은 무엇보다 중요한 과제로서 철도안전이 집중 관리되고 있음에도 여전히 매년 수십 명의 승객들이 승강장 추락사고로 인해 숨지고 있으며, 이는 철도분야에서 해결해야 할 가장 시급한 문제로 떠오르고 있다.Passenger safety is the most important task in the railway sector, and despite the centralized management of railway safety, dozens of passengers are being killed every year due to the crash of the platform, which is emerging as the most urgent problem to be solved in the railway sector.

최근, 정보기술(IT)의 발전과 함께 철도환경에서 폐쇄회로 TV나 다양한 형태의 비전 센서를 이용한 응용시스템이 시도되고 있다. 현재 지하철 폐쇄회로 TV는 열차운전의 확인 및 승객의 이동, 승하차 등을 감시할 목적으로 각 역의 승강장 또는 승객 밀집지역에 설치하여 운영되고 있으며, 차량 및 선로상태를 비롯한 철도 인프라의 유지보수 목적으로 다양한 형태의 카메라 센서가 적용되고 있다.Recently, with the development of information technology (IT), an application system using a closed circuit TV or various types of vision sensors in a railway environment has been attempted. The subway closed circuit TV is currently installed and operated in the platform or passenger area of each station for the purpose of checking train operation and monitoring passenger movement and getting on and off.It is also used for maintenance of railway infrastructure including vehicles and track conditions. Various types of camera sensors are applied.

종래의 폐쇄회로 TV가 단순히 수동적으로 영상 정보를 기관사나 지역 사령실 에 전송하는데 반하여, 사람이나 기타 장애물의 위치 및 동작을 감지하여 스스로 지능적으로 위험 상황을 판단하고 신속히 대응하기 위해 관련 근무자에게 알려주는 다양한 형태의 시도가 필요한 실정이었다.Whereas conventional closed-circuit TVs simply passively transmit video information to the driver or local command office, they can detect the location and movement of people or other obstacles and intelligently determine the dangerous situation and inform the relevant workers to respond quickly. It was necessary to try a form.

이와 같이 종래의 모니터링 시스템은 단순히 감시하고자 하는 장소에 아날로그 방식의 폐쇄회로 TV를 설치하여 화면으로 보이는 상황(CCTV 개수에 따라 여러 분할 화면을 순차적으로 보여줌)을 항시 근무자가 모니터링을 해야만 하기 때문에 현실적으로 신속하고 정확한 상황파악 및 신속한 대처가 어렵다는 문제점이 있다.As such, the conventional monitoring system is simply installed by analogue closed circuit TV in the place to be monitored, so that the worker must monitor the situation that is displayed on the screen (sequentially showing several divided screens according to the number of CCTVs). And there is a problem that it is difficult to identify the correct situation and prompt response.

한편, 최근에는 승객의 선로 추락사고를 사전에 차단하기 위해서 스크린 도어(Screen Door)의 설치를 확대하고 있으나, 모든 승강장에 설치하기에는 경제적인 부담이 크고, 특히 지상(地上) 승강장일 경우에는 주변 경관을 차단하여 승객들의 답답함을 가중시키는 문제점이 있다.On the other hand, in recent years, the installation of screen doors has been expanded in order to prevent passengers from crashing in advance, but it is economically expensive to install on all platforms, especially in the case of ground platforms. There is a problem that increases the passenger's frustration by blocking the.

본 발명의 목적은, 승강장 내의 위험 상황에 대한 신속한 파악과 신속한 대처가 가능하고, 시스템의 신뢰성을 높일 수 있는 승강장 모니터링 시스템 및 그 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a platform monitoring system and method capable of quickly identifying and promptly responding to a dangerous situation in a platform and improving the reliability of the system.

상기 목적은, 본 발명에 따라, 열차가 진입하는 열차 영역을 포함한 승강장 모니터링 영역에 대한 영상 정보를 획득하기 위한 적어도 하나의 스테레오 카메라를 구비하는 정보 수집부; 및 상기 정보 수집부에 의해 획득된 상기 영상 정보에 기초하여, 상기 열차 영역 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역 내에 물체의 추락 여부를 판단하는 물체검출모듈과, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역 내에 추락한 물체가 미리 설정된 기준에 의해 정상적인 열차 운행에 지장을 주는 위험 물체인지 여부를 판단하는 물체인식모듈을 구비하는 정보 처리부를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템에 의해 달성된다.The above object is, according to the present invention, the information collection unit having at least one stereo camera for obtaining image information for the platform monitoring area including the train area to enter the train; And an object detection unit determining whether or not the object falls within a danger area that is previously set as an area in which the object may fall and interfere with normal train operation, based on the image information obtained by the information collecting unit. And an object recognition module configured to determine whether an object fallen in the dangerous area is a dangerous object that impedes normal train operation based on a preset criterion based on the three-dimensional coordinate information of the object by the stereo camera. It is achieved by a stereo image-based platform monitoring system comprising an information processing unit.

본 발명에 있어서, 상기 물체인식모듈은, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역에 추락한 물체의 크기를 산출하고, 상기 산출된 크기가 설정크기 이상이면 상기 위험 물체로 판단할 수 있다.In the present invention, the object recognition module, based on the three-dimensional coordinate information of the object by the stereo camera calculates the size of the object fall in the dangerous area, if the calculated size is more than the set size the dangerous object Judging by

상기 정보 처리부는, 상기 추락한 물체가 상기 위험 물체로 판단되면, 상기 추락한 물체에 고유의 식별코드를 부여하고, 상기 식별코드가 부여된 물체의 움직임을 추적하는 물체추적모듈을 더 포함할 수 있다.The information processing unit may further include an object tracking module for assigning a unique identification code to the fallen object and tracking the movement of the object to which the identification code is assigned when the fallen object is determined to be the dangerous object. have.

상기 물체추적모듈은, 상기 식별코드가 부여된 물체의 움직임이 검출되는 경우, 상기 물체의 추적을 계속하여 상기 물체의 추적 중 상기 물체가 상기 위험 영역을 벗어난 것으로 판단되면, 상기 부여된 식별코드를 삭제할 수 있다.When the object tracking module detects a movement of an object to which the identification code is assigned, the object tracking module continues tracking the object and determines that the object is out of the dangerous area during tracking of the object. You can delete it.

상기 물체추적모듈은, 상기 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교하여 상기 위험 영역 내에 상기 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 상기 부여된 식별코드를 삭제할 수 있다.If the object tracking module does not detect the movement of the object to which the identification code is assigned, if it is determined that the object to which the identification code is assigned does not exist in the dangerous area by comparing the current image with a pre-stored background image, The assigned identification code can be deleted.

상기 물체추적모듈은, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 식별코드가 부여된 물체의 움직임을 추적할 수 있다.The object tracking module may track the movement of the object to which the identification code is assigned based on the image difference between the current frame and the previous frame of the image information.

상기 정보 처리부는, 상기 열차 영역 내 열차의 상태를 판단하는 열차검출모듈을 더 포함할 수 있다.The information processing unit may further include a train detection module that determines a state of a train in the train area.

상기 열차검출모듈은, 상기 영상 정보에 기초하여 상기 열차 영역 내 열차의 상태를 판단할 수 있다.The train detection module may determine a state of a train in the train area based on the image information.

상기 물체검출모듈은, 상기 열차 영역 내 열차가 없는 경우에 한하여 작동될 수 있다.The object detection module may be operated only when there is no train in the train area.

상기 물체검출모듈은, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 위험 영역 내에 물체의 추락 여부를 판단할 수 있다.The object detection module may determine whether an object falls within the danger area based on an image difference between a current frame and a previous frame of the image information.

상기 목적은, 본 발명에 따라, 적어도 하나의 스테레오 카메라를 이용하여 열차가 진입하는 열차 영역을 포함한 승강장 모니터링 영역에 대한 영상 정보를 획득하는 단계; 상기 획득된 영상 정보에 기초하여 상기 열차 영역 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 정의되는 위험 영역 내에 물체의 추락 여부를 판단하는 단계; 및 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역 내에 추락한 물체가 미리 설정된 기준에 의해 정상적인 열차 운행에 지장을 주는 위험 물체인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법에 의해 달성된다.The object of the present invention is to obtain image information on a platform monitoring area including a train area into which a train enters using at least one stereo camera; Determining whether an object falls within a danger area defined as an area in which the object falls among the train areas to interfere with normal train operation based on the acquired image information; And determining whether an object fallen in the danger area is a dangerous object that impedes normal train operation based on a preset criterion, based on the three-dimensional coordinate information of the object by the stereo camera. It is achieved by stereo image based platform monitoring method.

본 발명에 있어서, 상기 위험 물체인지 여부를 판단하는 단계는,상기 스테레 오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역에 추락한 물체의 크기를 산출하고, 상기 산출된 크기가 설정크기 이상이면 상기 위험 물체로 판단할 수 있다.In the present invention, the step of determining whether the dangerous object, the size of the object falling in the dangerous area based on the three-dimensional coordinate information of the object by the stereo camera, the calculated size is If the size is larger than the set may be determined as the dangerous object.

본 발명에 따른 스테레오 영상기반 승강장 모니터링 방법은, 상기 추락한 물체가 상기 위험 물체로 판단되면, 상기 추락한 물체에 고유의 식별코드를 부여하고, 상기 식별코드가 부여된 물체의 움직임을 추적하는 단계를 더 포함할 수 있다.In the stereo image-based platform monitoring method according to the present invention, if it is determined that the fallen object is the dangerous object, assigning a unique identification code to the fallen object, and tracking the movement of the object to which the identification code is assigned. It may further include.

상기 물체의 움직임을 추적하는 단계는, 상기 식별코드가 부여된 물체의 움직임이 검출되는 경우, 상기 물체의 추적을 계속하여 상기 물체의 추적 중 상기 물체가 상기 위험 영역을 벗어난 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 단계를 포함할 수 있다.The tracking of the movement of the object may include: if the movement of the object to which the identification code is assigned is detected, if the object is out of the dangerous area during the tracking of the object and continues to track the object, the grant It may include the step of deleting the identified identification code.

상기 물체의 움직임을 추적하는 단계는, 상기 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교하여 상기 위험 영역 내에 상기 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 단계를 포함할 수 있다.In the tracking of the movement of the object, if the movement of the object to which the identification code is assigned is not detected, the object to which the identification code is assigned does not exist in the danger area by comparing a current image with a pre-stored background image. If it is determined that it may include the step of deleting the assigned identification code.

상기 물체의 움직임을 추적하는 단계는, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 식별코드가 부여된 물체의 움직임을 추적할 수 있다.The tracking of the movement of the object may track the movement of the object to which the identification code is assigned based on the image difference between the current frame and the previous frame of the image information.

본 발명에 따른 스테레오 영상기반 승강장 모니터링 방법은, 상기 물체의 추락 여부를 판단하는 단계 전에, 상기 열차 영역 내 열차의 상태를 판단하는 단계를 더 포함할 수 있다.The stereo image-based platform monitoring method according to the present invention may further include determining a state of a train in the train area before determining whether the object has fallen.

상기 열차의 상태를 판단하는 단계는, 상기 영상 정보에 기초하여 상기 열차 영역 내 열차의 상태를 판단할 수 있다.In the determining of the state of the train, the state of the train in the train area may be determined based on the image information.

상기 물체의 추락 여부를 판단하는 단계는, 상기 열차 영역 내 열차가 없는 경우에 한하여 수행될 수 있다.The determining of the fall of the object may be performed only when there is no train in the train area.

상기 물체의 추락 여부를 판단하는 단계는, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 위험 영역 내에 물체의 추락 여부를 판단할 수 있다.The determining whether the object falls may determine whether the object falls within the danger area based on an image difference between the current frame and the previous frame of the image information.

본 발명은 스테레오 카메라에 의해 획득되는 3차원 영상 정보에 기초하여 승강장 내의 위험 상황을 지능적으로 판단함으로써, 위험 상황에 대한 신속한 파악과 신속한 대처가 가능하고, 시스템의 신뢰성을 높일 수 있다.According to the present invention, by intelligently determining a dangerous situation in a platform based on three-dimensional image information obtained by a stereo camera, it is possible to quickly identify and quickly deal with a dangerous situation and to improve the reliability of a system.

이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예를 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1 to 5.

도 1은 본 발명의 일 실시예에 따른 스테레오 영상기반 승강장 모니터링 시스템의 구성도이며, 도 2는 도 1의 스테레오 카메라(110)에 의해 촬영되는 승강장 모니터링 영역(10)을 설명하기 위한 도면이고, 도 3은 스테레오 카메라(110)를 이용하여 3차원 좌표 정보를 획득하는 방법을 설명하기 위한 도면이며, 도 4는 열차 영역(12) 내에 열차의 상태 전환을 나타낸 도면이고, 도 5는 도 2의 승강장 모니터링 영역(10) 내에 열차의 움직임을 검출하는 방법을 설명하기 위한 도면이다.1 is a block diagram of a stereo image-based platform monitoring system according to an embodiment of the present invention, Figure 2 is a view for explaining the platform monitoring area 10 taken by the stereo camera 110 of FIG. 3 is a view for explaining a method of acquiring three-dimensional coordinate information using the stereo camera 110, FIG. 4 is a view showing the state transition of the train in the train area 12, Figure 5 is a view of FIG. It is a figure for demonstrating the method of detecting the movement of a train in the boarding point monitoring area | region 10. FIG.

도 1을 참조하면, 본 실시예에 따른 스테레오 영상기반 승강장 모니터링 시 스템은, 승강장 모니터링 영역(10)에 대한 영상 정보를 획득하는 정보 수집부(100)와, 정보 수집부(100)에 의해 수집되는 영상 정보에 기초하여 위험 영역(14) 내에 물체의 추락 여부 및 추락한 물체가 위험 물체인지 여부를 판단하는 정보 처리부(200)를 구비한다.Referring to FIG. 1, the stereo image-based platform monitoring system according to the present embodiment may be collected by the information collection unit 100 and the information collection unit 100 for obtaining image information of the platform monitoring area 10. The information processing unit 200 determines whether or not the object falls and whether the fallen object is a dangerous object in the dangerous area 14 based on the image information.

도 2를 참조하면, 승강장 모니터링 영역(10)은, 열차가 진입하는 열차 영역(12)과, 열차 영역(12) 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역(14)이 사전에 설정된다. 이때, '위험 영역(14)'은 구체적으로 열차 선로 주변의 영역을 의미한다.Referring to FIG. 2, the platform monitoring area 10 includes a train area 12 into which a train enters, and an area in which train objects 12 fall, which may interfere with normal train operation. The area 14 is set in advance. In this case, the 'hazardous area 14' specifically refers to an area around a train track.

도 1 및 도 2를 참조하면, 정보 수집부(100)는 열차가 진입하는 열차 영역(12)을 포함한 승강장 모니터링 영역(10)에 대한 영상 정보를 획득하기 위해 승강장 내에 설치되는 스테레오 카메라(110)를 구비한다. 스테레오 카메라(110)는 승강장에 진입하는 열차와 전체 승강장 상황을 촬영할 수 있는 위치(예를 들면, 열차의 진행 방향에 대해 승강장의 맨 앞쪽)에 설치되는 것이 바람직하며, 전체 승강장 상황에 대한 충분한 모니터링을 위해 열차의 선로를 따라 소정간격을 두고 복수 개의 스테레오 카메라(110)가 설치될 수도 있다.1 and 2, the information collecting unit 100 is a stereo camera 110 installed in a platform to obtain image information on the platform monitoring area 10 including a train area 12 into which a train enters. It is provided. The stereo camera 110 is preferably installed at a position capable of photographing the train entering the platform and the entire platform situation (for example, in front of the platform with respect to the direction in which the train proceeds), and sufficiently monitoring the overall platform situation. For this purpose, a plurality of stereo cameras 110 may be installed at predetermined intervals along the track of the train.

이러한 스테레오 카메라(110)는 일반적인 모노 카메라와는 달리 획득된 영상의 픽셀마다 3차원 좌표를 얻을 수 있기 때문에, 모니터링 영역을 임의의 3차원 공간으로 정의할 수 있으며, 이에 따라 모니터링 영역 내의 물체에 대한 3차원 좌표 정보를 얻을 수 있는데, 그 구체적인 방법에 대해서는 후술하기로 한다.Unlike the general mono camera, since the stereo camera 110 can obtain three-dimensional coordinates for each pixel of the obtained image, the stereo camera 110 can define the monitoring area as an arbitrary three-dimensional space, and thus Three-dimensional coordinate information can be obtained, which will be described later.

본 실시예에서 정보 수집부(100)는, 승강장 모니터링 영역(10)에 대한 영상 정보만을 수집하여 정보 처리부(200)에 전송한다. 다만, 본 발명은 이에 한정되지 아니하며, 정보 수집부(100)는, 승강장 모니터링 영역(10)에 대한 검지 정보를 획득하기 위해에 승강장 내에 설치되는 적외선 센서, 레이저 센서, 초음파 센서, 초단파 센서 등으로 구현되는 센서 모듈(120)을 더 구비할 수 있다. 이러한 센서 모듈(120)에 의해 수집되는 승강장 모니터링 영역(10)에 대한 검지 정보는 스테레오 카메라(110)에 의해 수집되는 영상 정보와 함께 위험 상황 발생 여부에 대한 판단 자료로서 정보 처리부(200)에 전송된다.In the present embodiment, the information collecting unit 100 collects only image information about the platform monitoring area 10 and transmits the image information to the information processing unit 200. However, the present invention is not limited thereto, and the information collecting unit 100 may include an infrared sensor, a laser sensor, an ultrasonic sensor, a microwave sensor, and the like installed in the platform in order to obtain detection information for the platform monitoring area 10. The sensor module 120 may be further provided. The detection information on the platform monitoring area 10 collected by the sensor module 120 is transmitted to the information processing unit 200 as determination data on whether a dangerous situation occurs together with the image information collected by the stereo camera 110. do.

도 1을 참조하면, 정보 처리부(200)는, 정보 수집부(100)의 스테레오 카메라(110)에 의해 획득되는 영상 정보에 기초하여 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역(14) 내에 물체의 추락 여부를 판단하는 물체검출모듈(220)과, 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체가 위험 물체인지 여부를 판단하는 물체인식모듈(230)을 구비한다. 여기서, '위험 물체'는 위험 영역(14)에 추락한 물체 중 정상적인 열차 운행에 지장을 주는 물체를 의미하며, 위험 영역(14)에 추락한 사람을 포함한다.Referring to FIG. 1, the information processing unit 200 is an area in which an object may fall based on the image information acquired by the stereo camera 110 of the information collecting unit 100 and may interfere with normal train operation in advance. The object detection module 220 which determines whether the object falls in the set danger area 14 and the object which has fallen in the danger area 14 based on the three-dimensional coordinate information of the object by the stereo camera 110 are dangerous. It is provided with an object recognition module 230 for determining whether or not the object. Here, the "dangerous object" refers to an object that interferes with normal train operation among objects that have fallen in the danger area 14 and includes a person who has fallen in the danger area 14.

물체검출모듈(220)은 정보 수집부(100)의 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 위험 영역(14) 내의 움직임을 검출함으로써 위험 영역(14) 내에 물체의 추락 여부를 판단한다. 본 실시예에서 스테레오 카메라(110)는 초당 30 프레임 정도로 승강장 모니터링 영역(10)을 촬영하는데, 물체검출모듈(220)은 스테레오 카메라(110)로부터 전송되는 영상 정보를 프레임 단위로 분석한다. 즉, 물체검출모듈(220)은 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석함으로써 위험 영역(14) 밖에서 위험 영역(14) 안으로의 물체의 움직임을 검출하게 된다. 이와 같이, 위험 영역(14) 밖에서 위험 영역(14) 안으로의 물체의 움직임이 검출되면, 물체검출모듈(220)은 위험 영역(14) 내에 물체가 추락한 것으로 판단한다.The object detection module 220 detects a motion in the danger area 14 based on an image difference between a current frame and a previous frame of the image information acquired by the stereo camera 110 of the information collecting unit 100. It is determined whether or not the object has fallen in (14). In the present exemplary embodiment, the stereo camera 110 photographs the platform monitoring area 10 at about 30 frames per second, and the object detection module 220 analyzes image information transmitted from the stereo camera 110 in units of frames. That is, the object detection module 220 detects the movement of the object into the danger area 14 outside the danger area 14 by analyzing the image difference between the current frame and the previous frame of the image information. As such, when the movement of the object into the danger area 14 is detected outside the danger area 14, the object detection module 220 determines that the object has fallen in the danger area 14.

한편, 위험 영역(14) 내에 추락한 물체는 자살 목적으로 또는 부주의로 승강장에서 열차 선로에 떨어진 사람이나 큰 크기를 가지는 대형 물체와 같이 정상적인 열차 운행에 지장을 주어 위험 상황을 발생시키는 위험 물체와, 음료수 캔 등의 작은 쓰레기와 같이 열차 선로 주변에 떨어져도 열차 운행에 지장을 주지 않는 소형 물체로 분류될 수 있다. 즉, 물체검출모듈(220)에 의해 위험 영역(14) 내에 물체가 추락한 것으로 판단되었다고 해서 일률적으로 위험 상황이 발생했다고는 단정할 수 없는 것이다.On the other hand, objects that have fallen in the danger zone 14 are dangerous objects that suspend normal train operations, such as a person who has fallen off the platform in a platform for suicide or inadvertently or a large object having a large size, causing a dangerous situation, Small objects such as beverage cans can be classified as small objects that do not interfere with train operation even if they fall near train tracks. That is, even if it is determined that the object has fallen in the danger area 14 by the object detection module 220, it cannot be assumed that a dangerous situation has occurred uniformly.

이에 따라, 본 발명은 위험 영역(14) 내에 물체가 추락한 것으로 판단된 경우, 물체인식모듈(230)을 통해 위험 영역(14)에 추락한 물체가 정상적인 열차 운행에 지장을 주는 위험 물체(즉, 사람이나 큰 크기의 대형 물체)인지 아니면 열차 운행에 지장을 주지 않는 소형 물체인지를 판단한다. 구체적으로 물체인식모듈(230)은 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체가 위험 물체인지 여부를 판단하게 된다.Accordingly, in the present invention, when it is determined that an object has fallen in the danger area 14, an object that has fallen into the danger area 14 through the object recognition module 230 interferes with normal train operation (ie, Determine whether it is a small object that does not interfere with train operation. In detail, the object recognition module 230 determines whether an object that has fallen in the dangerous area 14 is a dangerous object based on three-dimensional coordinate information of the object by the stereo camera 110.

도 3을 참조하여 스테레오 카메라(110)에 의해 3차원 좌표 정보를 얻는 방법을 설명하면 다음과 같다. 스테레오 카메라(110)의 특성에 의해서 하나의 물체 점(x, y, z)에 대해서 좌우 카메라에 맺히는 영상의 위치가 각각 Pl(x'l,y'l)과 Pr(x'r,y'r)으로 서로 다르다. 카메라가 위치하는 베이스라인 b가 주어지고, 렌즈의 촛점거리(focal length) f를 알고 있을 때, 삼각비에 의해서 물체의 깊이 정보 Z는 b*f/(x'l-x'r)로 표현이 가능하다. 즉, 물체의 깊이 정보(Z)는 좌측 카메라(Cl)와 우측 카메라(Cr) 각각의 렌즈 상호간의 거리(b)와 렌즈의 초점거리(f)에 비례하고 양안차(x'l-x'r)값에 반비례하는 것이다.A method of obtaining 3D coordinate information by the stereo camera 110 will now be described with reference to FIG. 3. Due to the characteristics of the stereo camera 110, the positions of the images formed on the left and right cameras with respect to one object point (x, y, z) are respectively P l (x ' l , y' l ) and P r (x ' r , y ' r ). Given the baseline b at which the camera is located, and knowing the focal length f of the lens, the depth information Z of the object is represented by b * f / (x ' l -x' r ) by the triangular ratio. It is possible. That is, the depth information Z of the object is proportional to the distance b between the lenses of the left camera Cl and the right camera Cr and the focal length f of the lens, and the binocular difference x ' l -x' r ) inversely proportional to the value.

이와 같이 스테레오 카메라(110)는 일반적인 모노 카메라와 달리 촬영되는 물체의 깊이 정보를 알 수 있으므로, 모니터링 영역을 임의의 3차원 공간으로 정의할 수 있으며, 이에 따라 모니터링 영역 내의 물체에 대한 3차원 좌표 정보를 얻을 수 있는 것이다.As such, since the stereo camera 110 can know depth information of an object to be photographed unlike a general mono camera, the stereo camera 110 can define a monitoring area as an arbitrary three-dimensional space, and thus three-dimensional coordinate information about an object in the monitoring area. Will be obtained.

이러한 스테레오 카메라(110)의 특성을 이용하여 물체인식모듈(230)은 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체의 크기를 산출한다. 그리고 위험 영역(14)에 추락한 물체의 크기가 설정크기 이상이면 열차 운행에 지장을 주는 위험 물체로 판단한다. 이때, 설정크기는 열차의 정상적인 운행에 영향을 줄 가능성을 고려하여 설정되며, 열차 선로보다 높은 크기로 설정되는 것이 바람직하다.By using the characteristics of the stereo camera 110, the object recognition module 230 calculates the size of the object falling in the danger area 14 based on the three-dimensional coordinate information of the object by the stereo camera 110. If the size of the object that falls in the danger zone 14 is greater than or equal to the set size, it is determined as a dangerous object that impedes train operation. At this time, the setting size is set in consideration of the possibility of affecting the normal operation of the train, it is preferable to set the size higher than the train track.

한편, 물체인식모듈(230)은 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체의 형상을 인식할 수 있기 때문에, 위험 영역(14)에 추락한 물체의 형상을 기준으로 하여 위험 물체인지 여부를 판단 하도록 구성될 수도 있다. 예를 들면, 사람의 형상에 대한 정보를 미리 저장해 두고 이를 위험 영역(14)에 추락한 물체와 비교하여 위험 물체인지 여부를 판단하는 방법이 적용될 수 있을 것이다.On the other hand, since the object recognition module 230 can recognize the shape of the object falling in the dangerous area 14 on the basis of the three-dimensional coordinate information of the object by the stereo camera 110, it falls in the dangerous area 14 It may be configured to determine whether or not it is a dangerous object based on the shape of one object. For example, a method of determining whether the object is a dangerous object may be applied by storing information on the shape of a person in advance and comparing it with the object that has fallen in the dangerous area 14.

도 1을 참조하면, 정보 처리부(200)는, 위험 물체로 판단된 물체의 움직임을 추적하는 물체추적모듈(240)을 더 구비한다.Referring to FIG. 1, the information processing unit 200 further includes an object tracking module 240 for tracking a movement of an object determined as a dangerous object.

물체추적모듈(240)은, 물체인식모듈(230)에 의해 위험 영역(14)에 추락한 물체가 위험 물체로 판단되면, 그 위험 물체에 고유의 식별코드를 부여하고 식별코드가 부여된 물체의 움직임을 추적한다. 이때, '식별코드의 부여'은 승강장 내의 위험 상황이 발생하였음을 의미한다. 이러한 물체추적모듈(240)은 식별코드가 부여된 물체의 움직임을 추적하기 위해서 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석하는 영상처리기법을 이용한다.When the object falling down to the dangerous area 14 by the object recognition module 230 is determined to be a dangerous object, the object tracking module 240 assigns a unique identification code to the dangerous object and Track the movement. At this time, 'Identification code' means that a dangerous situation occurred in the platform. The object tracking module 240 uses an image processing technique that analyzes an image difference between a current frame and a previous frame of image information acquired by the stereo camera 110 to track the movement of an object to which an identification code is assigned.

물체추적모듈(240)은, 움직임 추적결과, 식별코드가 부여된 물체가 위험 영역(14)을 벗어나면 부여된 식별코드를 삭제한다. 이때, '식별코드의 삭제'는 승강장 내의 위험 상황이 해제되었음을 의미한다.The object tracking module 240 deletes the assigned identification code if the object to which the identification code is assigned leaves the danger area 14 as a result of the motion tracking. At this time, 'deletion of identification code' means that the dangerous situation in the platform has been released.

한편, 물체추적모듈(240)은, 움직임 추적결과, 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교한다. 이는 위험 영역(14) 내에 추락한 위험 물체가 없음에도, 스테레오 카메라(110) 주변의 급작스런 밝기 변화 등의 영향으로 물체검출모듈(220) 및 물체인식모듈(230)이 위험 영역(14) 내에 위험 물체가 추락한 것으로 잘못 판단한 경우를 가려내기 위함이 다. 즉, 현재 영상과 미리 저장된 배경 영상을 비교하여 위험 영역(14) 내에 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 물체추적모듈(240)은 부여된 식별코드를 삭제한다.On the other hand, the object tracking module 240 compares the current image and the pre-stored background image when the movement tracking result, the movement of the object to which the identification code is assigned is not detected. This is because the object detection module 220 and the object recognition module 230 are dangerous in the danger area 14 due to the sudden change of brightness around the stereo camera 110 even though there is no danger object that falls in the danger area 14. This is to find out if the object is wrongly judged to have fallen. That is, when it is determined that an object assigned with an identification code does not exist in the danger area 14 by comparing the current image with a pre-stored background image, the object tracking module 240 deletes the assigned identification code.

이와 같이, 본 발명은, 위험 물체를 추적하는 물체추적모듈(240)을 구비함으로써, 발생된 위험 상황의 해제 여부 판단할 수 있음은 물론, 물체검출모듈(220) 및 물체인식모듈(230)의 판단오류를 수정할 수 있다. 이에 따라, 본 발명은 전체 시스템의 신뢰성을 높일 수 있으며, 잘못된 판단에 의해 원활한 열차 운행에 지장을 주는 상황을 미연에 방지할 수 있는 것이다.In this way, the present invention, by having the object tracking module 240 for tracking the dangerous object, it is possible to determine whether or not to release the generated dangerous situation, as well as the object detection module 220 and the object recognition module 230 Correction errors can be corrected. Accordingly, the present invention can increase the reliability of the entire system, it is possible to prevent the situation that interferes with the smooth operation of the train by wrong judgment.

도 1, 도 4 및 도 5를 참조하면, 정보 처리부(200)는, 열차 영역(12) 내에 열차의 상태를 판단하는 열차검출모듈(210)을 더 구비한다.1, 4, and 5, the information processing unit 200 further includes a train detection module 210 that determines a state of a train in the train area 12.

일반적으로, 위험 영역(14) 내에 움직임이 검출되는 경우는, 위험 영역(14) 내에 물체가 추락한 경우와, 열차의 움직임이 존재하는 경우와, 스테레오 카메라(110) 주변의 급작스런 밝기 변화가 있는 경우로 나눌 수 있다.In general, when motion is detected in the danger zone 14, when an object falls in the danger zone 14, when a train is present, and there is a sudden change in brightness around the stereo camera 110. It can be divided into cases.

따라서, 위험 영역(14) 내에 물체의 추락 여부를 판단하는 물체검출모듈(220)은, 그 판단의 신뢰성을 높이기 위해서 승강장의 열차 영역(12) 내에 열차가 없는 상태에서 위험 영역(14) 내의 움직임만 판단하도록 설정되는 것이 바람직하다. 즉, 물체검출모듈(220)은, 열차 영역(12) 내에 열차가 없는 경우에 한하여 작동되는 것이 바람직하다.Accordingly, the object detection module 220 that determines whether the object falls in the dangerous area 14 moves in the dangerous area 14 in the absence of a train in the train area 12 of the platform in order to increase the reliability of the determination. It is desirable to be set to judge only. That is, the object detection module 220 is preferably operated only when there is no train in the train area 12.

열차 영역(12) 내에 열차의 상태를 판단하기 위하여, 본 실시예의 열차검출모듈(210)은, 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석하는 영상처리기법을 이용하는데 그 원리를 설명하면 다음과 같다.In order to determine the state of the train in the train area 12, the train detection module 210 of the present embodiment, the image of analyzing the image difference between the current frame and the previous frame of the image information obtained by the stereo camera 110 Using the processing technique, the principle is explained as follows.

[표 1]TABLE 1

열차의 상태The condition of the train 설 명Explanation OFFOFF 승강장 내에 열차가 없는 상태No train in the platform ININ 승강장으로 열차가 진입하고 있는 상태Train is entering the platform ONON 승강장 내에 열차가 정지하고 있는 상태Train is stopped in platform OUTOUT 승장장에서 열차가 출발하고 있는 상태Train is leaving from the platform

상기의 [표 1]에 기재된 바와 같이, 승강장의 열차의 상태는, 승강장 내에 열차가 없는 상태인 오프(OFF) 상태, 승강장으로 열차가 진입하고 있는 상태인 인(IN) 상태), 승강장 내에 열차가 정지하고 있는 상태인 온(ON) 상태 및 승강장에서 열차가 출발하고 있는 상태인 아웃(OUT) 상태의 4가지 상태로 구분된다. 전술한 바와 같이, 물체검출모듈(220)에 의한 위험 영역(14) 내의 물체의 추락 여부 판단은, 열차검출모듈(210)에 의해 열차의 상태가 오프 상태로 판단된 경우에 한하여 수행된다.As described in the above [Table 1], the state of the train in the platform is an OFF state in which there is no train in the platform, an IN state in which the train is entering the platform, and the train in the platform. Is divided into four states: an ON state in which the state is stopped and an OUT state in which the train is departing from the platform. As described above, the object detection module 220 is determined whether the object falls in the danger zone 14 is performed only when the state of the train is determined to be off state by the train detection module 210.

열차검출모듈(210)은 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석함으로써, 상기와 같은 4가지 열차의 상태 사이의 전환을 판단한다.The train detection module 210 analyzes the image difference between the current frame and the previous frame of the image information acquired by the stereo camera 110 to determine the transition between the states of the four trains as described above.

도 4를 참조하면, 본 실시예에서 열차검출모듈(210)은, 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되면 오프-인 전환(OFF-IN transition)으로 판단하고, 오프-인 전환 이후에 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되지 않으면 인-온 전환(IN-ON transition)으로 판단하며, 인-온 전환 이후에 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되면 온-아웃 전환(ON-OUT transition)으로 판단하고, 온-아웃 전환 이후에 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되지 않으면 아웃-오프 전환(OUT-OFF transition)으로 판단한다. 이때, 큰 움직임이 5프레임 연속 검출 여부를 열차 상태 전환의 기준으로 하는 것은, 스테레오 카메라(110) 주변의 급작스런 밝기 변화 또는 다양한 노이즈(noise)에 의해 발생하는 열차검출모듈(210)의 판단오류를 최소화시키기 위함이다.Referring to FIG. 4, in the present exemplary embodiment, the train detection module 210 determines that the train movement module 12 is an off-in transition when a large motion is detected continuously in the train area 12 for five frames. If a large motion is not detected continuously in the train area 12 after 5 transitions, it is determined as an IN-ON transition, and a large movement in the train area 12 is 5 frames after the in-on transition. If it is detected continuously, it is judged as an ON-OUT transition.If a large movement is not detected continuously in the train area 12 after five frames after the on-out transition, it is an OUT-OFF transition. Judging by. At this time, whether the large motion is continuously detected for five frames is a reference for changing the train state, which is determined by a sudden change of brightness around the stereo camera 110 or a determination error of the train detection module 210 caused by various noises. This is to minimize.

한편, 열차검출모듈(210)은, 열차 영역(12) 내에 열차의 움직임과 다른 물체의 움직임을 구별하기 위하여, 도 5에 도시된 바와 같이, 열차 영역(12) 내에 검출되는 움직임 영역(16)이 열차 영역(12)에 포함되고, 움직임 영역(16)의 폭(w)이 열차 영역(12)의 폭(W)의 40% 이상, 움직임 영역(16)의 높이(h)가 열차 영역(12)의 높이(H)의 60% 이상일 경우만 열차의 움직임으로 간주한다.On the other hand, the train detection module 210, in order to distinguish between the movement of the train and the movement of other objects in the train area 12, as shown in Figure 5, the movement area 16 is detected in the train area 12 This train area 12 is included, the width w of the movement area 16 is 40% or more of the width W of the train area 12, and the height h of the movement area 16 is the train area ( Only 60% of the height (H) of 12) is regarded as the movement of the train.

이상 설명한 바와 같이, 본 실시예의 열차검출모듈(210)은 스테레오 카메라(110)에 의해 획득되는 영상 정보를 분석하여 승강장의 열차 영역(12) 내에 열차의 상태를 판단한다. 다만, 본 발명은 이에 한정되지 아니하며, 열차검출모듈(210)은 승강장에 설치되는 적외선 센서 또는 레이저 센서 등의 다양한 센서를 이용하여 승강장의 열차 영역(12) 내에 열차의 상태를 판단하도록 구성될 수 있음은 물론이다.As described above, the train detection module 210 of the present embodiment analyzes the image information obtained by the stereo camera 110 to determine the state of the train in the train area 12 of the platform. However, the present invention is not limited thereto, and the train detection module 210 may be configured to determine the state of the train in the train area 12 of the landing using various sensors such as an infrared sensor or a laser sensor installed in the landing. Of course.

도 1을 참조하면, 정보 처리부(200)는, 물체인식모듈(230) 및 물체추적모듈(240)의 판단결과를 출력하는 결과출력모듈(250)을 더 구비한다. 또한, 본 실시 예에 따른 스테레오 영상기반 승강장 모니터링 시스템은 위험 메시지와 위험 상황에 대한 영상을 열차운행 관계자에게 제공하는 정보 제공부(300)를 더 구비한다.Referring to FIG. 1, the information processing unit 200 further includes a result output module 250 for outputting a determination result of the object recognition module 230 and the object tracking module 240. In addition, the stereo image-based platform monitoring system according to the present embodiment further includes an information providing unit 300 for providing a dangerous message and the image of the dangerous situation to the train operator.

결과출력모듈(250)은, 물체인식모듈(230) 및 물체추적모듈(240)의 판단결과, 즉 위험 영역(14) 내에 위험 물체의 추락에 의한 위험 상황의 발생 여부, 위험 상황의 유형, 위험 상황의 해제 여부 등에 대응되는 신호를 출력한다. 이러한 결과출력모듈(250)에서 출력되는 신호에 근거하여 위험 상황을 알리는 위험 메시지가 생성된다.The result output module 250 is a result of the determination of the object recognition module 230 and the object tracking module 240, that is, whether a dangerous situation occurs due to the fall of the dangerous object in the dangerous area 14, the type of dangerous situation, and the risk. A signal corresponding to whether or not the situation is released is output. Based on the signal output from the result output module 250, a danger message informing of a dangerous situation is generated.

정보 제공부(300)는, 액정표시장치(LCD, Liquid Crystal Display), 개인휴대용 정보단말기(PDA, Personal Digital Assistant) 등의 다양한 디스플레이 장치로서 구현될 수 있으며, 승강장 내에 위험 상황 발생 시에 정보 처리부(200)의 판단결과에 따라 위험 메시지를 위험 상황에 대한 영상과 함께 열차운행 관계자에게 제공된다. 여기서, '열차운행 관계자'는, 해당 역사의 역무원, 열차 기관사, 종합관제실의 운영자를 포함한다.The information providing unit 300 may be implemented as various display devices such as a liquid crystal display (LCD), a personal digital assistant (PDA), and the like. According to the determination result of the 200, a danger message is provided to the train operator along with an image of a dangerous situation. Here, the train operator concerned includes a station employee of the corresponding history, a train driver, and an operator of the general control room.

이하, 도 6 내지 도 8을 참조하여, 전술한 스테레오 영상기반 승강장 모니터링 시스템에 의해 수행되는 스테레오 영상기반 승강장 모니터링 방법의 일 실시예를 설명하기로 한다.Hereinafter, an embodiment of a stereo image-based platform monitoring method performed by the above-described stereo image-based platform monitoring system will be described with reference to FIGS. 6 to 8.

도 6은 도 1에 도시된 시스템에 의한 스테레오 영상기반 승강장 모니터링 방법을 설명하기 위한 흐름도이며, 도 7은 도 6에 도시된 S140 단계를 보다 구체적으로 설명하기 위한 흐름도이고, 도 8은 도 6에 도시된 S150 단계를 보다 구체적으로 설명하기 위한 흐름도이다.  FIG. 6 is a flowchart for describing a stereo image-based platform monitoring method by the system shown in FIG. 1, FIG. 7 is a flowchart for explaining in more detail the step S140 shown in FIG. 6, and FIG. 8 is shown in FIG. 6. It is a flowchart for explaining the step S150 shown in more detail.

도 6을 참조하면, 본 실시예에 따른 스테레오 영상기반 승강장 모니터링 방법은, 영상 정보를 획득하는 단계(S110), 열차 영역(12) 내에 열차의 상태를 판단하는 단계(S120), 위험 영역(14) 내에 물체의 추락 여부를 판단하는 단계(S130), 위험 물체 여부를 판단하는 단계(S140)와, 위험 물체를 추적하는 단계(S150) 및 판단결과를 출력하는 단계(S160)를 구비하는데, 이들 단계를 순차적으로 설명하면 다음과 같다.Referring to FIG. 6, the stereo image-based platform monitoring method according to the present embodiment includes obtaining image information (S110), determining a state of a train in the train area 12 (S120), and a danger area 14. Determining whether the object falls (S130), determining whether the dangerous object (S140), tracking the dangerous object (S150) and outputting the determination result (S160), The steps are described sequentially.

먼저, 정보 수집부(100)는 스테레오 카메라(110)를 이용하여 열차가 진입하는 열차 영역(12)을 포함한 승강장 모니터링 영역(10)에 대한 영상 정보를 획득한다(S110).First, the information collecting unit 100 obtains image information on the platform monitoring area 10 including the train area 12 into which a train enters using the stereo camera 110 (S110).

그 다음. 정보 처리부(200)는 정보 수집부(100)로부터 전송되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 열차 영역(12) 내에 열차의 상태를 판단한다(S120).next. The information processor 200 determines a state of a train in the train area 12 based on the image difference between the current frame and the previous frame of the image information transmitted from the information collector 100 (S120).

열차 상태의 판단결과, 열차 영역(12) 내에 열차가 없는 것으로 판단되면, 정보 처리부(200)는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 위험 영역(14) 내에 물체의 추락 여부를 판단한다(S130).As a result of the determination of the train state, if it is determined that there is no train in the train area 12, the information processing unit 200 determines whether an object falls in the danger area 14 based on the image difference between the current frame and the previous frame of the image information. Determine (S130).

위험 영역(14) 내에 물체가 추락한 것으로 판단되면, 정보 처리부(200)는 스테레오 카메라(110)에 의한 물체의 3차원 정보에 기초하여 위험 영역(14) 내에 추락한 물체가 위험 물체인지 여부를 판단한다(S140).If it is determined that the object has fallen in the dangerous area 14, the information processing unit 200 determines whether the object that has fallen in the dangerous area 14 is a dangerous object based on the three-dimensional information of the object by the stereo camera 110. It is determined (S140).

도 7을 참조하여 위험 물체 여부를 판단하는 단계(S140)를 구체적으로 설명하면 다음과 같다. 먼저, 정보 처리부(200)는 스테레오 카메라(110)에 의한 물체의 3차원 정보에 기초하여 위험 영역(14) 내에 추락한 물체의 크기를 산출한다(S141). 그 다음, 정보 처리부(200)는 산출된 크기를 설정크기와 비교하여, 만약 산출된 크기가 설정크기 이상이면 추락한 물체를 위험 물체로 판단한다(S142). The step S140 of determining whether a dangerous object is described in detail with reference to FIG. 7 will now be described. First, the information processing unit 200 calculates the size of the object dropped in the danger area 14 based on the three-dimensional information of the object by the stereo camera 110 (S141). Next, the information processing unit 200 compares the calculated size with the set size, and if the calculated size is larger than the set size, determines that the fallen object is a dangerous object (S142).

위험 영역(14) 내에 추락한 물체가 위험 물체로 판단되면, 정보 처리부(200)는 추락한 물체에 고유의 식별코드를 부여하고, 그 움직임을 추적한다(S150). 이때, 정보 처리부(200)는 영상 정보의 현재 프레임과 이전 프레임의 영상 차이를 분석함으로써 식별코드가 부여된 물체의 움직임을 추적한다.If the object fallen in the dangerous area 14 is determined to be a dangerous object, the information processing unit 200 assigns a unique identification code to the fallen object and tracks its movement (S150). At this time, the information processing unit 200 tracks the movement of the object to which the identification code is assigned by analyzing the image difference between the current frame and the previous frame of the image information.

도 8을 참조하여 위험 물체를 추적하는 단계(S150)를 구체적으로 설명하면 다음과 같다. 먼저, 정보 처리부(200)는 위험 영역(14) 내에 추락한 물체가 위험 물체로 판단되면 추락한 물체에 고유의 식별코드를 부여하고(S151), 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석함으로써 식별코드가 부여된 위험 물체의 움직임을 검출한다(S152).Referring to FIG. 8, the step S150 of tracking a dangerous object will be described in detail. First, when the object fallen in the dangerous area 14 is determined to be a dangerous object, the information processing unit 200 assigns a unique identification code to the fallen object (S151), and the image difference between the current frame and the previous frame of the image information. By detecting the detection of the movement of the dangerous object given the identification code (S152).

만약, 식별코드가 부여된 위험 물체의 움직임이 검출되면, 발생한 위험 상황의 해제 여부를 확인하기 위해서, 정보 처리부(200)는 위험 물체의 추적을 계속하여(S153), 위험 물체가 위험 영역(14)을 벗어났지 여부를 판단한다(S154). 위험 물체가 위험 영역(14)을 벗어난 것으로 판단되면, 정보 처리부(200)는 부여된 식별코드를 삭제한다(S155).If the movement of the dangerous object to which the identification code is assigned is detected, in order to confirm whether the dangerous situation is released, the information processing unit 200 continues tracking the dangerous object (S153), and the dangerous object is the dangerous area 14. It is determined whether or not out of step (S154). If it is determined that the dangerous object is out of the dangerous area 14, the information processing unit 200 deletes the assigned identification code (S155).

한편, 식별코드가 부여된 위험 물체의 움직임이 검출되지 않으면, 스테레오 카메라(110) 주변의 급작스런 밝기 변화 등의 영향에 의한 판단오류를 수정하기 위해서, 정보 처리부(200)는 현재 영상과 미리 저장된 배경 영상을 비교하여(S156), 위험 영역(14) 내에 위험 물체의 부존재를 판단한다(S157). 위험 영역(14) 내에 위험 물체가 없는 것으로 판단되면, 정보 처리부(200)는 부여된 식별코드를 삭제한다(S158).On the other hand, if the movement of the dangerous object to which the identification code is assigned is not detected, in order to correct a determination error caused by the sudden change in brightness around the stereo camera 110, the information processing unit 200 stores the current image and the pre-stored background. By comparing the images (S156), it is determined whether there is a dangerous object in the dangerous area 14 (S157). If it is determined that there is no dangerous object in the dangerous area 14, the information processing unit 200 deletes the assigned identification code (S158).

마지막으로, 정보 처리부(200)는 위험 물체의 판단결과 및 추적결과에 대응되는 신호를 출력한다(S160). 이와 같이 출력되는 신호에 근거하여 위험 상황을 알리는 메시지가 생성되며, 생성된 위험 메시지는 위험 상황에 대한 영상과 함께 다양한 디스플레이 장치로 구현되는 정보 제공부(300)를 통해 열차운행 관계자에게 제공된다.Finally, the information processing unit 200 outputs a signal corresponding to the determination result and the tracking result of the dangerous object (S160). A message informing of a dangerous situation is generated based on the signal output as described above, and the generated dangerous message is provided to a train operator through an information providing unit 300 implemented by various display devices together with an image of the dangerous situation.

본 발명은 전술한 실시예들에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.It is apparent to those skilled in the art that the present invention is not limited to the above-described embodiments, and that various modifications and changes can be made without departing from the spirit and scope of the present invention. Therefore, such modifications or variations will have to be belong to the claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 스테레오 영상기반 승강장 모니터링 시스템의 구성도이다.1 is a block diagram of a stereo image-based platform monitoring system according to an embodiment of the present invention.

도 2는 도 1의 스테레오 카메라에 의해 촬영되는 승강장 모니터링 영역을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing a platform monitoring area photographed by the stereo camera of FIG. 1.

도 3은 스테레오 카메라를 이용하여 3차원 좌표 정보를 획득하는 방법을 설명하기 위한 도면이다.3 is a diagram for describing a method of obtaining 3D coordinate information using a stereo camera.

도 4는 열차 영역 내 열차의 상태 전환을 나타낸 도면이다.4 is a view showing a state change of the train in the train area.

도 5는 도 2의 승강장 모니터링 영역 내에 열차의 움직임을 검출하는 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of detecting a movement of a train in a platform monitoring area of FIG. 2.

도 6은 도 1에 도시된 시스템에 의한 스테레오 영상기반 승강장 모니터링 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a stereo image-based platform monitoring method by the system of FIG. 1.

도 7은 도 6에 도시된 S140 단계를 보다 구체적으로 설명하기 위한 흐름도이다.FIG. 7 is a flowchart for describing the step S140 shown in FIG. 6 in more detail.

도 8은 도 6에 도시된 S150 단계를 보다 구체적으로 설명하기 위한 흐름도이다. FIG. 8 is a flowchart for describing the operation S150 shown in FIG. 6 in more detail.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100 : 정보 수집부 110 : 스테레오 카메라100: information collecting unit 110: a stereo camera

120 : 센서 모듈 200 : 정보 처리부120: sensor module 200: information processing unit

210 : 열차검출모듈 220 : 물체검출모듈210: train detection module 220: object detection module

230 : 물체인식모듈 240 : 물체추적모듈230: object recognition module 240: object tracking module

250 : 결과출력모듈 300 : 정보 제공부250: output module 300: information providing unit

Claims (20)

열차가 진입하는 열차 영역을 포함한 승강장 모니터링 영역에 대한 영상 정보를 획득하기 위한 적어도 하나의 스테레오 카메라를 구비하는 정보 수집부; 및An information collector including at least one stereo camera for acquiring image information of a platform monitoring area including a train area into which a train enters; And 상기 정보 수집부에 의해 획득된 상기 영상 정보에 기초하여, 상기 열차 영역 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역 내에 물체의 추락 여부를 판단하는 물체검출모듈과, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역 내에 추락한 물체가 미리 설정된 기준에 의해 정상적인 열차 운행에 지장을 주는 위험 물체인지 여부를 판단하는 물체인식모듈을 구비하는 정보 처리부를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.Based on the image information obtained by the information collecting unit, the object detection module for determining whether the object falls in the danger zone that is preset to the area in which the object falls in the train area to interfere with normal train operation And an object recognition module for determining whether an object fallen in the dangerous area is a dangerous object that impedes normal train operation based on a preset criterion based on the three-dimensional coordinate information of the object by the stereo camera. Stereo image-based platform monitoring system comprising a processing unit. 제1항에 있어서,The method of claim 1, 상기 물체인식모듈은,The object recognition module, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역에 추락한 물체의 크기를 산출하고, 상기 산출된 크기가 설정크기 이상이면 상기 위험 물체로 판단하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.The stereo image-based platform, characterized in that for calculating the size of the object falling in the dangerous area based on the three-dimensional coordinate information of the object by the stereo camera, and if the calculated size is more than the set size. Monitoring system. 제1항에 있어서,The method of claim 1, 상기 정보 처리부는,The information processing unit, 상기 추락한 물체가 상기 위험 물체로 판단되면, 상기 추락한 물체에 고유의 식별코드를 부여하고, 상기 식별코드가 부여된 물체의 움직임을 추적하는 물체추적모듈을 더 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.If the falling object is determined to be the dangerous object, a stereo image further comprising: an object tracking module for assigning a unique identification code to the fallen object, and tracking the movement of the object to which the identification code is assigned. Based platform monitoring system. 제3항에 있어서The method of claim 3, 상기 물체추적모듈은,The object tracking module, 상기 식별코드가 부여된 물체의 움직임이 검출되는 경우, 상기 물체의 추적을 계속하여 상기 물체의 추적 중 상기 물체가 상기 위험 영역을 벗어난 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.When the movement of the object to which the identification code is assigned is detected, if the object is out of the dangerous area during the tracking of the object by continuing the tracking of the object, the assigned identification code is deleted. Stereo image based platform monitoring system. 제3항에 있어서,The method of claim 3, 상기 물체추적모듈은,The object tracking module, 상기 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교하여 상기 위험 영역 내에 상기 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 것을 특징으로 스테레오 영상기반 승강장 모니터링 시스템. If the movement of the object to which the identification code is assigned is not detected, comparing the current image with a pre-stored background image and determining that the object to which the identification code is assigned does not exist in the dangerous area, Stereo image-based platform monitoring system characterized in that the deletion. 제3항에 있어서,The method of claim 3, 상기 물체추적모듈은,The object tracking module, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 식별코드가 부여된 물체의 움직임을 추적하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.And a platform for tracking the movement of the object to which the identification code is assigned based on the image difference between the current frame and the previous frame of the image information. 제1항에 있어서,The method of claim 1, 상기 정보 처리부는,The information processing unit, 상기 열차 영역 내 열차의 상태를 판단하는 열차검출모듈을 더 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.Stereo image-based platform monitoring system further comprises a train detection module for determining the state of the train in the train area. 제7항에 있어서,The method of claim 7, wherein 상기 열차검출모듈은,The train detection module, 상기 영상 정보에 기초하여 상기 열차 영역 내 열차의 상태를 판단하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.Stereo image-based platform monitoring system for determining the state of the train in the train area based on the image information. 제1항 또는 제7항에 있어서,The method according to claim 1 or 7, 상기 물체검출모듈은,The object detection module, 상기 열차 영역 내 열차가 없는 경우에 한하여 작동되는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.Stereo image-based platform monitoring system, characterized in that the operation only when there is no train in the train area. 제1항에 있어서,The method of claim 1, 상기 물체검출모듈은,The object detection module, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 위험 영역 내에 물체의 추락 여부를 판단하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템.And determining whether an object falls within the dangerous area based on an image difference between a current frame and a previous frame of the image information. 적어도 하나의 스테레오 카메라를 이용하여 열차가 진입하는 열차 영역을 포함한 승강장 모니터링 영역에 대한 영상 정보를 획득하는 단계;Obtaining image information on a platform monitoring area including a train area into which a train enters using at least one stereo camera; 상기 획득된 상기 영상 정보에 기초하여 상기 열차 영역 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역 내에 물체의 추락 여부를 판단하는 단계; 및Determining whether an object falls within a danger area that is previously set as an area where objects fall in the train area to interfere with normal train operation based on the acquired image information; And 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역 내에 추락한 물체가 미리 설정된 기준에 의해 정상적인 열차 운행에 지장을 주는 위험 물체인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.And determining whether an object fallen in the dangerous area is a dangerous object that impedes normal train operation based on a preset criterion based on the three-dimensional coordinate information of the object by the stereo camera. Image-based platform monitoring method. 제11항에 있어서,The method of claim 11, 상기 위험 물체인지 여부를 판단하는 단계는,Determining whether or not the dangerous object, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역에 추락한 물체의 크기를 산출하고, 상기 산출된 크기가 설정크기 이상이면 상기 위험 물체로 판단하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.The stereo image-based platform, characterized in that for calculating the size of the object falling in the dangerous area based on the three-dimensional coordinate information of the object by the stereo camera, and if the calculated size is larger than the set size. Monitoring method. 제11항에 있어서,The method of claim 11, 상기 추락한 물체가 상기 위험 물체로 판단되면, 상기 추락한 물체에 고유의 식별코드를 부여하고, 상기 식별코드가 부여된 물체의 움직임을 추적하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.And if the fallen object is determined to be the dangerous object, assigning a unique identification code to the fallen object and tracking the movement of the object to which the identification code is assigned. Monitoring method. 제13항에 있어서The method of claim 13, 상기 물체의 움직임을 추적하는 단계는,Tracking the movement of the object, 상기 식별코드가 부여된 물체의 움직임이 검출되는 경우, 상기 물체의 추적을 계속하여 상기 물체의 추적 중 상기 물체가 상기 위험 영역을 벗어난 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.If the movement of the object to which the identification code is assigned is detected, continuing tracking the object and determining that the object is out of the dangerous area during tracking of the object, and deleting the assigned identification code. Stereo image-based platform monitoring method characterized in that. 제13항에 있어서,The method of claim 13, 상기 물체의 움직임을 추적하는 단계는,Tracking the movement of the object, 상기 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교하여 상기 위험 영역 내에 상기 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 단계를 포함하는 것을 특징으로 스테레오 영상기반 승강장 모니터링 방법.If the movement of the object to which the identification code is assigned is not detected, comparing the current image with a pre-stored background image and determining that the object to which the identification code is assigned does not exist in the dangerous area, Stereo image-based platform monitoring method comprising the step of deleting. 제13항에 있어서,The method of claim 13, 상기 물체의 움직임을 추적하는 단계는,Tracking the movement of the object, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 식별코드가 부여된 물체의 움직임을 추적하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.3. The method of claim 3, further comprising: tracking a movement of an object to which the identification code is assigned based on an image difference between a current frame and a previous frame of the image information. 제11항에 있어서,The method of claim 11, 상기 물체의 추락 여부를 판단하는 단계 전에,Before the step of determining whether the object falls, 상기 열차 영역 내 열차의 상태를 판단하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.Stereo image-based platform monitoring method further comprising the step of determining the state of the train in the train area. 제17항에 있어서,The method of claim 17, 상기 열차의 상태를 판단하는 단계는,Determining the state of the train, 상기 영상 정보에 기초하여 상기 열차 영역 내 열차의 상태를 판단하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.Stereo image-based platform monitoring method for determining the state of the train in the train area based on the image information. 제11항 또는 제17항에 있어서,The method according to claim 11 or 17, 상기 물체의 추락 여부를 판단하는 단계는,Determining whether or not the object falls, 상기 열차 영역 내 열차가 없는 경우에 한하여 수행되는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.Stereo image-based platform monitoring method characterized in that it is performed only if there is no train in the train area. 제11항에 있어서,The method of claim 11, 상기 물체의 추락 여부를 판단하는 단계는,Determining whether or not the object falls, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 위험 영역 내에 물체의 추락 여부를 판단하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법.And determining whether an object falls within the danger area based on an image difference between a current frame and a previous frame of the image information.
KR1020070092609A 2007-09-12 2007-09-12 Stereo vision based monitoring system in railway station and method thereof KR100897914B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070092609A KR100897914B1 (en) 2007-09-12 2007-09-12 Stereo vision based monitoring system in railway station and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070092609A KR100897914B1 (en) 2007-09-12 2007-09-12 Stereo vision based monitoring system in railway station and method thereof

Publications (2)

Publication Number Publication Date
KR20090027410A true KR20090027410A (en) 2009-03-17
KR100897914B1 KR100897914B1 (en) 2009-05-18

Family

ID=40695030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070092609A KR100897914B1 (en) 2007-09-12 2007-09-12 Stereo vision based monitoring system in railway station and method thereof

Country Status (1)

Country Link
KR (1) KR100897914B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136405A1 (en) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 Image recognition device and method using 3d camera
WO2012124852A1 (en) * 2011-03-14 2012-09-20 (주)아이티엑스시큐리티 Stereo camera device capable of tracking path of object in monitored area, and monitoring system and method using same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050062889A (en) * 2003-12-19 2005-06-28 주식회사 코아이앤에스 Train emergency control system and method using unexpected accident image detector
KR100573727B1 (en) * 2004-05-13 2006-04-27 (주)일성자동화 Safety accident preventing system for railroad platform
KR100750347B1 (en) * 2005-12-20 2007-08-17 한국철도기술연구원 A Monitoring System for Subway Platform using Stereoscopic Video Camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136405A1 (en) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 Image recognition device and method using 3d camera
WO2012124852A1 (en) * 2011-03-14 2012-09-20 (주)아이티엑스시큐리티 Stereo camera device capable of tracking path of object in monitored area, and monitoring system and method using same

Also Published As

Publication number Publication date
KR100897914B1 (en) 2009-05-18

Similar Documents

Publication Publication Date Title
KR100916960B1 (en) Monitoring system in railway station
US8660700B2 (en) Video-based system and method of elevator door detection
US8253792B2 (en) Vision system for monitoring humans in dynamic environments
US11417134B2 (en) Image analysis device, image analysis method, and recording medium
KR100750347B1 (en) A Monitoring System for Subway Platform using Stereoscopic Video Camera
KR101852058B1 (en) unexpected accident detecting method using dual camera
CN110187702B (en) Automatic vehicle control device capable of determining occupied track and corresponding control method
KR100690279B1 (en) Multipurpose video image detection system
KR20100010734A (en) Monitoring system in railway station stereo camera and thermal camera and method thereof
KR100897914B1 (en) Stereo vision based monitoring system in railway station and method thereof
JP3361399B2 (en) Obstacle detection method and device
CN112268515B (en) Platform door gap anti-pinch detection method and system based on multi-sensor fusion technology
JP4250172B2 (en) Object detection method and object detection apparatus
JP6699179B2 (en) Image processing device
KR101937791B1 (en) Screen door system and operating method thereof
JP5710230B2 (en) Monitoring system and monitoring method
KR101874639B1 (en) CCTV camera device for elevators using motion sensor
JP3758511B2 (en) Object detection apparatus and object detection program
JP4561266B2 (en) Falling object detector
KR100444929B1 (en) Image processing alarm system and method for automatically sensing unexpected accident at train platform
KR20170133592A (en) Fall protection system on Platform
JP2006268678A (en) Device and method for detecting stopping or low-speed vehicle
JP2006118914A (en) Object detector
JP7495315B2 (en) How to detect abnormalities in surveillance cameras
JP7014021B2 (en) Image processing device and monitoring area setting method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130108

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140212

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150507

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160503

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180508

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190507

Year of fee payment: 11