KR20090027410A - Stereo vision based monitoring system in railway station and method thereof - Google Patents
Stereo vision based monitoring system in railway station and method thereof Download PDFInfo
- Publication number
- KR20090027410A KR20090027410A KR1020070092609A KR20070092609A KR20090027410A KR 20090027410 A KR20090027410 A KR 20090027410A KR 1020070092609 A KR1020070092609 A KR 1020070092609A KR 20070092609 A KR20070092609 A KR 20070092609A KR 20090027410 A KR20090027410 A KR 20090027410A
- Authority
- KR
- South Korea
- Prior art keywords
- train
- area
- image
- dangerous
- identification code
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
Description
본 발명은, 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법에 관한 것으로, 보다 상세하게는, 스테레오 카메라에 의해 획득되는 영상 정보에 기초하여 승강장 내의 위험 상황을 판단하는 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법에 관한 것이다.The present invention relates to a stereo image-based platform monitoring system and method, and more particularly, to a stereo image-based platform monitoring system and method for determining a dangerous situation in the platform based on the image information obtained by the stereo camera. It is about.
철도분야에서 승객의 안전은 무엇보다 중요한 과제로서 철도안전이 집중 관리되고 있음에도 여전히 매년 수십 명의 승객들이 승강장 추락사고로 인해 숨지고 있으며, 이는 철도분야에서 해결해야 할 가장 시급한 문제로 떠오르고 있다.Passenger safety is the most important task in the railway sector, and despite the centralized management of railway safety, dozens of passengers are being killed every year due to the crash of the platform, which is emerging as the most urgent problem to be solved in the railway sector.
최근, 정보기술(IT)의 발전과 함께 철도환경에서 폐쇄회로 TV나 다양한 형태의 비전 센서를 이용한 응용시스템이 시도되고 있다. 현재 지하철 폐쇄회로 TV는 열차운전의 확인 및 승객의 이동, 승하차 등을 감시할 목적으로 각 역의 승강장 또는 승객 밀집지역에 설치하여 운영되고 있으며, 차량 및 선로상태를 비롯한 철도 인프라의 유지보수 목적으로 다양한 형태의 카메라 센서가 적용되고 있다.Recently, with the development of information technology (IT), an application system using a closed circuit TV or various types of vision sensors in a railway environment has been attempted. The subway closed circuit TV is currently installed and operated in the platform or passenger area of each station for the purpose of checking train operation and monitoring passenger movement and getting on and off.It is also used for maintenance of railway infrastructure including vehicles and track conditions. Various types of camera sensors are applied.
종래의 폐쇄회로 TV가 단순히 수동적으로 영상 정보를 기관사나 지역 사령실 에 전송하는데 반하여, 사람이나 기타 장애물의 위치 및 동작을 감지하여 스스로 지능적으로 위험 상황을 판단하고 신속히 대응하기 위해 관련 근무자에게 알려주는 다양한 형태의 시도가 필요한 실정이었다.Whereas conventional closed-circuit TVs simply passively transmit video information to the driver or local command office, they can detect the location and movement of people or other obstacles and intelligently determine the dangerous situation and inform the relevant workers to respond quickly. It was necessary to try a form.
이와 같이 종래의 모니터링 시스템은 단순히 감시하고자 하는 장소에 아날로그 방식의 폐쇄회로 TV를 설치하여 화면으로 보이는 상황(CCTV 개수에 따라 여러 분할 화면을 순차적으로 보여줌)을 항시 근무자가 모니터링을 해야만 하기 때문에 현실적으로 신속하고 정확한 상황파악 및 신속한 대처가 어렵다는 문제점이 있다.As such, the conventional monitoring system is simply installed by analogue closed circuit TV in the place to be monitored, so that the worker must monitor the situation that is displayed on the screen (sequentially showing several divided screens according to the number of CCTVs). And there is a problem that it is difficult to identify the correct situation and prompt response.
한편, 최근에는 승객의 선로 추락사고를 사전에 차단하기 위해서 스크린 도어(Screen Door)의 설치를 확대하고 있으나, 모든 승강장에 설치하기에는 경제적인 부담이 크고, 특히 지상(地上) 승강장일 경우에는 주변 경관을 차단하여 승객들의 답답함을 가중시키는 문제점이 있다.On the other hand, in recent years, the installation of screen doors has been expanded in order to prevent passengers from crashing in advance, but it is economically expensive to install on all platforms, especially in the case of ground platforms. There is a problem that increases the passenger's frustration by blocking the.
본 발명의 목적은, 승강장 내의 위험 상황에 대한 신속한 파악과 신속한 대처가 가능하고, 시스템의 신뢰성을 높일 수 있는 승강장 모니터링 시스템 및 그 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a platform monitoring system and method capable of quickly identifying and promptly responding to a dangerous situation in a platform and improving the reliability of the system.
상기 목적은, 본 발명에 따라, 열차가 진입하는 열차 영역을 포함한 승강장 모니터링 영역에 대한 영상 정보를 획득하기 위한 적어도 하나의 스테레오 카메라를 구비하는 정보 수집부; 및 상기 정보 수집부에 의해 획득된 상기 영상 정보에 기초하여, 상기 열차 영역 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역 내에 물체의 추락 여부를 판단하는 물체검출모듈과, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역 내에 추락한 물체가 미리 설정된 기준에 의해 정상적인 열차 운행에 지장을 주는 위험 물체인지 여부를 판단하는 물체인식모듈을 구비하는 정보 처리부를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 시스템에 의해 달성된다.The above object is, according to the present invention, the information collection unit having at least one stereo camera for obtaining image information for the platform monitoring area including the train area to enter the train; And an object detection unit determining whether or not the object falls within a danger area that is previously set as an area in which the object may fall and interfere with normal train operation, based on the image information obtained by the information collecting unit. And an object recognition module configured to determine whether an object fallen in the dangerous area is a dangerous object that impedes normal train operation based on a preset criterion based on the three-dimensional coordinate information of the object by the stereo camera. It is achieved by a stereo image-based platform monitoring system comprising an information processing unit.
본 발명에 있어서, 상기 물체인식모듈은, 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역에 추락한 물체의 크기를 산출하고, 상기 산출된 크기가 설정크기 이상이면 상기 위험 물체로 판단할 수 있다.In the present invention, the object recognition module, based on the three-dimensional coordinate information of the object by the stereo camera calculates the size of the object fall in the dangerous area, if the calculated size is more than the set size the dangerous object Judging by
상기 정보 처리부는, 상기 추락한 물체가 상기 위험 물체로 판단되면, 상기 추락한 물체에 고유의 식별코드를 부여하고, 상기 식별코드가 부여된 물체의 움직임을 추적하는 물체추적모듈을 더 포함할 수 있다.The information processing unit may further include an object tracking module for assigning a unique identification code to the fallen object and tracking the movement of the object to which the identification code is assigned when the fallen object is determined to be the dangerous object. have.
상기 물체추적모듈은, 상기 식별코드가 부여된 물체의 움직임이 검출되는 경우, 상기 물체의 추적을 계속하여 상기 물체의 추적 중 상기 물체가 상기 위험 영역을 벗어난 것으로 판단되면, 상기 부여된 식별코드를 삭제할 수 있다.When the object tracking module detects a movement of an object to which the identification code is assigned, the object tracking module continues tracking the object and determines that the object is out of the dangerous area during tracking of the object. You can delete it.
상기 물체추적모듈은, 상기 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교하여 상기 위험 영역 내에 상기 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 상기 부여된 식별코드를 삭제할 수 있다.If the object tracking module does not detect the movement of the object to which the identification code is assigned, if it is determined that the object to which the identification code is assigned does not exist in the dangerous area by comparing the current image with a pre-stored background image, The assigned identification code can be deleted.
상기 물체추적모듈은, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 식별코드가 부여된 물체의 움직임을 추적할 수 있다.The object tracking module may track the movement of the object to which the identification code is assigned based on the image difference between the current frame and the previous frame of the image information.
상기 정보 처리부는, 상기 열차 영역 내 열차의 상태를 판단하는 열차검출모듈을 더 포함할 수 있다.The information processing unit may further include a train detection module that determines a state of a train in the train area.
상기 열차검출모듈은, 상기 영상 정보에 기초하여 상기 열차 영역 내 열차의 상태를 판단할 수 있다.The train detection module may determine a state of a train in the train area based on the image information.
상기 물체검출모듈은, 상기 열차 영역 내 열차가 없는 경우에 한하여 작동될 수 있다.The object detection module may be operated only when there is no train in the train area.
상기 물체검출모듈은, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 위험 영역 내에 물체의 추락 여부를 판단할 수 있다.The object detection module may determine whether an object falls within the danger area based on an image difference between a current frame and a previous frame of the image information.
상기 목적은, 본 발명에 따라, 적어도 하나의 스테레오 카메라를 이용하여 열차가 진입하는 열차 영역을 포함한 승강장 모니터링 영역에 대한 영상 정보를 획득하는 단계; 상기 획득된 영상 정보에 기초하여 상기 열차 영역 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 정의되는 위험 영역 내에 물체의 추락 여부를 판단하는 단계; 및 상기 스테레오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역 내에 추락한 물체가 미리 설정된 기준에 의해 정상적인 열차 운행에 지장을 주는 위험 물체인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 승강장 모니터링 방법에 의해 달성된다.The object of the present invention is to obtain image information on a platform monitoring area including a train area into which a train enters using at least one stereo camera; Determining whether an object falls within a danger area defined as an area in which the object falls among the train areas to interfere with normal train operation based on the acquired image information; And determining whether an object fallen in the danger area is a dangerous object that impedes normal train operation based on a preset criterion, based on the three-dimensional coordinate information of the object by the stereo camera. It is achieved by stereo image based platform monitoring method.
본 발명에 있어서, 상기 위험 물체인지 여부를 판단하는 단계는,상기 스테레 오 카메라에 의한 물체의 3차원 좌표 정보에 기초하여 상기 위험 영역에 추락한 물체의 크기를 산출하고, 상기 산출된 크기가 설정크기 이상이면 상기 위험 물체로 판단할 수 있다.In the present invention, the step of determining whether the dangerous object, the size of the object falling in the dangerous area based on the three-dimensional coordinate information of the object by the stereo camera, the calculated size is If the size is larger than the set may be determined as the dangerous object.
본 발명에 따른 스테레오 영상기반 승강장 모니터링 방법은, 상기 추락한 물체가 상기 위험 물체로 판단되면, 상기 추락한 물체에 고유의 식별코드를 부여하고, 상기 식별코드가 부여된 물체의 움직임을 추적하는 단계를 더 포함할 수 있다.In the stereo image-based platform monitoring method according to the present invention, if it is determined that the fallen object is the dangerous object, assigning a unique identification code to the fallen object, and tracking the movement of the object to which the identification code is assigned. It may further include.
상기 물체의 움직임을 추적하는 단계는, 상기 식별코드가 부여된 물체의 움직임이 검출되는 경우, 상기 물체의 추적을 계속하여 상기 물체의 추적 중 상기 물체가 상기 위험 영역을 벗어난 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 단계를 포함할 수 있다.The tracking of the movement of the object may include: if the movement of the object to which the identification code is assigned is detected, if the object is out of the dangerous area during the tracking of the object and continues to track the object, the grant It may include the step of deleting the identified identification code.
상기 물체의 움직임을 추적하는 단계는, 상기 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교하여 상기 위험 영역 내에 상기 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 상기 부여된 식별코드를 삭제하는 단계를 포함할 수 있다.In the tracking of the movement of the object, if the movement of the object to which the identification code is assigned is not detected, the object to which the identification code is assigned does not exist in the danger area by comparing a current image with a pre-stored background image. If it is determined that it may include the step of deleting the assigned identification code.
상기 물체의 움직임을 추적하는 단계는, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 식별코드가 부여된 물체의 움직임을 추적할 수 있다.The tracking of the movement of the object may track the movement of the object to which the identification code is assigned based on the image difference between the current frame and the previous frame of the image information.
본 발명에 따른 스테레오 영상기반 승강장 모니터링 방법은, 상기 물체의 추락 여부를 판단하는 단계 전에, 상기 열차 영역 내 열차의 상태를 판단하는 단계를 더 포함할 수 있다.The stereo image-based platform monitoring method according to the present invention may further include determining a state of a train in the train area before determining whether the object has fallen.
상기 열차의 상태를 판단하는 단계는, 상기 영상 정보에 기초하여 상기 열차 영역 내 열차의 상태를 판단할 수 있다.In the determining of the state of the train, the state of the train in the train area may be determined based on the image information.
상기 물체의 추락 여부를 판단하는 단계는, 상기 열차 영역 내 열차가 없는 경우에 한하여 수행될 수 있다.The determining of the fall of the object may be performed only when there is no train in the train area.
상기 물체의 추락 여부를 판단하는 단계는, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 위험 영역 내에 물체의 추락 여부를 판단할 수 있다.The determining whether the object falls may determine whether the object falls within the danger area based on an image difference between the current frame and the previous frame of the image information.
본 발명은 스테레오 카메라에 의해 획득되는 3차원 영상 정보에 기초하여 승강장 내의 위험 상황을 지능적으로 판단함으로써, 위험 상황에 대한 신속한 파악과 신속한 대처가 가능하고, 시스템의 신뢰성을 높일 수 있다.According to the present invention, by intelligently determining a dangerous situation in a platform based on three-dimensional image information obtained by a stereo camera, it is possible to quickly identify and quickly deal with a dangerous situation and to improve the reliability of a system.
이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예를 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1 to 5.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상기반 승강장 모니터링 시스템의 구성도이며, 도 2는 도 1의 스테레오 카메라(110)에 의해 촬영되는 승강장 모니터링 영역(10)을 설명하기 위한 도면이고, 도 3은 스테레오 카메라(110)를 이용하여 3차원 좌표 정보를 획득하는 방법을 설명하기 위한 도면이며, 도 4는 열차 영역(12) 내에 열차의 상태 전환을 나타낸 도면이고, 도 5는 도 2의 승강장 모니터링 영역(10) 내에 열차의 움직임을 검출하는 방법을 설명하기 위한 도면이다.1 is a block diagram of a stereo image-based platform monitoring system according to an embodiment of the present invention, Figure 2 is a view for explaining the
도 1을 참조하면, 본 실시예에 따른 스테레오 영상기반 승강장 모니터링 시 스템은, 승강장 모니터링 영역(10)에 대한 영상 정보를 획득하는 정보 수집부(100)와, 정보 수집부(100)에 의해 수집되는 영상 정보에 기초하여 위험 영역(14) 내에 물체의 추락 여부 및 추락한 물체가 위험 물체인지 여부를 판단하는 정보 처리부(200)를 구비한다.Referring to FIG. 1, the stereo image-based platform monitoring system according to the present embodiment may be collected by the
도 2를 참조하면, 승강장 모니터링 영역(10)은, 열차가 진입하는 열차 영역(12)과, 열차 영역(12) 중 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역(14)이 사전에 설정된다. 이때, '위험 영역(14)'은 구체적으로 열차 선로 주변의 영역을 의미한다.Referring to FIG. 2, the
도 1 및 도 2를 참조하면, 정보 수집부(100)는 열차가 진입하는 열차 영역(12)을 포함한 승강장 모니터링 영역(10)에 대한 영상 정보를 획득하기 위해 승강장 내에 설치되는 스테레오 카메라(110)를 구비한다. 스테레오 카메라(110)는 승강장에 진입하는 열차와 전체 승강장 상황을 촬영할 수 있는 위치(예를 들면, 열차의 진행 방향에 대해 승강장의 맨 앞쪽)에 설치되는 것이 바람직하며, 전체 승강장 상황에 대한 충분한 모니터링을 위해 열차의 선로를 따라 소정간격을 두고 복수 개의 스테레오 카메라(110)가 설치될 수도 있다.1 and 2, the
이러한 스테레오 카메라(110)는 일반적인 모노 카메라와는 달리 획득된 영상의 픽셀마다 3차원 좌표를 얻을 수 있기 때문에, 모니터링 영역을 임의의 3차원 공간으로 정의할 수 있으며, 이에 따라 모니터링 영역 내의 물체에 대한 3차원 좌표 정보를 얻을 수 있는데, 그 구체적인 방법에 대해서는 후술하기로 한다.Unlike the general mono camera, since the
본 실시예에서 정보 수집부(100)는, 승강장 모니터링 영역(10)에 대한 영상 정보만을 수집하여 정보 처리부(200)에 전송한다. 다만, 본 발명은 이에 한정되지 아니하며, 정보 수집부(100)는, 승강장 모니터링 영역(10)에 대한 검지 정보를 획득하기 위해에 승강장 내에 설치되는 적외선 센서, 레이저 센서, 초음파 센서, 초단파 센서 등으로 구현되는 센서 모듈(120)을 더 구비할 수 있다. 이러한 센서 모듈(120)에 의해 수집되는 승강장 모니터링 영역(10)에 대한 검지 정보는 스테레오 카메라(110)에 의해 수집되는 영상 정보와 함께 위험 상황 발생 여부에 대한 판단 자료로서 정보 처리부(200)에 전송된다.In the present embodiment, the
도 1을 참조하면, 정보 처리부(200)는, 정보 수집부(100)의 스테레오 카메라(110)에 의해 획득되는 영상 정보에 기초하여 물체가 추락하여 정상적인 열차 운행에 지장을 줄 수 있는 영역으로 미리 설정되는 위험 영역(14) 내에 물체의 추락 여부를 판단하는 물체검출모듈(220)과, 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체가 위험 물체인지 여부를 판단하는 물체인식모듈(230)을 구비한다. 여기서, '위험 물체'는 위험 영역(14)에 추락한 물체 중 정상적인 열차 운행에 지장을 주는 물체를 의미하며, 위험 영역(14)에 추락한 사람을 포함한다.Referring to FIG. 1, the
물체검출모듈(220)은 정보 수집부(100)의 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 위험 영역(14) 내의 움직임을 검출함으로써 위험 영역(14) 내에 물체의 추락 여부를 판단한다. 본 실시예에서 스테레오 카메라(110)는 초당 30 프레임 정도로 승강장 모니터링 영역(10)을 촬영하는데, 물체검출모듈(220)은 스테레오 카메라(110)로부터 전송되는 영상 정보를 프레임 단위로 분석한다. 즉, 물체검출모듈(220)은 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석함으로써 위험 영역(14) 밖에서 위험 영역(14) 안으로의 물체의 움직임을 검출하게 된다. 이와 같이, 위험 영역(14) 밖에서 위험 영역(14) 안으로의 물체의 움직임이 검출되면, 물체검출모듈(220)은 위험 영역(14) 내에 물체가 추락한 것으로 판단한다.The
한편, 위험 영역(14) 내에 추락한 물체는 자살 목적으로 또는 부주의로 승강장에서 열차 선로에 떨어진 사람이나 큰 크기를 가지는 대형 물체와 같이 정상적인 열차 운행에 지장을 주어 위험 상황을 발생시키는 위험 물체와, 음료수 캔 등의 작은 쓰레기와 같이 열차 선로 주변에 떨어져도 열차 운행에 지장을 주지 않는 소형 물체로 분류될 수 있다. 즉, 물체검출모듈(220)에 의해 위험 영역(14) 내에 물체가 추락한 것으로 판단되었다고 해서 일률적으로 위험 상황이 발생했다고는 단정할 수 없는 것이다.On the other hand, objects that have fallen in the
이에 따라, 본 발명은 위험 영역(14) 내에 물체가 추락한 것으로 판단된 경우, 물체인식모듈(230)을 통해 위험 영역(14)에 추락한 물체가 정상적인 열차 운행에 지장을 주는 위험 물체(즉, 사람이나 큰 크기의 대형 물체)인지 아니면 열차 운행에 지장을 주지 않는 소형 물체인지를 판단한다. 구체적으로 물체인식모듈(230)은 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체가 위험 물체인지 여부를 판단하게 된다.Accordingly, in the present invention, when it is determined that an object has fallen in the
도 3을 참조하여 스테레오 카메라(110)에 의해 3차원 좌표 정보를 얻는 방법을 설명하면 다음과 같다. 스테레오 카메라(110)의 특성에 의해서 하나의 물체 점(x, y, z)에 대해서 좌우 카메라에 맺히는 영상의 위치가 각각 Pl(x'l,y'l)과 Pr(x'r,y'r)으로 서로 다르다. 카메라가 위치하는 베이스라인 b가 주어지고, 렌즈의 촛점거리(focal length) f를 알고 있을 때, 삼각비에 의해서 물체의 깊이 정보 Z는 b*f/(x'l-x'r)로 표현이 가능하다. 즉, 물체의 깊이 정보(Z)는 좌측 카메라(Cl)와 우측 카메라(Cr) 각각의 렌즈 상호간의 거리(b)와 렌즈의 초점거리(f)에 비례하고 양안차(x'l-x'r)값에 반비례하는 것이다.A method of obtaining 3D coordinate information by the
이와 같이 스테레오 카메라(110)는 일반적인 모노 카메라와 달리 촬영되는 물체의 깊이 정보를 알 수 있으므로, 모니터링 영역을 임의의 3차원 공간으로 정의할 수 있으며, 이에 따라 모니터링 영역 내의 물체에 대한 3차원 좌표 정보를 얻을 수 있는 것이다.As such, since the
이러한 스테레오 카메라(110)의 특성을 이용하여 물체인식모듈(230)은 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체의 크기를 산출한다. 그리고 위험 영역(14)에 추락한 물체의 크기가 설정크기 이상이면 열차 운행에 지장을 주는 위험 물체로 판단한다. 이때, 설정크기는 열차의 정상적인 운행에 영향을 줄 가능성을 고려하여 설정되며, 열차 선로보다 높은 크기로 설정되는 것이 바람직하다.By using the characteristics of the
한편, 물체인식모듈(230)은 스테레오 카메라(110)에 의한 물체의 3차원 좌표 정보에 기초하여 위험 영역(14)에 추락한 물체의 형상을 인식할 수 있기 때문에, 위험 영역(14)에 추락한 물체의 형상을 기준으로 하여 위험 물체인지 여부를 판단 하도록 구성될 수도 있다. 예를 들면, 사람의 형상에 대한 정보를 미리 저장해 두고 이를 위험 영역(14)에 추락한 물체와 비교하여 위험 물체인지 여부를 판단하는 방법이 적용될 수 있을 것이다.On the other hand, since the
도 1을 참조하면, 정보 처리부(200)는, 위험 물체로 판단된 물체의 움직임을 추적하는 물체추적모듈(240)을 더 구비한다.Referring to FIG. 1, the
물체추적모듈(240)은, 물체인식모듈(230)에 의해 위험 영역(14)에 추락한 물체가 위험 물체로 판단되면, 그 위험 물체에 고유의 식별코드를 부여하고 식별코드가 부여된 물체의 움직임을 추적한다. 이때, '식별코드의 부여'은 승강장 내의 위험 상황이 발생하였음을 의미한다. 이러한 물체추적모듈(240)은 식별코드가 부여된 물체의 움직임을 추적하기 위해서 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석하는 영상처리기법을 이용한다.When the object falling down to the
물체추적모듈(240)은, 움직임 추적결과, 식별코드가 부여된 물체가 위험 영역(14)을 벗어나면 부여된 식별코드를 삭제한다. 이때, '식별코드의 삭제'는 승강장 내의 위험 상황이 해제되었음을 의미한다.The
한편, 물체추적모듈(240)은, 움직임 추적결과, 식별코드가 부여된 물체의 움직임이 검출되지 않는 경우, 현재 영상과 미리 저장된 배경 영상을 비교한다. 이는 위험 영역(14) 내에 추락한 위험 물체가 없음에도, 스테레오 카메라(110) 주변의 급작스런 밝기 변화 등의 영향으로 물체검출모듈(220) 및 물체인식모듈(230)이 위험 영역(14) 내에 위험 물체가 추락한 것으로 잘못 판단한 경우를 가려내기 위함이 다. 즉, 현재 영상과 미리 저장된 배경 영상을 비교하여 위험 영역(14) 내에 식별코드가 부여된 물체가 존재하지 않는 것으로 판단되면, 물체추적모듈(240)은 부여된 식별코드를 삭제한다.On the other hand, the
이와 같이, 본 발명은, 위험 물체를 추적하는 물체추적모듈(240)을 구비함으로써, 발생된 위험 상황의 해제 여부 판단할 수 있음은 물론, 물체검출모듈(220) 및 물체인식모듈(230)의 판단오류를 수정할 수 있다. 이에 따라, 본 발명은 전체 시스템의 신뢰성을 높일 수 있으며, 잘못된 판단에 의해 원활한 열차 운행에 지장을 주는 상황을 미연에 방지할 수 있는 것이다.In this way, the present invention, by having the
도 1, 도 4 및 도 5를 참조하면, 정보 처리부(200)는, 열차 영역(12) 내에 열차의 상태를 판단하는 열차검출모듈(210)을 더 구비한다.1, 4, and 5, the
일반적으로, 위험 영역(14) 내에 움직임이 검출되는 경우는, 위험 영역(14) 내에 물체가 추락한 경우와, 열차의 움직임이 존재하는 경우와, 스테레오 카메라(110) 주변의 급작스런 밝기 변화가 있는 경우로 나눌 수 있다.In general, when motion is detected in the
따라서, 위험 영역(14) 내에 물체의 추락 여부를 판단하는 물체검출모듈(220)은, 그 판단의 신뢰성을 높이기 위해서 승강장의 열차 영역(12) 내에 열차가 없는 상태에서 위험 영역(14) 내의 움직임만 판단하도록 설정되는 것이 바람직하다. 즉, 물체검출모듈(220)은, 열차 영역(12) 내에 열차가 없는 경우에 한하여 작동되는 것이 바람직하다.Accordingly, the
열차 영역(12) 내에 열차의 상태를 판단하기 위하여, 본 실시예의 열차검출모듈(210)은, 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석하는 영상처리기법을 이용하는데 그 원리를 설명하면 다음과 같다.In order to determine the state of the train in the
[표 1]TABLE 1
상기의 [표 1]에 기재된 바와 같이, 승강장의 열차의 상태는, 승강장 내에 열차가 없는 상태인 오프(OFF) 상태, 승강장으로 열차가 진입하고 있는 상태인 인(IN) 상태), 승강장 내에 열차가 정지하고 있는 상태인 온(ON) 상태 및 승강장에서 열차가 출발하고 있는 상태인 아웃(OUT) 상태의 4가지 상태로 구분된다. 전술한 바와 같이, 물체검출모듈(220)에 의한 위험 영역(14) 내의 물체의 추락 여부 판단은, 열차검출모듈(210)에 의해 열차의 상태가 오프 상태로 판단된 경우에 한하여 수행된다.As described in the above [Table 1], the state of the train in the platform is an OFF state in which there is no train in the platform, an IN state in which the train is entering the platform, and the train in the platform. Is divided into four states: an ON state in which the state is stopped and an OUT state in which the train is departing from the platform. As described above, the
열차검출모듈(210)은 스테레오 카메라(110)에 의해 획득되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석함으로써, 상기와 같은 4가지 열차의 상태 사이의 전환을 판단한다.The
도 4를 참조하면, 본 실시예에서 열차검출모듈(210)은, 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되면 오프-인 전환(OFF-IN transition)으로 판단하고, 오프-인 전환 이후에 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되지 않으면 인-온 전환(IN-ON transition)으로 판단하며, 인-온 전환 이후에 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되면 온-아웃 전환(ON-OUT transition)으로 판단하고, 온-아웃 전환 이후에 열차 영역(12) 내에 큰 움직임이 5프레임 연속해서 검출되지 않으면 아웃-오프 전환(OUT-OFF transition)으로 판단한다. 이때, 큰 움직임이 5프레임 연속 검출 여부를 열차 상태 전환의 기준으로 하는 것은, 스테레오 카메라(110) 주변의 급작스런 밝기 변화 또는 다양한 노이즈(noise)에 의해 발생하는 열차검출모듈(210)의 판단오류를 최소화시키기 위함이다.Referring to FIG. 4, in the present exemplary embodiment, the
한편, 열차검출모듈(210)은, 열차 영역(12) 내에 열차의 움직임과 다른 물체의 움직임을 구별하기 위하여, 도 5에 도시된 바와 같이, 열차 영역(12) 내에 검출되는 움직임 영역(16)이 열차 영역(12)에 포함되고, 움직임 영역(16)의 폭(w)이 열차 영역(12)의 폭(W)의 40% 이상, 움직임 영역(16)의 높이(h)가 열차 영역(12)의 높이(H)의 60% 이상일 경우만 열차의 움직임으로 간주한다.On the other hand, the
이상 설명한 바와 같이, 본 실시예의 열차검출모듈(210)은 스테레오 카메라(110)에 의해 획득되는 영상 정보를 분석하여 승강장의 열차 영역(12) 내에 열차의 상태를 판단한다. 다만, 본 발명은 이에 한정되지 아니하며, 열차검출모듈(210)은 승강장에 설치되는 적외선 센서 또는 레이저 센서 등의 다양한 센서를 이용하여 승강장의 열차 영역(12) 내에 열차의 상태를 판단하도록 구성될 수 있음은 물론이다.As described above, the
도 1을 참조하면, 정보 처리부(200)는, 물체인식모듈(230) 및 물체추적모듈(240)의 판단결과를 출력하는 결과출력모듈(250)을 더 구비한다. 또한, 본 실시 예에 따른 스테레오 영상기반 승강장 모니터링 시스템은 위험 메시지와 위험 상황에 대한 영상을 열차운행 관계자에게 제공하는 정보 제공부(300)를 더 구비한다.Referring to FIG. 1, the
결과출력모듈(250)은, 물체인식모듈(230) 및 물체추적모듈(240)의 판단결과, 즉 위험 영역(14) 내에 위험 물체의 추락에 의한 위험 상황의 발생 여부, 위험 상황의 유형, 위험 상황의 해제 여부 등에 대응되는 신호를 출력한다. 이러한 결과출력모듈(250)에서 출력되는 신호에 근거하여 위험 상황을 알리는 위험 메시지가 생성된다.The
정보 제공부(300)는, 액정표시장치(LCD, Liquid Crystal Display), 개인휴대용 정보단말기(PDA, Personal Digital Assistant) 등의 다양한 디스플레이 장치로서 구현될 수 있으며, 승강장 내에 위험 상황 발생 시에 정보 처리부(200)의 판단결과에 따라 위험 메시지를 위험 상황에 대한 영상과 함께 열차운행 관계자에게 제공된다. 여기서, '열차운행 관계자'는, 해당 역사의 역무원, 열차 기관사, 종합관제실의 운영자를 포함한다.The
이하, 도 6 내지 도 8을 참조하여, 전술한 스테레오 영상기반 승강장 모니터링 시스템에 의해 수행되는 스테레오 영상기반 승강장 모니터링 방법의 일 실시예를 설명하기로 한다.Hereinafter, an embodiment of a stereo image-based platform monitoring method performed by the above-described stereo image-based platform monitoring system will be described with reference to FIGS. 6 to 8.
도 6은 도 1에 도시된 시스템에 의한 스테레오 영상기반 승강장 모니터링 방법을 설명하기 위한 흐름도이며, 도 7은 도 6에 도시된 S140 단계를 보다 구체적으로 설명하기 위한 흐름도이고, 도 8은 도 6에 도시된 S150 단계를 보다 구체적으로 설명하기 위한 흐름도이다. FIG. 6 is a flowchart for describing a stereo image-based platform monitoring method by the system shown in FIG. 1, FIG. 7 is a flowchart for explaining in more detail the step S140 shown in FIG. 6, and FIG. 8 is shown in FIG. 6. It is a flowchart for explaining the step S150 shown in more detail.
도 6을 참조하면, 본 실시예에 따른 스테레오 영상기반 승강장 모니터링 방법은, 영상 정보를 획득하는 단계(S110), 열차 영역(12) 내에 열차의 상태를 판단하는 단계(S120), 위험 영역(14) 내에 물체의 추락 여부를 판단하는 단계(S130), 위험 물체 여부를 판단하는 단계(S140)와, 위험 물체를 추적하는 단계(S150) 및 판단결과를 출력하는 단계(S160)를 구비하는데, 이들 단계를 순차적으로 설명하면 다음과 같다.Referring to FIG. 6, the stereo image-based platform monitoring method according to the present embodiment includes obtaining image information (S110), determining a state of a train in the train area 12 (S120), and a
먼저, 정보 수집부(100)는 스테레오 카메라(110)를 이용하여 열차가 진입하는 열차 영역(12)을 포함한 승강장 모니터링 영역(10)에 대한 영상 정보를 획득한다(S110).First, the
그 다음. 정보 처리부(200)는 정보 수집부(100)로부터 전송되는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 열차 영역(12) 내에 열차의 상태를 판단한다(S120).next. The
열차 상태의 판단결과, 열차 영역(12) 내에 열차가 없는 것으로 판단되면, 정보 처리부(200)는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 위험 영역(14) 내에 물체의 추락 여부를 판단한다(S130).As a result of the determination of the train state, if it is determined that there is no train in the
위험 영역(14) 내에 물체가 추락한 것으로 판단되면, 정보 처리부(200)는 스테레오 카메라(110)에 의한 물체의 3차원 정보에 기초하여 위험 영역(14) 내에 추락한 물체가 위험 물체인지 여부를 판단한다(S140).If it is determined that the object has fallen in the
도 7을 참조하여 위험 물체 여부를 판단하는 단계(S140)를 구체적으로 설명하면 다음과 같다. 먼저, 정보 처리부(200)는 스테레오 카메라(110)에 의한 물체의 3차원 정보에 기초하여 위험 영역(14) 내에 추락한 물체의 크기를 산출한다(S141). 그 다음, 정보 처리부(200)는 산출된 크기를 설정크기와 비교하여, 만약 산출된 크기가 설정크기 이상이면 추락한 물체를 위험 물체로 판단한다(S142). The step S140 of determining whether a dangerous object is described in detail with reference to FIG. 7 will now be described. First, the
위험 영역(14) 내에 추락한 물체가 위험 물체로 판단되면, 정보 처리부(200)는 추락한 물체에 고유의 식별코드를 부여하고, 그 움직임을 추적한다(S150). 이때, 정보 처리부(200)는 영상 정보의 현재 프레임과 이전 프레임의 영상 차이를 분석함으로써 식별코드가 부여된 물체의 움직임을 추적한다.If the object fallen in the
도 8을 참조하여 위험 물체를 추적하는 단계(S150)를 구체적으로 설명하면 다음과 같다. 먼저, 정보 처리부(200)는 위험 영역(14) 내에 추락한 물체가 위험 물체로 판단되면 추락한 물체에 고유의 식별코드를 부여하고(S151), 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이를 분석함으로써 식별코드가 부여된 위험 물체의 움직임을 검출한다(S152).Referring to FIG. 8, the step S150 of tracking a dangerous object will be described in detail. First, when the object fallen in the
만약, 식별코드가 부여된 위험 물체의 움직임이 검출되면, 발생한 위험 상황의 해제 여부를 확인하기 위해서, 정보 처리부(200)는 위험 물체의 추적을 계속하여(S153), 위험 물체가 위험 영역(14)을 벗어났지 여부를 판단한다(S154). 위험 물체가 위험 영역(14)을 벗어난 것으로 판단되면, 정보 처리부(200)는 부여된 식별코드를 삭제한다(S155).If the movement of the dangerous object to which the identification code is assigned is detected, in order to confirm whether the dangerous situation is released, the
한편, 식별코드가 부여된 위험 물체의 움직임이 검출되지 않으면, 스테레오 카메라(110) 주변의 급작스런 밝기 변화 등의 영향에 의한 판단오류를 수정하기 위해서, 정보 처리부(200)는 현재 영상과 미리 저장된 배경 영상을 비교하여(S156), 위험 영역(14) 내에 위험 물체의 부존재를 판단한다(S157). 위험 영역(14) 내에 위험 물체가 없는 것으로 판단되면, 정보 처리부(200)는 부여된 식별코드를 삭제한다(S158).On the other hand, if the movement of the dangerous object to which the identification code is assigned is not detected, in order to correct a determination error caused by the sudden change in brightness around the
마지막으로, 정보 처리부(200)는 위험 물체의 판단결과 및 추적결과에 대응되는 신호를 출력한다(S160). 이와 같이 출력되는 신호에 근거하여 위험 상황을 알리는 메시지가 생성되며, 생성된 위험 메시지는 위험 상황에 대한 영상과 함께 다양한 디스플레이 장치로 구현되는 정보 제공부(300)를 통해 열차운행 관계자에게 제공된다.Finally, the
본 발명은 전술한 실시예들에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.It is apparent to those skilled in the art that the present invention is not limited to the above-described embodiments, and that various modifications and changes can be made without departing from the spirit and scope of the present invention. Therefore, such modifications or variations will have to be belong to the claims of the present invention.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상기반 승강장 모니터링 시스템의 구성도이다.1 is a block diagram of a stereo image-based platform monitoring system according to an embodiment of the present invention.
도 2는 도 1의 스테레오 카메라에 의해 촬영되는 승강장 모니터링 영역을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing a platform monitoring area photographed by the stereo camera of FIG. 1.
도 3은 스테레오 카메라를 이용하여 3차원 좌표 정보를 획득하는 방법을 설명하기 위한 도면이다.3 is a diagram for describing a method of obtaining 3D coordinate information using a stereo camera.
도 4는 열차 영역 내 열차의 상태 전환을 나타낸 도면이다.4 is a view showing a state change of the train in the train area.
도 5는 도 2의 승강장 모니터링 영역 내에 열차의 움직임을 검출하는 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of detecting a movement of a train in a platform monitoring area of FIG. 2.
도 6은 도 1에 도시된 시스템에 의한 스테레오 영상기반 승강장 모니터링 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a stereo image-based platform monitoring method by the system of FIG. 1.
도 7은 도 6에 도시된 S140 단계를 보다 구체적으로 설명하기 위한 흐름도이다.FIG. 7 is a flowchart for describing the step S140 shown in FIG. 6 in more detail.
도 8은 도 6에 도시된 S150 단계를 보다 구체적으로 설명하기 위한 흐름도이다. FIG. 8 is a flowchart for describing the operation S150 shown in FIG. 6 in more detail.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100 : 정보 수집부 110 : 스테레오 카메라100: information collecting unit 110: a stereo camera
120 : 센서 모듈 200 : 정보 처리부120: sensor module 200: information processing unit
210 : 열차검출모듈 220 : 물체검출모듈210: train detection module 220: object detection module
230 : 물체인식모듈 240 : 물체추적모듈230: object recognition module 240: object tracking module
250 : 결과출력모듈 300 : 정보 제공부250: output module 300: information providing unit
Claims (20)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070092609A KR100897914B1 (en) | 2007-09-12 | 2007-09-12 | Stereo vision based monitoring system in railway station and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070092609A KR100897914B1 (en) | 2007-09-12 | 2007-09-12 | Stereo vision based monitoring system in railway station and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090027410A true KR20090027410A (en) | 2009-03-17 |
KR100897914B1 KR100897914B1 (en) | 2009-05-18 |
Family
ID=40695030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070092609A KR100897914B1 (en) | 2007-09-12 | 2007-09-12 | Stereo vision based monitoring system in railway station and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100897914B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136405A1 (en) * | 2010-04-28 | 2011-11-03 | (주)아이티엑스시큐리티 | Image recognition device and method using 3d camera |
WO2012124852A1 (en) * | 2011-03-14 | 2012-09-20 | (주)아이티엑스시큐리티 | Stereo camera device capable of tracking path of object in monitored area, and monitoring system and method using same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050062889A (en) * | 2003-12-19 | 2005-06-28 | 주식회사 코아이앤에스 | Train emergency control system and method using unexpected accident image detector |
KR100573727B1 (en) * | 2004-05-13 | 2006-04-27 | (주)일성자동화 | Safety accident preventing system for railroad platform |
KR100750347B1 (en) * | 2005-12-20 | 2007-08-17 | 한국철도기술연구원 | A Monitoring System for Subway Platform using Stereoscopic Video Camera |
-
2007
- 2007-09-12 KR KR1020070092609A patent/KR100897914B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136405A1 (en) * | 2010-04-28 | 2011-11-03 | (주)아이티엑스시큐리티 | Image recognition device and method using 3d camera |
WO2012124852A1 (en) * | 2011-03-14 | 2012-09-20 | (주)아이티엑스시큐리티 | Stereo camera device capable of tracking path of object in monitored area, and monitoring system and method using same |
Also Published As
Publication number | Publication date |
---|---|
KR100897914B1 (en) | 2009-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100916960B1 (en) | Monitoring system in railway station | |
US8660700B2 (en) | Video-based system and method of elevator door detection | |
US8253792B2 (en) | Vision system for monitoring humans in dynamic environments | |
US11417134B2 (en) | Image analysis device, image analysis method, and recording medium | |
KR100750347B1 (en) | A Monitoring System for Subway Platform using Stereoscopic Video Camera | |
KR101852058B1 (en) | unexpected accident detecting method using dual camera | |
CN110187702B (en) | Automatic vehicle control device capable of determining occupied track and corresponding control method | |
KR100690279B1 (en) | Multipurpose video image detection system | |
KR20100010734A (en) | Monitoring system in railway station stereo camera and thermal camera and method thereof | |
KR100897914B1 (en) | Stereo vision based monitoring system in railway station and method thereof | |
JP3361399B2 (en) | Obstacle detection method and device | |
CN112268515B (en) | Platform door gap anti-pinch detection method and system based on multi-sensor fusion technology | |
JP4250172B2 (en) | Object detection method and object detection apparatus | |
JP6699179B2 (en) | Image processing device | |
KR101937791B1 (en) | Screen door system and operating method thereof | |
JP5710230B2 (en) | Monitoring system and monitoring method | |
KR101874639B1 (en) | CCTV camera device for elevators using motion sensor | |
JP3758511B2 (en) | Object detection apparatus and object detection program | |
JP4561266B2 (en) | Falling object detector | |
KR100444929B1 (en) | Image processing alarm system and method for automatically sensing unexpected accident at train platform | |
KR20170133592A (en) | Fall protection system on Platform | |
JP2006268678A (en) | Device and method for detecting stopping or low-speed vehicle | |
JP2006118914A (en) | Object detector | |
JP7495315B2 (en) | How to detect abnormalities in surveillance cameras | |
JP7014021B2 (en) | Image processing device and monitoring area setting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130108 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140212 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150507 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20160503 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20170508 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20180508 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20190507 Year of fee payment: 11 |