KR100936443B1 - 차량 촬영 장치 및 그 제어방법 - Google Patents

차량 촬영 장치 및 그 제어방법 Download PDF

Info

Publication number
KR100936443B1
KR100936443B1 KR1020090037108A KR20090037108A KR100936443B1 KR 100936443 B1 KR100936443 B1 KR 100936443B1 KR 1020090037108 A KR1020090037108 A KR 1020090037108A KR 20090037108 A KR20090037108 A KR 20090037108A KR 100936443 B1 KR100936443 B1 KR 100936443B1
Authority
KR
South Korea
Prior art keywords
camera unit
unit
camera
photographing
vehicle
Prior art date
Application number
KR1020090037108A
Other languages
English (en)
Inventor
안순현
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to KR1020090037108A priority Critical patent/KR100936443B1/ko
Application granted granted Critical
Publication of KR100936443B1 publication Critical patent/KR100936443B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 촬영 장치 및 그 제어방법에 관한 것이다. 본 발명은 최소한 두 개의 카메라부를 포함하는 카메라부에서 각각 설정된 영역을 촬영하는 촬영단계와, 상기 카메라부의 이상유무를 판단하는 판단단계와, 상기 카메라부 중의 어느 한 개의 카메라부(제1카메라부)가 이상이라고 판단되면 상기 카메라부 중의 다른 카메라부(제2카메라부)가 상기 제1카메라부에서 촬영하도록 설정된 영역을 촬영하도록 제어단계를 포함하는 차량촬영 장치의 제어방법을 제공한다.
촬영, 차량, 검지

Description

차량 촬영 장치 및 그 제어방법{Vehicle Monitoring System and Method using the same}
본 발명은 차량 촬영 장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 한정되지는 않지만, 통행하는 차량을 촬영하고, 촬영된 영상에서 차량의 번호판을 판독하는 차량 촬영 장치 및 그 제어방법에 관한 것이다.
최근 무인단속 시스템, 방범용 시스템, 주차 관제 시스템, 교통정보 수집 시스템 등 카메라에서 촬영된 영상을 이용하여 차량의 번호판을 판독하여 차량번호를 인식하여 이를 이용하는 분야가 증가하고 있다.
이러한 시스템들은 여러가지 기준으로 분류할 수 있으나, 법규 위반 차량의 단속이나 범죄 용의자 검거, 예방을 위해 운영되는 시스템(이하 편의상 총칭하여 "방범용 시스템")과, 교통 정보를 수집하여 교통의 원할한 흐름 등을 위하여 운영되는 시스템(이하 편의상 "교통정보용 시스템")으로 나눌 수 있다. 방범용 시스템은 과속 단속, 신호위반 단속, 주정차위반 단속 등을 위하여 사용되는 무인단속 시스템, 범죄차량 또는 범죄 용의자 검거를 위하여 사용되는 방범용 시스템, 주차 관제 시스템 등이 있을 수 있다. 교통정보용 시스템은 도로의 어떤 지점의 속도, 통행량, 소정 지점 사이 즉 일정 구간의 속도 등을 수집하는 AVI(Automatic Vehicle Identification) 등이 있을 수 있으며, AVI는 1999년에 제정된 "교통체계 효율화법"에 따라 ITS(Intelligent Traffic System)의 세부 서비스 일환으로 볼 수 있다. 방범용 시스템은 지방자치단체, 경찰청 등에 의하여 설치 및 운영되는 것이 일반적이며, 교통정보용 시스템은 국토해양부, 한국도로공사 등에 의하여 설치 및 운영되는 것이 일반적이다.
도 1을 참조하여, 이러한 시스템의 일예로써 방범용 시스템을 설명하면 다음과 같다.
일반적으로 방범용 시스템은 차량이 운행되는 현장에 설치되는 로컬제어장치(이하 "차량 촬영 장치")(100)와, 상기 로컬제어장치(100)와 통신망(20)으로 연결되며 이들을 통합하여 운영하는 방범용 운영장치(일종의 서버)(30)로 나눌 수 있다. 그리고, 통상 방범용 운영장치(30)에서는 시스템의 설치목적에 따라서 관리 및 실시간 감시를 수행한다. 예를 들어, 범죄 용의 차량 검거용으로 활용한다면 경찰서가 주체가 되어, 실시간 또는 사후에 촬영된 영상을 이용하여 범죄 용의 차량 등을 검색한다.
차량 촬영 장치(100)는 차량을 검지하는 차량검지부(미도시, 도 2에서 설명함.)와, 차량을 포함하는 소정 영역을 촬영하는 카메라부(12)와, 상기 차량검지부 및 상기 카메라부(12)를 제어하며, 촬영된 영상을 이미지 프로세싱하는 역할 등을 수행하는 중앙제어부(10)를 포함하여 구성된다. 차량검지부는 도로의 특정 부분을 차량이 통과하는 것은 감지하는 것으로서, 통상 루프, 적외선, 레이저 등이 이용되 며, 카메라부(12)의 쵤영 시점을 제어하는 일종의 트리거(trigger) 역할을 한다. 중앙제어부(10)에서는 촬영된 영상에서 이미지 프로세싱을 이용하여 번호판을 판독하여, 차량번호를 얻는다.
한편, 도로의 경우 각각의 차로(1a, 1b)에 대응하는 카메라부(12a, 12b)가 설치되며, 상기 다수의 카메라부(12a, 12b)가 하나의 중앙제어부(10)에 연결되는 것이 일반적이다. 따라서, 제1차로(1a) 및 제2차로(1b)를 통행하는 차량(3a, 3b)은 각각 제1카메라부(12a) 및 제2카메라부(12b)에서 촬영되며, 촬영된 영상은 하나의 중앙제어부(10)에서 이미지 프로세싱되어 번호판을 판독하게 된다.
참고로, 도 2를 참조하여, 차량검지부를 설명한다.
차량 검지부는 진입하는 차량을 검지하여 카메라부를 작동하게 하는 장치이며, 진입하는 차량을 검지하기 위한 방법으로는 크게 물리적인 센서를 이용하는 방법과 영상을 이용하는 영상검지방식이 존재한다. 물리적인 센서를 이용하는 방법은 루프, 레이저, 초음파 방식등이 있다.
도 2a에 도시한 바와 같이, 루프 코일(14a)이 도로에 매설되며, 상기 루프 코일(14a)을 차량이 지나면 상기 루프 코일(14a)이 이를 감지하여, 카메라부(12a)에 촬영하도록 트리거를 발생시킨다. 루프 방식이 저렴하고 신뢰도가 비교적 높으므로, 루프 방식을 사용하는 것이 대부분이다.
영상검지 방식은 이미 VDS(VIDEO DETECTION SYSTEM)으로 교통량의 측정에 주로 사용되는 것이다. 영상검지 방식은 크게 두가지 방식이 있다. 즉, 도 2b에 도시한 바와 같이 차량번호 판독용 카메라부(12a)와 별개로 보조 카메라(16)를 이용 하여 영상을 분석하여 차량의 진입을 검지하는 방식이 있다. 또한, 도 2c에 도시한 바와 같이 차량번호 판독용 카메라부(12a) 한개만 사용하는 방식이 있다. 이러한 방식에서는 차량번호 판독용 카메라부(12a)의 촬영 영역의 소정의 영역을 빠르게 프로세싱 하여 영상의 변화를 검지하는 경우에 전체 영상을 촬영하는 방식과, 차량번호 판독용 카메라부(12a) 자체가 작동하여 차량을 촬영하고 차량의 특징점을 추출하는 경우에 차량으로 판정하고 저장하는 방식이 존재한다.
상술한 종래의 차량 촬영 장치 즉 다수의 카메라부에 하나의 중앙제어부를 사용하는 차량 촬영 장치는 다음과 같은 문제점이 있다.
첫째, 종래의 차량 촬영 장치에서는 다수의 카메라부 중에 어느 카메라부에 이상이 생기는 경우에 해당 카메라부가 담당하는 영역 예를 들어 해당 차로를 촬영할 수 없다는 단점이 있다.
둘째, 종래의 차량 촬영 장치에서는 하나의 중앙처리부가 이상에 생기면 카메라부가 정상적으로 동작하더라도 촬영된 영상을 처리할 수 없다는 단점이 있다.
차량 촬영 장치는 만일의 사고에 대비하기 위하여 설치된 것이므로 완벽한 작동이 보장되는 것이 바람직하다. 그러나 전기적 또는 전자적인 장치의 오류로 인한 작동 중단, 여름철의 낙뢰등의 자연 환경 문제로 인하여 작동이 중단되는 상황이 발생하는 것이 현실이다. 따라서, 이러한 문제의 해결이 요구되어 왔다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 신뢰성 및 안정성이 향상된 차량 촬영 장치 및 그 제어방법을 제공하는 것이다.
본 발명은 일 실시 형태에 의하면, 본 발명은 최소한 두 개의 카메라부를 포함하는 카메라부에서 각각 설정된 영역을 촬영하는 촬영단계와; 상기 카메라부의 이상유무를 판단하는 판단단계와; 상기 카메라부 중의 어느 한 개의 카메라부(제1카메라부)가 이상이라고 판단되면, 상기 카메라부 중의 다른 카메라부(제2카메라부)가 상기 제1카메라부에서 촬영하도록 설정된 영역을 촬영하도록 제어단계를 포함하는 차량촬영 장치의 제어방법을 제공한다.
상기 제어단계에서, 상기 제2카메라부의 촬영범위를 조정하여 상기 제2카메라부가 상기 제1카메라부의 촬영 영역을 촬영하도록 할 수 있다. 또한, 제1항에 있어서, 상기 제어단계에서, 상기 제2카메라부의 촬영한 영상에서 상기 제1카메라부의 촬영 영역에 해당하는 부분을 상기 제1카메라부의 촬영영역으로 처리할 수도 있다. 그리고, 상기 제2카메라부의 촬영한 영상을 상기 제1카메라부의 촬영 영역에 해당하는 부분 및 상기 제2카메라부의 촬영 영역에 해당하는 부분으로 분할하는 것이 바람직하다.
한편, 상기 제1카메라부의 촬영 영상을 이미지 프로세싱하는 제1중앙제어부 및 상기 제2카메라부의 촬영 영상을 이미지 프로세싱하는 제2중앙제어부의 이상유 무를 판단하는 판단단계와; 상기 제1중앙제어부가 이상이라고 판단되면, 상기 제2중앙제어부에서 상기 제1카메라부에서 촬영된 촬영 영상을 이미지 프로세싱하도록 하는 단계를 더욱 포함하는 것이 바람직하다.
또한, 상기 제1카메라부의 촬영 시점을 정하기 위하여 차량을 감지하는 제1차량검지부 및 상기 제2카메라부의 촬영 시점을 정하기 위하여 차량을 감지하는 제2차량검지부의 이상유무를 판단하는 판단단계와; 상기 제1차량검지부가 이상이라고 판단되면, 상기 제2차량검지부에서 상기 제1카메라부의 촬영 시점을 정하도록 하는 단계를 더욱 포함하는 것이 바람직하다.
본 발명의 다른 실시 형태에 의하면, 본 발명은 최소한 두 개의 카메라부를 포함하는 카메라부에서 각각 설정된 영역을 촬영하는 촬영단계와; 상기 카메라부에 대응하는 최소한 두 개의 중앙제어부에서 촬영된 영상을 각각 이미지 프로세싱하는 처리단계와; 상기 제어부 중의 어느 한 개의 중앙제어부(제1중앙제어부)가 이상이라고 판단되면, 상기 제어부 중의 다른 중앙제어부(제2중앙제어부)가 상기 제1중앙제어부에서 처리할 영상을 처리하도록 하는 제어단계를 포함하는 차량촬영 장치의 제어방법을 제공한다. 상기 제어단계는 상기 촬영단계에서 소정 기준 이하로 촬영 영상이 획득되는 시간에 수행되는 것이 바람직하다
본 발명의 또 다른 실시 형태에 의하면, 본 발명은 각각 설정된 영역을 촬영하는 최소한 두 개의 카메라부와; 상기 카메라부에서 촬영된 영상을 이미지 프로세싱하는 중앙제어부와; 상기 카메라부의 이상유무를 판단하여, 상기 카메라부 중의 어느 한 개의 카메라부(제1카메라부)가 이상이라고 판단되면, 상기 카메라부 중의 다른 카메라부(제2카메라부)가 상기 제1카메라부에서 촬영하도록 설정된 영역을 촬영하도록 제어하는 이상제어부를 포함하는 차량촬영 장치를 제공한다.
상기 이상제어부는, 상기 제1카메라부가 이상이라고 판단되면, 상기 제2카메라부의 촬영 범위를 조정하여 상기 제2카메라부가 상기 제1카메라부의 촬영 영역을 촬영하도록 할 수 있다. 또한, 상기 이상제어부는, 상기 제1카메라부가 이상이라고 판단되면, 상기 제2카메라부의 촬영한 영상에서 상기 제1카메라부의 촬영 영역에 해당하는 부분을 상기 제1카메라부의 촬영영역으로 처리할 수 있다. 그리고, 상기 이상제어부는, 상기 제2카메라부의 촬영한 영상을 상기 제1카메라부의 촬영 영역에 해당하는 부분 및 상기 제2카메라부의 촬영 영역에 해당하는 부분으로 분할하는 것이 바람직한다.
한편, 상기 중앙제어부는 상기 제1카메라부의 촬영 영상을 이미지 프로세싱하는 제1중앙제어부 및 상기 제2카메라부의 촬영 영상을 이미지 프로세싱하는 제2중앙제어부를 포함하여 구성되는 것이 바람직하다. 그리고, 상기 이상제어부는 상기 제1중앙제어부가 이상이라고 판단되면, 상기 제2중앙제어부에서 상기 제1카메라부에서 촬영된 촬영 영상을 이미지 프로세싱하도록 하는 것을 특징으로 하는 것이 더욱 바람직하다.
본 발명의 또 다른 실시 형태에 의하면, 본 발명은 각각 설정된 영역을 촬영하는 최소한 두 개의 카메라부와; 상기 카메라부에서 촬영된 영상을 각각 이미지 프로세싱하는 최소한 두 개의 중앙제어부와; 상기 중앙제어부 중의 어느 한 개의 중앙제어부(제1중앙제어부)가 이상이라고 판단되면, 상기 중앙제어부 중의 다른 중 앙제어부(제2중앙제어부)가 상기 제1중앙제어부의 역할을 수행하도록 제어하는 이상제어부를 포함하는 차량촬영 장치를 제공한다.
상술한 본 발명은 다음과 같은 효과가 있다.
본 발명에 따르면, 차량 촬영 장치가 내외부적인 요인으로 이상이 생기더라도, 카메라 부, 차량 검지부, 중앙처리부의 모든 기능이 상실하지만 않는다면 최소한 영상을 확보하는 것이 가능하다.
따라서 통행하는 차량의 영상을 신뢰성있게, 촬영, 저장, 처리하는 것이 가능하여 각 구성요소의 고장으로 인한 공백을 최소화 하도록 하여 차량 촬영 장치의 안정성을 높여서 효율을 높이는 장점이 있다.
이하, 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예를 설명하면 다음과 같다. 설명의 편의를 위해 2차선을 예를 들어 설명한다.
먼저, 도 3을 참조하여, 본 발명의 실시예의 전체적인 구성을 설명한다.
설명의 번잡을 피하기 위하여, 종래 기술과 실질적으로 동일한 구성요소는 동일한 도면 부호를 사용하며 이에 대한 상세한 설명은 생략한다.
본 실시예에서는, 다수의 카메라부(12: 12a, 12b) 및 다수의 차량검지부(14: 14a, 14b)가 이상제어부(50)를 매개로하여 중앙제어부(10)에 연결된다. 즉, 이상제어부(50)가 카메라부(12) 및 차량검지부(14)의 이상 유무를 판단하여, 이상에 발생하였다고 판단되면 정상적으로 작동하는 다른 카메라부 및 차량검지부를 이용하여 촬영을 할 수 있도록 한다.
상세히 설명하면 다음과 같다.
제1카메라부(12a) 및 제2카메라부(12b)는 이상제어부(50)에 연결되어, 상기 이상제어부(50)의 제어를 받는다. 그리고, 차량검지부를 사용하는 차량 촬영 장치의 경우에는 제1검지부(14a) 및 제2검지부(14b)도 이상제어부에 연결되어, 상기 이상제어부의 제어를 받는 것이 바람직하다. 물론, 이상제어부(50)는 중앙제어부(10)와 연결된다.
도 3에서는 이상제어부(50) 및 중앙제어부(10)를 각기 다른 구성요소를 도시하였지만 본 발명은 이에 한정되지 않는다. 즉, 이상제어부(50) 및 중앙제어부(10)가 각기 다른 하드웨어 및 소프트웨에로 구성될 수 있지만, 하나의 하드웨어에 이상제어부 및 중앙제어부의 기능을 하는 소프트웨어로 구성될 수도 있다.
한편, 카메라부(12a, 12b)는 이상제어부(50)뿐만 아니라 중앙제어부(50)에도 병렬(52a, 52b)로 연결하는 것이 바람직하다.
도 4를 참조하여, 본 실시예에 따른 차량 촬영 장치의 제어방법을 설명한다.
먼저, 제1카메라부 및 제2카메라부의 운전모드가 설정된다.(S1) 즉, 제1카메라부의 기본 촬영범위 예를 들어 한개의 카메라가 한 개의 차로를 촬영하는 경우에는 제1카메라부는 제1차로를 촬영하고 제2카메라부는 제2차로를 촬영하도록 기본적으로 설정(이하 "기본 운전모드")되고, 이에 따라 제1카메라부 및 제2카메라부가 작동된다.
차량 촬영 장치가 작동 중에 계속적으로 카메라부가 정상적으로 작동하는지 를 판단한다. 제1카메라부 및 제2카메라부가 각각 정상적으로 작동하는지를 순차적으로 판단하는 것이 바람직하다. 제1카메라부가 정상적으로 작동하는지를 판단한다.(S3) 제1카메라부가 정상이면, 제1카메라부는 미리 설정된 운전조건으로 작동된다.(S5) 즉, 제1카메라부는 제1차로를 촬영하게 된다. 그러나, 제1카메라부가 이상이라고 판단되면, 제2카메라부가 수정된 운전모드로 작동되도록 한다.(S7) 다음으로, 제2카메라부가 정상적으로 작동하는지 판단 및 조치가 순차적으로 수행된다.(S9, S11, S13)) 제2카메라부의 이상 판단 및 조치는 제1카메라부와 실질적으로 동일하므로 이에 대한 설명은 생략한다.
도 5를 참조하여, 제2카메라부의 수정된 운전모드(S7)에 대하여 설명한다.
수정된 운전모드에서는 크게 해당 카메라부의 촬영범위, 이용하는 검지부, 촬영된 영상 처리 방식 등의 인자를 조정하게 된다.
상세히 설명하면, 먼저, 제2카메라부의 촬영범위를 조정한다.(S72) 즉, 제2카메라부가 제1카메라부가 촬영하도록 되어 있는 영역(제1차로)를 같이 촬영하도록 조정된다. 즉, 제2카메라부가 제1차로 및 제2차로 모두를 촬영하도록 조정된다. 그리고, 제1차로를 통행하는 차량을 검지하는 검지부의 신호도 제2카메라부에 전달되도록 조정된다.(S74) 이렇게 하여야, 제2카메라부에 제1차로 및 제2차로의 차량 통행 감지가 모두 전달되기 때문이다.
상술한 바와 같이 조정되면, 제2카메라부가 제1차로 및 제2차로 전체를 하나의 영상으로 촬영하기 때문에 촬영된 영상을 2개 즉 제1차로 영상 및 제2차로 영상으로 분할하여 주는 것이 바람직하다.(S76) 물론, 영상을 분할하지 않고 그대로 중 앙제어부로 보내고, 중앙제어부에서 영상을 분할할 수도 있지만 이 경우에는 중앙제어부로 영상 전달시 하나의 영상에 제1차로 및 제2차로가 모두 촬영되어 있다는 정보를 같이 보내야 하기 때문이다. 따라서, 영상을 분할하여 보내면, 중앙제어부에서는 어떤 카메라부에 이상이 발생하여도 이에 상관없이 영상이 전달되므로, 어떤 카메라부가 이상인지 관계없이 보내진 분할된 두개의 영상을 그대로 처리하면 된다.
그리고, 제1카메라부의 이상을 중앙제어부로 전달하는 것이 바람직하다.(S78) 왜냐하면, 중앙제어부에서 제1카메라부의 이상을 알면 바로 수리 등의 조치를 하는 것이 가능하기 때문이다.
한편, 수정된 운전모드의 시작에 해당 카메라부 즉 제2카메라부의 이상여부를 확인할 수도 있다.(S70) 왜냐하면, 제2카메라부도 이상이 있다면 제2카메라부를 사용하여 제1카메라부 대신 제1차로를 촬영할 수 없기 때문이다. 만약, 제2카메라부가 이상이면 이러한 사항도 중앙제어부로 전달하는 것이 바람직하다.(S80)
다시 도 4를 참조하여, 제1카메라부 및 제2카메라부의 이상유무의 순차적 판단에 따른 제어를 추가로 설명한다.
상술한 바와 같이, 제1카메라부의 이상 여부 판단에 따른 제어를 수행하고, 제2카메라부의 이상 여부 판단에 따른 제어를 하게 된다. 즉, 제2카메라부의 정상여부를 판단한다.(S9) 제2카메라부가 정상이면, 제2카메라부는 현재 설정되어 있는 운전모드로 작동한다.(S11) 현재 설정 운전모드는 최초 설정된 기본 운전모드일 수도 있고 이미 수정된 운전모드일 수도 있다. 예를 들어, 제1카메라부가 정상이었다 면 제2카메라부의 운전모드는 수정되지 않았을 것이며(S3->S5->S9), 만약 제1카메라부가 이상이었다면 제2카메라부의 운전모드는 이미 수정되었을 것이다. (S3->S7->S9) 따라서, 제2카메라부의 설정된 운전모드는 이전 제어단계의 흐름에 따라 기본 운전모드 또는 이미 수정된 운전모드가 될 수 있다.
한편, 제2카메라부가 이상이면, 제1카메라부의 운전모드를 수정하게 된다.(S13) 물론, 이 경우에 제1카메라부의 이상여부를 먼저 확인하는 경우에(도 5의 S70에 상당함), 제1카메라부의 운전모드 수정없이 바로 제1카메라부의 이상만 중앙처리부로 알려 주게된다.(도 5의 S80에 상당함)
도 4의 카메라부 이상 여부 판단 단계(S3, S9)를 상세히 설명하면 다음과 같다.
제1카메라부 또는 제2카메라부의 이상유무를 판단하는 방식은 여러가지가 있을 수 있으나, 다음과 같은 방식을 사용하는 것이 바람직하다. 편의상 제1카메라부를 기준으로 설명한다.
첫째, 소정 시간 동안 제1카메라부에서 영상이 출력되지 않으면 제1카메라부가 이상이라고 판단할 수 있다. 통상 카메라부는 설치되는 특정 도로에 고정되어 설치되며, 해당 도로의 통행량은 대체적으로 정해져 있다. 따라서, 적절한 통계 기법을 이용하여 시간별 통행량 등을 테이블화하여, 소정 시간 동안 영상이 출력되지 않으면 제1카메라부가 이상이라고 판단할 수 있다.
둘째, 제2카메라부에서는 영상이 출력되는데 제1카메라부에서는 영상이 출력되지 않으면 제1카메라부가 이상이라고 판단할 수 있다. 왜냐하면, 통상 제1카메라 부 및 제2카메라부는 같은 도로의 다른 차선에 설치되므로, 제2카메라부에서는 영상이 출력되는데 제1카메라부에서는 계속해서 영상이 출력되지 않으면 제1카메라부가 이상이라고 판단할 수 있다.
셋째, 차량을 검지하는 검지부 바람직하게는 제1카메라부에 대응하는 제1검지부에서는 차량이 검지되는데 제1카메라부에서 영상이 출력되지 않으면 제1카메라부가 이상이라고 판단할 수 있다.
다음으로, 도 6을 참조하여, 제2카메라부가 제1카메라부가 촬영하도록 조정하는 것(도 5의 S72 단계에 상당함)을 설명한다. 제2카메라부의 촬영을 조정하는 방식은 여러가지가 있을 수 있으나, 다음과 같은 방식을 사용하는 것이 바람직하다.
도 6a에 도시한 바와 같이, 일반적으로 하나의 차로를 하나의 카메라부로 촬영한다. 즉, 제1카메라부(12a)는 제1차로(1a)를 촬영하도록 되어 있고 제2카메라부(12b)는 제2차로(1b)를 촬영하도록 촬영 범위가 각각 되어 있는 경우에는, 정상 작동 중인 제2카메라부(12b)의 촬영 범위 자체를 조정한다. 예를 들어, 도 6b에 도시한 바와 같이, 제2카메라부(12b)의 위치를 상하좌우 등으로 이동시킬 수 있는 팬틸트를 조정하여, 제2카메라부(12b)가 제1차로도 촬영할 수 있도록 촬영범위를 조정한다.
다른 방식으로는, 도 6c에 도시한 바와 같이, 제2카메라부(12b)의 위치를 변경하지 않고 줌인하여도 된다. 즉, 제2카메라부(12b)의 원래 촬영영역은 A1이었지만, 제2카메라부(12b)를 줌인하여 촬영영역을 A2로 확장시킨다. 이러한 방식에서는 제2카메라부(12b)가 제1차로(1a) 및 제2차로(1b)를 동시에 촬영하게 된다.
도 7을 참조하여, 또 다른 방식을 설명한다. 도 7에서는 설명의 편의상 제2카메라부(12b)의 촬영 범위만 도시하였다. 즉, 제1카메라부(12a) 및 제2카메라부(12b)가 다수의 차로(1a, 1b)를 촬영 가능하도록 미리 설정한다. 즉, 제1카메라부(12a) 및 제2카메라부(12b)는 제1차로(1a) 및 제2차로(1b)를 모두 촬영하여 제1차로 및 제2차로 전체 영역 영상(B1+B2)을 촬영하되, 정상적으로 동작하는 경우에는 제1카메라부(12a) 및 제2카메라부(12b)는 각각 제1차로 영상(B1) 및 제2차로 영상(B2)만을 이미지 프로세싱한다.
그러나, 만약 제1카메라부(12a)에서 이상이 발생하면, 제2카메라부(12b)에는 제1차로 및 제2차로가 촬영된 전체 영상(B1+B2) 모두를 이미지 프로세싱한다. 이경우에는 전체영상(B1+B2)을 제1차로 영상(B1) 및 제2차로 영상(B2)으로 전체 영상을 분할하여 중앙처리부에 전달하는 것이 바람직하다. 물론, 중앙처리부에서 분할하는 것도 가능하다.
한편, 도 8에 도시한 바와 같이, 왕복 2차로의 경우에도 적용하는 것이 가능하다.
본 실시예에서는 제1카메라부(12a)의 이상의 경우 제2카메라부(12b)가 제1카메라부(12a)의 촬영 영역을 촬영하면, 제1카메라부(12a)의 촬영영역(1a)을 주행하는 차량의 뒷부분을 촬영하게 된다. 또한, 본 실시예의 경우에는 차량 검지부로써 영상검지 방식을 사용하거나, 루프와 영상검지 방식을 혼용하는 것이 바람직하다.
도 9를 참조하여, 본 발명에 따른 차량 촬영 장치 및 그 제어방법의 다른 실 시예를 설명한다.
본 실시예에서 카메라부(12a, 12b) 등은 상술한 실시예와 실질적으로 동일하다. 다만, 본 실시예에서는 다수의 중앙제어부(10a, 10b)를 가진다. 예를 들어, 제1카메라부(12a)에서 촬영된 영상을 처리하는 제1중앙제어부(10a) 및 제2카메라부(12b)에서 촬영된 영상을 처리하는 제2중앙제어부(10b)가 구비된다. 물론, 중앙처리부의 갯수는 반드시 카메라부의 갯수에 대응하는 것은 아니며, 최소한 2개 이상이면 가능하다.
상세히 설명하면 다음과 같다.
제1카메라부(12a) 및 제2카메라부(12b)는 이상제어부(50)에 연결되고, 제1중앙제어부(10a) 및 제2중앙제어부(10b)도 이상제어부(50)에 연결된다. 제1카메라부(12a) 및 제2카메라부(12b)에 촬영된 영상은 이상제어부(50)를 매개로 하여 각각 제1중앙제어부(10a) 및 제2중앙제어부(10b)로 전달된다. 제1중앙제어부(10a)는 제1카메라부(12a)의 촬영 영상을 이미지 프로세싱에 의하여 번호판 판독 등을 수행하고, 제2중앙제어부(10b)는 제2카메라부(12b)의 촬영 영상을 이미지 프로세싱에 의하여 번호판 판독 등을 수행한다.
한편, 본 실시예에서도 한편, 카메라부(12a, 12b)는 이상제어부(10a, 10b)뿐만 아니라 중앙제어부(10a, 10b)에도 병렬(52a, 52b)로 연결하는 것도 가능하다. 본 실시예에서는 제1카메라부(12a)는 제1중앙제어부(10a), 제2카메라부(12b)는 제2중앙제어부(10b)에 각각 병렬 연결되는 것이 바람직하다.
도 9에서는 이상제어부 및 중앙제어부를 각기 다른 구성요소를 도시하였지만 본 발명은 이에 한정되지 않는다. 즉, 이상제어부 및 중앙제어부가 각기 다른 하드웨어 및 소프트웨에로 구성될 수 있지만, 하나의 하드웨어에 이상제어부 및 중앙제어부의 기능을 하는 소프트웨어로 구성될 수도 있다.
도 10을 참조하여, 본 실시예에 따른 차량 촬영 장치의 제어방법을 설명한다.
먼저, 제1중앙제어부는 제1카메라부에서 촬영된 영상을 처리하고, 제2중앙제어부는 제2카메라부에서 촬영된 영상을 처리하도록 기본적으로 설정되고,(S100) 이에 따라 제1중앙제어부 및 제2중앙제어부가 작동된다.
차량 촬영 장치가 작동 중에 계속적으로 중앙제어부가 정상적으로 작동하는지를 판단한다. 제1중앙제어부 및 제2중앙제어부가 각각 정상적으로 작동하는지를 순차적으로 판단하는 것이 바람직하다. 제1중앙제어부가 정상적으로 작동하는지를 판단한다.(S102) 만약 제1중앙제어부가 정상이라고 판단되면, 제1중앙제어부가 제1카메라부에서 촬영된 영상을 처리한다.(S104) 만약 제1중앙제어부가 이상이라고 판단되면, 제2중앙제어부가 제1카메라부에서 촬영된 영상을 처리하도록 조정된다.(S106) 즉, 제2중앙제어부가 제1카메라부 영상 및 제2카메라부 영상 모두를 이미지 프로세싱하도록 조정된다.
물론, 제1중앙제어부가 정상적으로 작동하는지 판단 및 그에 따른 조치 후에는 제2중앙제어부가 정상적으로 작동하는지 판단 및 조치가 순차적으로 수행된다.(S108, S110, S112) 제2중앙제어부의 이상 판단 및 조치는 제1중앙제어부와 동일하므로 이에 대한 설명은 생략한다.
각각의 단계를 상세히 설명하면 다음과 같다.
먼저, 제1중앙제어부의 이상 유무를 판단하는 것을 설명한다. 제1중앙제어부의 이상유무를 판단하는 방식은 여러가지가 있을 수 있으나, 다음과 같은 방식을 사용하는 것이 바람직하다.
첫째, 이상제어부와 중앙제어부 사이에 적절한 규약을 정하여, 이러한 규약에 의하여 판단할 수 있다. 예를 들어, 이상제어부에서 중앙제어부로 데이터를 전달하면, 중앙제어부에서 이에 대한 수신확인을 하도록 규약을 정하고, 수신확인이 되지 않으면 해당 중앙제어부가 이상이라고 판단할 수 있다. 여기서, 데이터는 카메라부에서 촬영된 영상일 수 있으며, 반드시 이에 한정되지는 않는다.
둘째, 이상제어부에서 중앙제어부와 통신할 때 중앙제어부에서 수신된 데이터를 다시 이상제어부로 전달하게 하고, 이상제어부에서 이를 받지 못하면 해당 중앙제어부가 이상이라고 판단할 수 있다. 즉, 일종의 핑 테스트(Ping Test)를 이용한다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 원리를 이용하는 것은 본 발명의 권리에 속한다. 예를 들어, 본 발명은 2개 이상의 카메라부를 이용하여 산림 감시, 하천 감시 등에 사용하는 촬영 장치 및 그 제어방법에 적용하는 것도 가능하다. 이 경우에 다른 구성 요소 및 제어방법 등은 그대로 사용할 수 있으며, 다만, 차량은 검지하는 검지부가 필요하지 않지만, 기타 촬영 싯점을 트리거하는 것을 사용할 수도 있다.
도 1은 종래의 차량 촬영 시스템의 구성을 개략적으로 도시한 구성도
도 2는 일반적인 차량 검지 방법을 도시한 도면
도 3은 본 발명에 따른 차량 촬영 시스템의 실시예의 구성을 개략적으로 도시한 구성도
도 4는 본 발명에 따른 차량 촬영 시스템의 제어방법의 실시예의 구성을 개략적으로 도시한 흐름도
도 5는 도 4의 카메라부 운전모드 수정 방법을 도시한 흐름도
도 6은 도 4의 카메라부의 촬영 범위 조정 방식을 도시한 도면
도 7은 도 4의 카메라부의 촬영 범위 조정 방식의 다른 예를 도시한 도면
도 8은 도 4의 카메라부의 촬영 범위 조정 방식의 또 다른 예를 도시한 도면
도 9는 본 발명에 따른 차량 촬영 시스템의 다른 실시예의 구성을 개략적으로 도시한 구성도
도 10은 본 발명에 따른 차량 촬영 시스템의 제어방법의 실시예의 구성을 개략적으로 도시한 흐름도

Claims (16)

  1. 최소한 두 개의 카메라부를 포함하는 카메라부에서 각각 설정된 영역을 촬영하는 촬영단계와;
    상기 카메라부의 이상유무를 판단하는 판단단계와;
    상기 카메라부 중의 어느 한 개의 카메라부(제1카메라부)가 이상이라고 판단되면, 상기 카메라부 중의 다른 카메라부(제2카메라부)가 상기 제1카메라부에서 촬영하도록 설정된 영역을 촬영하도록 제어단계와;
    상기 제1카메라부의 촬영 영상을 이미지 프로세싱하는 제1중앙제어부 및 상기 제2카메라부의 촬영 영상을 이미지 프로세싱하는 제2중앙제어부의 이상유무를 판단하는 판단단계와;
    상기 제1중앙제어부가 이상이라고 판단되면, 상기 제2중앙제어부에서 상기 제1카메라부에서 촬영된 촬영 영상을 이미지 프로세싱하도록 하는 단계를 포함하는 차량촬영 장치의 제어방법.
  2. 제1항에 있어서, 상기 제어단계에서, 상기 제2카메라부의 촬영범위를 조정하여 상기 제2카메라부가 상기 제1카메라부의 촬영 영역을 촬영하도록 하는 것을 특징으로 하는 차량촬영 장치의 제어방법.
  3. 제1항에 있어서, 상기 제어단계에서, 상기 제2카메라부의 촬영한 영상에서 상기 제1카메라부의 촬영 영역에 해당하는 부분을 상기 제1카메라부의 촬영영역으로 처리하는 것을 특징으로 하는 차량촬영 장치의 제어방법.
  4. 제2항 또는 제3항에 있어서, 상기 제2카메라부의 촬영한 영상을 상기 제1카메라부의 촬영 영역에 해당하는 부분 및 상기 제2카메라부의 촬영 영역에 해당하는 부분으로 분할하는 것을 특징으로 하는 차량촬영 장치의 제어방법.
  5. 삭제
  6. 제1항에 있어서, 상기 제1카메라부의 촬영 시점을 정하기 위하여 차량을 감지하는 제1차량검지부 및 상기 제2카메라부의 촬영 시점을 정하기 위하여 차량을 감지하는 제2차량검지부의 이상유무를 판단하는 판단단계와;
    상기 제1차량검지부가 이상이라고 판단되면, 상기 제2차량검지부에서 상기 제1카메라부의 촬영 시점을 정하도록 하는 단계를 더욱 포함하는 것을 특징으로 하는 차량촬영 장치의 제어방법.
  7. 최소한 두 개의 카메라부를 포함하는 카메라부에서 각각 설정된 영역을 촬영하는 촬영단계와;
    상기 카메라부에 대응하는 최소한 두 개의 중앙제어부에서 촬영된 영상을 각각 이미지 프로세싱하는 처리단계와;
    상기 제어부 중의 어느 한 개의 중앙제어부(제1중앙제어부)가 이상이라고 판단되면, 상기 제어부 중의 다른 중앙제어부(제2중앙제어부)가 상기 제1중앙제어부에서 처리할 영상을 처리하도록 하는 제어단계를 포함하는 차량촬영 장치의 제어방법.
  8. 제7항에 있어서, 상기 제어단계는 상기 촬영단계에서 소정 기준 이하로 촬영 영상이 획득되는 시간에 수행되는 것을 특징으로 하는 차량촬영 장치의 제어방법.
  9. 각각 설정된 영역을 촬영하는 최소한 두 개의 카메라부와;
    상기 카메라부 중의 어느 한 개의 카메라부(제1카메라부)의 촬영 영상을 이미지 프로세싱하는 제1중앙제어부 및 상기 카메라부 중의 다른 카메라부(제2카메라부)의 촬영 영상을 이미지 프로세싱하는 제2중앙제어부와;
    상기 카메라부의 이상유무를 판단하여, 상기 제1카메라부가 이상이라고 판단되면, 상기 제2카메라부가 상기 제1카메라부에서 촬영하도록 설정된 영역을 촬영하도록 제어하는 이상제어부를 포함하는 차량촬영 장치.
  10. 제9항에 있어서, 상기 이상제어부는, 상기 제1카메라부가 이상이라고 판단되면, 상기 제2카메라부의 촬영 범위를 조정하여 상기 제2카메라부가 상기 제1카메라부의 촬영 영역을 촬영하도록 하는 것을 특징으로 하는 차량촬영 장치.
  11. 제9항에 있어서, 상기 이상제어부는, 상기 제1카메라부가 이상이라고 판단되 면, 상기 제2카메라부의 촬영한 영상에서 상기 제1카메라부의 촬영 영역에 해당하는 부분을 상기 제1카메라부의 촬영영역으로 처리하는 것을 특징으로 하는 차량촬영 장치.
  12. 제10항 또는 제11항에 있어서, 상기 이상제어부는, 상기 제2카메라부의 촬영한 영상을 상기 제1카메라부의 촬영 영역에 해당하는 부분 및 상기 제2카메라부의 촬영 영역에 해당하는 부분으로 분할하는 것을 특징으로 하는 차량촬영 장치.
  13. 삭제
  14. 제9항에 있어서, 상기 이상제어부는 상기 제1중앙제어부가 이상이라고 판단되면, 상기 제2중앙제어부에서 상기 제1카메라부에서 촬영된 촬영 영상을 이미지 프로세싱하도록 하는 것을 특징으로 하는 차량촬영 장치.
  15. 각각 설정된 영역을 촬영하는 최소한 두 개의 카메라부와;
    상기 카메라부에서 촬영된 영상을 각각 이미지 프로세싱하는 최소한 두 개의 중앙제어부와;
    상기 중앙제어부 중의 어느 한 개의 중앙제어부(제1중앙제어부)가 이상이라 고 판단되면, 상기 중앙제어부 중의 다른 중앙제어부(제2중앙제어부)가 상기 제1중앙제어부의 역할을 수행하도록 제어하는 이상제어부를 포함하는 차량촬영 장치.
  16. 최소한 두 개의 카메라부를 포함하는 카메라부에서 각각 설정된 영역을 촬영하는 촬영단계와;
    상기 카메라부의 이상유무를 판단하는 판단단계와;
    상기 카메라부 중의 어느 한 개의 카메라부(제1카메라부)가 이상이라고 판단되면, 상기 카메라부 중의 다른 카메라부(제2카메라부)가 상기 제1카메라부에서 촬영하도록 설정된 영역을 촬영하도록 제어단계와;
    상기 제1카메라부의 촬영 시점을 정하기 위하여 차량을 감지하는 제1차량검지부 및 상기 제2카메라부의 촬영 시점을 정하기 위하여 차량을 감지하는 제2차량검지부의 이상유무를 판단하는 판단단계와;
    상기 제1차량검지부가 이상이라고 판단되면, 상기 제2차량검지부에서 상기 제1카메라부의 촬영 시점을 정하도록 하는 단계를 더욱 포함하는 것을 특징으로 하는 차량촬영 장치의 제어방법.
KR1020090037108A 2009-04-28 2009-04-28 차량 촬영 장치 및 그 제어방법 KR100936443B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090037108A KR100936443B1 (ko) 2009-04-28 2009-04-28 차량 촬영 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090037108A KR100936443B1 (ko) 2009-04-28 2009-04-28 차량 촬영 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR100936443B1 true KR100936443B1 (ko) 2010-01-13

Family

ID=41809689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090037108A KR100936443B1 (ko) 2009-04-28 2009-04-28 차량 촬영 장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR100936443B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160065339A (ko) * 2014-11-28 2016-06-09 한국도로공사 영상식 차량검지기의 성능평가를 위한 교통정보 수집장치 및 원격 모니터링 시스템
KR101653388B1 (ko) * 2016-04-12 2016-09-01 주식회사 스마트비전 Cctv를 이용한 지능형 교통 시스템
KR101653389B1 (ko) * 2016-04-12 2016-09-01 주식회사 스마트비전 Cctv를 이용한 통합 교통 관리 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105863A (ja) * 1996-09-26 1998-04-24 Oki Electric Ind Co Ltd 走行路情報収集装置
JP2002369224A (ja) 2001-06-04 2002-12-20 Oki Electric Ind Co Ltd 監視装置およびその故障検出方法
JP2006304342A (ja) 2004-02-03 2006-11-02 Matsushita Electric Ind Co Ltd 検出領域調整装置
KR100830844B1 (ko) 2007-10-29 2008-05-20 (주)고려다이나믹스 카메라를 이용한 주차관리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105863A (ja) * 1996-09-26 1998-04-24 Oki Electric Ind Co Ltd 走行路情報収集装置
JP2002369224A (ja) 2001-06-04 2002-12-20 Oki Electric Ind Co Ltd 監視装置およびその故障検出方法
JP2006304342A (ja) 2004-02-03 2006-11-02 Matsushita Electric Ind Co Ltd 検出領域調整装置
KR100830844B1 (ko) 2007-10-29 2008-05-20 (주)고려다이나믹스 카메라를 이용한 주차관리 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160065339A (ko) * 2014-11-28 2016-06-09 한국도로공사 영상식 차량검지기의 성능평가를 위한 교통정보 수집장치 및 원격 모니터링 시스템
KR101678744B1 (ko) * 2014-11-28 2016-12-07 한국도로공사 영상식 차량검지기의 성능평가를 위한 교통정보 수집장치 및 원격 모니터링 시스템
KR101653388B1 (ko) * 2016-04-12 2016-09-01 주식회사 스마트비전 Cctv를 이용한 지능형 교통 시스템
KR101653389B1 (ko) * 2016-04-12 2016-09-01 주식회사 스마트비전 Cctv를 이용한 통합 교통 관리 시스템

Similar Documents

Publication Publication Date Title
US8576284B2 (en) Monitoring system, monitoring apparatus and monitoring method
CN101373517B (zh) 一种车牌识别方法及系统
KR101496390B1 (ko) 차량번호인식 시스템
KR102061264B1 (ko) C-its 기반 차량위치정보를 이용한 돌발 상황 감지시스템
US20100033575A1 (en) Event surveillance system and method using network camera
KR101626377B1 (ko) Cctv와 차량내 블랙박스를 활용한 빅데이터 기반의 불법 주정차 단속 시스템
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN103730009A (zh) 一种无车牌车辆检测方法及系统
KR101625538B1 (ko) 도시방범이 가능한 다차선 자동차 번호판 인식시스템
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
KR101660254B1 (ko) 주차차단기의 번호인식시스템
KR100936443B1 (ko) 차량 촬영 장치 및 그 제어방법
CN105070065A (zh) 移动智能交通卡口系统及应用其进行车辆监控的方法
CN105303827A (zh) 一种交通违章图像取证装置及方法
KR100936444B1 (ko) 차량감시장치 및 그 제어방법
KR101080219B1 (ko) 불법 주정차 단속 시스템
KR20050095807A (ko) 번호판 인식을 이용한 속력위반차량 검색시스템 및 그 방법
CN105427615B (zh) 一种低照度下鲁棒的闯红灯抓拍系统及方法
KR100969303B1 (ko) 메디안 필터 기반 다기능 차량번호 인식 시스템 및 그 방법
CN113206994B (zh) 摄像机自动工勘方法、装置、电子设备、芯片及存储介质
CN105303825A (zh) 一种违章斜侧方停车取证装置及方法
KR102713540B1 (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR20100135103A (ko) 이종 카메라를 이용한 보안 시스템 및 방법
CN215298410U (zh) 一种入侵识别系统
KR101242075B1 (ko) 전용차로 단속방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151117

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161115

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 11