KR20200136296A - 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법 - Google Patents

다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법 Download PDF

Info

Publication number
KR20200136296A
KR20200136296A KR1020190112845A KR20190112845A KR20200136296A KR 20200136296 A KR20200136296 A KR 20200136296A KR 1020190112845 A KR1020190112845 A KR 1020190112845A KR 20190112845 A KR20190112845 A KR 20190112845A KR 20200136296 A KR20200136296 A KR 20200136296A
Authority
KR
South Korea
Prior art keywords
vehicle
image
enforcement
unit
camera
Prior art date
Application number
KR1020190112845A
Other languages
English (en)
Other versions
KR102247050B1 (ko
Inventor
김현수
Original Assignee
주식회사 몹티콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020190061709 priority Critical
Priority to KR20190061709 priority
Application filed by 주식회사 몹티콘 filed Critical 주식회사 몹티콘
Publication of KR20200136296A publication Critical patent/KR20200136296A/ko
Application granted granted Critical
Publication of KR102247050B1 publication Critical patent/KR102247050B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3233Determination of region of interest
    • G06K9/325Detection of text region in scene imagery, real life image or Web pages, e.g. licenses plates, captions on TV images
    • G06K9/3258Scene text, e.g. street name
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/15Detection and recognition of car license plates

Abstract

다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법이 개시된다. 본 발명의 실시 예에 따른 다방향 단속 카메라 시스템은, 단속구간 내에 진입한 차량을 감지하여 해당 차량의 주행속도를 감지하는 차량속도 감지부, 감지된 주행속도를 기설정된 최고제한속도와 비교하여 차량에 대한 과속 여부를 판단하는 과속 판단부, 과속 판단부에 의해 과속으로 판단된 차량의 영상을 촬영하는 카메라부, 촬영된 차량의 영상으로부터 차량번호를 추출하는 차량번호 추출부, 차량번호 추출부에 의해 차량번호가 추출되지 않는 경우, 기설정된 군집수에 의해 차량의 전방 영상 및 후방 영상에서 단속대상 차량을 특정하는 차량 특정부, 전방 영상으로부터 특정된 단속대상 차량과 후방 영상으로부터 특정된 단속대상 차량을 매칭하여 최종 단속대상 차량을 추출하는 차량 매칭부, 및 최종 단속대상 차량이 추출되면, 차량번호 추출부를 제어하여 후방 영상으로부터 최종 단속대상 차량의 차량번호를 추출하도록 제어하는 제어부를 포함한다.

Description

다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법{Multidirection unmanned camera system,and crackdown method by the camera}
본 발명은 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법에 관한 것으로서, 보다 상세하게는, 단속대상 차량의 차량번호를 전방 및 후방에서 식별하여 단속의 정확성을 높이는 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법에 관한 것이다.
차량이 주행하는 도로에는 교통량이나 도로의 선형 등을 감안하여 주행의 안전이나 교통사고의 리스크를 줄이기 위해 차량의 주행속도에 대한 제한최고속도를 두고 있으며, 이에 따라 제한최고속도를 지키지 않는 차량들을 단속하는 다양한 시스템들이 사용되고 있다.
통상적으로, 도로의 지면에 설치되는 루프 혹은 레이더를 이용하는 방식에서는 주행하는 차량의 속도를 감지하여 제한최고속도를 초과하는 경우에 단속카메라로 차량을 촬영하고, 이 촬영된 이미지로부터 차량번호를 추출하는 과정을 통해 위반 차량을 특정하여 과태료를 부과한다.
이러한 방식의 경우, 차량의 속도를 검지하여 제한최고속도를 초과하는 것이 감지되면, 단속카메라가 해당 차량을 촬영하여 차량에 대한 이미지를 얻는다. 그런데, 차량 전방의 차량 번호판이 오염되거나 물리적 손상이 발생한 경우, 혹은 차주가 고의로 손상하는 경우 등 차량번호를 인식하기 어려운 상황이 발생한다.
또한, 차량 전방의 차량번호판이 아무런 문제없이 정상적이더라도, 선행 차량에 의해 차량번호판이 가려지거나, 혹은 역광에 의해 카메라 이미지로부터 차량번호를 인식할 수 없는 경우가 발생하기도 한다.
차량 전방의 차량번호판을 정상적으로 인식할 수 없는 경우에 대비하기 위하여, 차량의 후방에서 후방의 차량번호판을 인식하는 기술이 요구되며, 단순히 차량의 후방에서 이미지를 촬영하는 것만으로는, 해당 차량을 특정할 수 없으므로, 전방에서 특정된 차량을 후방에서도 특정하여 매칭시키는 기술을 필요로 한다.
종래에는, 전방에서 촬영된 차량 이미지와 후방에서 촬영된 차량 이미지를 통해 동일 차량을 찾아내는 방법으로, Kalman filter와 같은 추적 알고리즘을 사용하고 있다. 하지만, 관측 위치에 따른 모션의 변화로 추적 알고리즘의 성능이 저하되고, 다중 카메라의 경우에는 관측의 불연속 구간이 발생하여 동일 차량 특정에 한계가 발생한다.
또한, 객체의 단순 정보, 모양 정보, 및 텍스쳐 정보를 이용하여 동일 차량을 매칭하는 기술도 제안되었으나, 이러한 기술도 여전히 단점이 발생한다. 보다 구체적으로, 색상 정보를 이용할 경우에는 여러 색상 혼재하는 상황에서는 정확한 차량 객체의 모델링이 어려운 문제점이 있고, 모양 정보를 이용할 경우에는 관측 위치에 따라 매칭이 어려운 문제점이 있다. 또한, 텍스쳐 정보를 이용할 경우에는 정확도는 높으나, 실시간 처리가 어려워 과속여부를 실시간으로 판단하여 단속차량을 특정할 수 없는 문제점이 있다.
국내등록특허 제10-999993호(2019. 7. 9. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 전방 및 후방의 영상을 모두 활용하여 단속대상 차량의 차량번호를 추출함으로써, 단속의 정확도를 높일 수 있는 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따른 다방향 단속 카메라 시스템은, 단속구간 내에 진입한 차량을 감지하여 해당 차량의 주행속도를 감지하는 차량속도 감지부, 감지된 주행속도를 기설정된 최고제한속도와 비교하여 차량에 대한 과속 여부를 판단하는 과속 판단부, 과속 판단부에 의해 과속으로 판단된 차량의 영상을 촬영하는 카메라부, 촬영된 차량의 영상으로부터 차량번호를 추출하는 차량번호 추출부, 차량번호 추출부에 의해 차량번호가 추출되지 않는 경우, 기설정된 군집수에 의해 차량의 전방 영상 및 후방 영상에서 단속대상 차량을 특정하는 차량 특정부, 전방 영상으로부터 특정된 단속대상 차량과 후방 영상으로부터 특정된 단속대상 차량을 매칭하여 최종 단속대상 차량을 추출하는 차량 매칭부, 및 최종 단속대상 차량이 추출되면, 차량번호 추출부를 제어하여 후방 영상으로부터 최종 단속대상 차량의 차량번호를 추출하도록 제어하는 제어부를 포함한다.
바람직하게, 차량 특정부는, 하나의 차량을 상기 기설정된 군집수에 의한 군집으로 구성된 GMM(Gaussian Mixture Model) 형태로 모델링하여 단속대상 차량을 특정할 수 있다.
또한 바람직하게, 기설정정된 군집수는 8개 이상일 수 있다.
또한 바람직하게, 차량 특정부는, 모델링할 프레임을 n×m의 서브 군집영역으로 구분하여, 구분된 서브 군집영역 단위로 제1 모델링 절차를 수행하고, 제1 모델링 절차의 결과를 반영하여 모델링할 프레임의 픽셀 단위로 제2 모델링 절차를 수행할 수 있다.
또한 바람직하게, 차량 특정부는, 제1 모델링 절차에 사용되는 각 군집의 특징 파라미터에 대한 평균 및 공분산값은 임의로 정하고, 제1 모델링 절차의 수행 결과에 따라 얻어지는 각 군집의 특징 파라미터에 대한 평균 및 공분산값을 제2 모델링 절차의 각 군집의 특징 파라미터에 대한 평균 및 공분산값으로 적용할 수 있다.
또한 바람직하게, 차량 매칭부는, 단속대상 차량의 전방 영상 및 후방 영상 중 어느 하나를 기준 영상으로 정하고, 기준 영상이 아닌 다른 영상에 포함되어 있는 차량에 대하여 하기의 수식에 의해 차량간 유사도를 산출할 수 있다:
Figure pat00001
여기서, q(F)는 전방 영상으로부터 결정된 차량 GMM 모델, p(F)는 후방 영상으로부터 결정된 차량 GMM 모델, Sn은 차량 샘플의 개수이다.
한편, 본 발명의 다른 실시 예에 따른 다방향 단속 카메라에 의한 단속 방법은, 단속구간 내에 진입한 차량을 감지하여 해당 차량의 주행속도를 감지하는 단계, 감지된 주행속도를 기설정된 최고제한속도와 비교하여 차량에 대한 과속 여부를 판단하는 단계, 판단 결과 과속으로 판단된 차량의 영상을 촬영하는 단계, 촬영된 차량의 영상으로부터 차량번호를 추출하는 단계, 추출 결과 차량번호가 추출되지 않는 경우, 기설정된 군집수에 의해 차량의 전방 영상 및 후방 영상에서 단속대상 차량을 특정하는 단계, 전방 영상으로부터 특정된 단속대상 차량과 후방 영상으로부터 특정된 단속대상 차량을 매칭하여 최종 단속대상 차량을 추출하는 단계, 및 최종 단속대상 차량이 추출되면, 후방 영상으로부터 최종 단속대상 차량의 차량번호를 추출하는 단계를 포함한다.
바람직하게, 특정하는 단계는, 하나의 차량을 기설정된 군집수에 의한 군집으로 구성된 GMM(Gaussian Mixture Model) 형태로 모델링하여 단속대상 차량을 특정할 수 있다.
또한 바람직하게, 기설정된 군집수는 8개 이상일 수 있다.
또한 바람직하게, 특정하는 단계는, 모델링할 프레임을 n×m의 서브 군집영역으로 구분하여, 구분된 서브 군집영역 단위로 제1 모델링 절차를 수행하는 단계, 및 제1 모델링 절차의 결과를 반영하여 모델링할 프레임의 픽셀 단위로 제2 모델링 절차를 수행하는 단계를 포함할 수 있다.
또한 바람직하게, 특정하는 단계는, 제1 모델링 절차에 사용되는 각 군집의 특징 파라미터에 대한 평균 및 공분산값은 임의로 정하고, 제1 모델링 절차의 수행 결과에 따라 얻어지는 각 군집의 특징 파라미터에 대한 평균 및 공분산값을 제2 모델링 절차의 각 군집의 특징 파라미터에 대한 평균 및 공분산값으로 적용할 수 있다.
또한 바람직하게, 추출하는 단계는, 단속대상 차량의 전방 영상 및 후방 영상 중 어느 하나를 기준 영상으로 정하고, 기준 영상이 아닌 다른 영상에 포함되어 있는 차량에 대하여 하기의 수식에 의해 차량간 유사도를 산출할 수 있다:
Figure pat00002
여기서, q(F)는 전방 영상으로부터 결정된 차량 GMM 모델, p(F)는 후방 영상으로부터 결정된 차량 GMM 모델, Sn은 차량 샘플의 개수이다.
본 발명에 따르면, 단속 카메라가 차량의 전방 영상 및 후방 영상을 모두 획득하여 차량을 특정함으로써, 차량 번호판의 전방 혹은 후방의 어느 하나가 훼손되더라도, 도로상의 불법차량이 단속을 피하는 현상을 방지하여 불법 차량의 단속의 정확성을 향상시킬 수 있는 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법을 제공하는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라 시스템의 설치 구성을 보인 도면,
도 2는 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라 시스템의 블럭도,
도 3 및 도 4는 본 발명의 바람직한 실시예에 따른 군집의 형태를 설명하기 위한 도면,
도 5a 내지 도 5g는 본 발명의 바람직한 실시예에 따른 군집 구성의 예를 보인 도면, 그리고,
도 6은 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라에 의한 단속 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.
또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라 시스템의 설치 구성을 보인 도면이다.
통상적으로, 도로 상의 특정 지점 예를 들면, 도로의 특성상 과속이 많이 발생하는 지역 및 과속으로 인한 사고 발생 우발 지역 등에 차량으로 인한 사고 발생을 방지하기 위한 차원에서 단속 카메라가 설치된다.
본 실시예에서는, 차선의 개수에 따라 다방향 단속 카메라 시스템(100)의 개수가 대응되게 설치된 것을 예시하였다. 하지만, 이는 일 실시예에 불과할 뿐이며, 경우에 따라서는 하나의 다방향 단속 카메라 시스템(100)이 복수의 차선을 선택적으로 촬영하도록 설치될 수도 있다.
본 다방향 단속 카메라 시스템(100)은 실제로 차량(200)의 영상을 촬영하기 위한 하드웨어장치인 카메라를 포함한다. 이때, 카메라는 하나의 차량(200)에 대하여 전방 영상과 후방 영상을 촬영할 수 있도록 구성된다.
이를 위해, 일 실시예로 카메라는 어안 렌즈로 구성될 수 있다. 어안 렌즈는 초광각 렌즈로 시야가 180도를 넘는 렌즈를 일컷는 것으로, 카메라를 어안 렌즈로 구성하면 촬영시 차량(200)의 전방과 후방이 모두 촬영되는 장점이 있다.
다른 실시예에, 단속 카메라 시스템(100)은 그 설치각도가 서로 상이한 복수의 카메라로 구성될 수 있다. 이때, 복수의 카메라 중 하나는 차량(200)의 전방 영상을 촬영할 수 있는 각도로 설치되고, 다른 하나는 차량(200)의 후방 영상을 촬영할 수 있는 각도로 설치된다. 복수의 카메라가 설치되는 각도는 도로의 특성을 감안하여 실험적으로 결정될 수 있다.
도시한 바와 같이, 차량(200)은 고유한 차량번호가 부여되며, 차량번호가 기재된 번호판은 법적으로 차량(200)의 전방에는 전방 번호판(210)이, 후방에는 후방 번호판(220)이 각각 부착되어 있어야 한다.
이러한 점에 착안하여, 본 발명에서는 전방 번호판(210)이 식별이 어려운 경우가 발생하는 점을 개선하기 위하여, 전방 번호판(210)과 후방 번호판(220)을 모두 촬영하여 차량번호를 추출함으로써, 불법차량에 대한 식별의 정확도를 높이고자 한다.
도 2는 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라 시스템의 블럭도이다.
도 2d를 참조하면, 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라 시스템(100)은 차량속도 감지부(110), 과속 판단부(120), 카메라부(130), 차량번호 추출부(140), 차량 특정부(150), 차량 매칭부(160), 저장부(170), 및 제어부(180)를 포함한다.
차량속도 감지부(110)는 단속구간 내에 진입한 차량(200)을 감지하여 해당 차량의 주행속도를 감지한다. 차량(200)의 속도를 감지하는 것은 기공지된 사항으로, 여러가지 방법 중 상황에 따라 적절히 적용될 수 있다.
과속 판단부(120)는 차량속도 감지부(110)에 의해 차량(200)의 속도가 감지되면, 감지된 차량(200)의 속도를 기설정된 최고제한속도와 비교하여 차량(200)에 대한 과속 여부를 판단한다.
과속 판단부(120)에서 차량(200)의 과속 판단시 기준이 되는 최고제한속도는, 단속 카메라 시스템(100)이 설치되는 장소에 따라 다르게 설정된다. 예를 들면, 도로에 따라 제한속도가 100, 110, 80, 30 등으로 다양하므로, 최고제한속도는 도로의 상황에 따라 해당 도로의 제한속도에 위반허용범위를 반영하여 각각 다르게 설정된다.
카메라부(130)는 과속 판단부(120)에 의해 과속으로 판단된 차량(200)의 영상을 촬영한다. 본 실시예에서, 카메라부(130)는 차량(200)의 영상을 촬영함에 있어, 전방 영상 및 후방 영상을 촬영하여야 하므로, 광범위한 시야를 갖는 어안렌즈를 적용하거나 혹은 전방 및 후방을 각각 촬영이 가능한 각도로 설치되는 복수의 카메라를 포함할 수 있다.
차량번호 추출부(140)는 카메라부(130)에 의해 촬영된 영상으로부터 차량번호를 추출한다. 영상으로부터 텍스트(글자 및 숫자)를 추출하는 기술은 기공지된 기술이므로, 본 실시예에서는 특별히 언급하지 않는다.
본 실시예에서, 차량번호 추출부(140)는 일차적으로 전방 영상으로부터 차량번호를 추출하고, 이차적으로 후방 영상으로부터 차량번호를 추출하는 과정을 수행할 수 있다.
차량 특정부(150)는 차량번호 추출부(140)에 의해 차량번호가 추출되지 않는 경우에 단속대상 차량을 추적하기 위해 전방 영상 및 후방 영상으로부터 단속대상 차량을 특정한다.
차량번호 추출부(140)에 의해 차량번호가 추출되지 않는 경우는 여러 가지 이유가 있을 수 있다. 예를 들면, 차량번호판에 이물질이 묻어 차량번호의 식별이 용이하지 않은 경우, 차주가 고의로 차량번호판을 훼손한 경우 등이 있을 수 있다.
통상적으로, 과속과 같은 도로상의 불법행위 단속시에 차량(200)의 전방을 촬영하여 전방 번호판(210)의 이미지로부터 차량번호를 추출하는 방식이 주로 사용된다. 그런데, 전방 번호판(210)이 어떠한 이유로든 촬영이 되지 않는다면, 해당 차량(200)은 불법행위를 하였음에도 단속을 피하는 상황이 발생한다.
그러므로, 본 실시예에서는 차량번호 추출부(140)의 일차 동작시 차량번호가 추출되지 않았다면, 차량 특정부(150)에서 차량(200)의 전방 영상 및 후방 영상에서 단속대상 차량을 특정하도록 한다.
차량번호 추출부(140)는 하나의 차량(200)을 기설정된 수의 군집으로 구성된 GMM(Gaussian Mixture Model) 형태로 모델링하여 단속대상 차량을 특정한다.
본 실시예에서, 하나의 차량(200)에 대하여 설정되는 군집은 8개 이상으로 정한다. 군집화 알고리즘을 적용해 본 결과, 차량(200)에 대하여는 1 내지 7개의 군집으로 구성하면, 실험적으로 차량을 식별하는데 적절하지 않다는 결론을 도출하였다. 이에, 차량(200)에 대한 군집화 알고리즘 적용에는 8개 이상의 군집을 형성하도록 구성한다.
통상의 군집화 알고리즘은 최종적으로 찾고자 하는 목표대상을 분류해 내기 위하여 통계, 및 분산 등을 특징으로 적용한다. 다양한 군집화 알고리즘이 있으나, 본 실시예에서는 GK 군집화 알고리즘을 적용한다.
GK 군집화 알고리즘은, 블렌딩(Blending) 개념을 도입하고, 타원 형태의 군집을 형성한다. 이에 의해, 표현력이 뛰어나고, 차량(200) 식별에 적합한 모델링이 가능하다. 다만, 전체적으로 연산량이 높은 것이 단점이다.
이에, 본 실시예에서는 차량 특정부(150)에서 차량(200)을 특정함에 있어, 두 차례의 과정(제1 및 제2 모델링 절차)을 거치도록 한다. 제1 모델링 절차는 모델링할 영상의 프레임을 n×m의 서브 군집영역으로 구분하여, 서브 군집영역 단위로 수행되는 모델링 절차이다. 제2 모델링 절차는 제1 모델링 절차의 결과를 반영하여 모델링할 프레임의 픽셀 단위로 수행되는 모델링 절차이다.
여기서, n×m의 서브 군집영역은 수차례의 실험을 거쳐 차량(200)의 서브 군접영역으로 적합한 것으로 판단되는 픽셀 크기로 설정할 수 있으며, 직사각형 혹은 정사각형 형태 모두 가능하다.
GK 군집화 알고리즘은 반복적인(iterative) 알고리즘인 관계로, 반복회수와 샘플의 개수가 많아지면 기하급수적으로 전체적인 연산량이 증가된다. GK 군집화 알고리즘의 연산에는 각 군집의 특징 파라미터에 대한 평균 및 공분산이 사용되는데 이를 P라 정의한다.
본 실시예에서는, 제1 모델링 절차시 P를 임의로 정하여 모델링을 수행하고, 제1 모델링 절차의 결과를 제2 모델링 절차의 P로 적용한다. 이에 의해, 제2 모델링 절차에서 반복 회수가 현저하게 줄어들게 되고, 결과적으로 전체 연산량도 현저하게 줄어들게 된다.
차량 매칭부(160)는 전방 영상으로부터 특정된 단속대상 차량과 후방 영상으로부터 특정된 단속대상 차량을 서로 매칭하여 최종 단속대상 차량을 추출한다.
보다 구체적으로, 차량 매칭부(160)는 전방 영상 및 후방 영상중 어느 하나를 기준 영상으로 정하고, 기준 영상이 아닌 다른 영상에 포함되어 있는 차량에 대하여 차량간 유사도를 산출하여 유사도가 높게 산출되는 차량을 최종 단속대상 차량으로 결정할 수 있다.
예를 들어, 전방 영상을 기준 영상으로 정했다고 가정한다. 이 경우, 전방 영상으로부터 단속대상 차량이 추출된다. 이후, 후방 영상으로부터 복수의 차량이 인식되는데, 예를 들어 2대의 차량이 인식되었다면, 전방 영상으로부터 추출된 단속대상 차량과 후방 영상에서 인식된 2대의 차량에 대하여 서로간의 유사도를 산출하도록 한다. 후방 영상 속 2대의 차량 중 단속대상 차량과 유사도가 높게 나타나는 차량이 단속대상 차량과 동일한 차량으로 인식된다.
차량 매칭부(160)에서는 추정 모델과 샘플간의 유사도 측정에 주로 사용되는 크로스 엔트로피(cross entropy)로 정의되는 KLD(kullback-Leivler Divergence)를 적용한다.
하지만, 본 실시예에서는 기공지되어 있는 KLD의 수식을 그대로 사용하지 않고, 변형하여 사용한다. 즉, 본 발명에서는 실제 KLD 값을 필요로 하는 것이 아니라, 유사도가 가까운 차량만을 찾아내면 되므로, 단순히 크기 비교만 가능하면 된다. 이에 의해, KLD 수식을 단순화하여 실시간 연산이 가능하도록 구성한다.
Figure pat00003
수학식 1은 기공지되어 있는 KLD 수식이다.
Figure pat00004
수학식 1을 로그(log) 성질을 이용하면 수학식 2와 같이 변형할 수 있다.
Figure pat00005
수학식 2에서, 우변의 첫번째 항은 주어진 샘플의 실제 모델에 관련된 항이므로, 항상 상수가 되는 성질을 보인다. 그러므로, 본 발명에서처럼 실제 KLD 값을 필요로 하지 않는 경우 생략 가능하다. 수학식 2에서, 항상 상수인 항을 무시하면, 수학식 3과 같이 정의할 수 있다.
Figure pat00006
최종적으로, 본 실시예에서는 수학식 4와 같이 근사화한 수식을 적용하도록 한다. 위 수학식 1 내지 4에서, q{F)는 전방 영상으로부터 결정된 차량 GMM 모델이고, p{F)는 후방 영상으로부터 결정된 차량 GMM 모델이다. 또한, Sn은 차량 샘플의 개수이다.
저장부(170)는 본 다방향 단속 카메라 시스템(100)의 동작에 필요한 모든 정보를 저장한다. 예를 들면, 단속대사 차량의 과속 판단시 적용되는 최고제한속도는 저장부(170)에 저장된다.
제어부(180)는 본 다방향 단속 카메라 시스템(100)에 필요한 전반적인 동작을 제어한다. 즉, 제어부(180)는 차량속도 감지부(110), 과속 판단부(120), 카메라부(130), 차량번호 추출부(140), 차량 특정부(150), 차량 매칭부(160), 저장부(170)들 간의 신호 입출력을 제어한다.
제어부(180)는 차량속도 감지부(110)에 의해 차량(200)의 주행속도가 감지되면, 과속 판단부(120)가 차량(200)의 주행속도를 최고제한속도와 비교하여 차량에 대한 과속 여부를 판단하도록 제어한다.
또한, 제어부(180)는 과속 판단부(120)에 의해 과속이 판단되는 차량(200)이 발견되면, 카메라부(130)가 차량(200)의 영상을 촬영하도록 제어한다. 또한, 제어부(180)는 카메라부(130)에 의해 차량(200)의 영상이 촬영되면, 차량번호 추출부(140)가 차량번호를 추출하도록 제어한다.
또한, 제어부(180)는 최종 단속대상 차량이 추출되면, 차량번호 추출부(140)를 제어하여 후방 영상으로부터 최종 단속대상 차량의 차량번호를 추출하도록 한다.
도 3 및 도 4는 본 발명의 바람직한 실시예에 따른 군집의 형태를 설명하기 위한 도면이다.
통상적으로, 군집화 알고리즘에서는 원형의 군집(a)을 형성한다. 하지만, 본 실시예에서는 십자자 형상의 군집(b)을 형성하도록 한다. (L,a,b,x,y) 특징 기반의 GK 군집화 알고리즘에서, 십자가 형상의 군집(b)의 중심은 x, y의 평균이고, 길이는 x, y의 공분산이 된다. 십자가의 색은 (L,a,b)의 평균이다.
도 3에서, 우측과 좌측의 결과가 다른 것을 확인할 수 있으며, 두 입력 영상이 구별 가능함을 알 수 있다. 이때, 하나의 영상에 형성되는 군집의 개수를 늘리면 보다 더 정교한 학습이 가능하다.
도 4를 참조하면, 입력측에 나타낸 각각의 패치마다 군집이 위치하여 출력측에 나타낸 십자가 형상의 군집이 형성될 수 있다. 입력측 및 출력측이 모두 검은색 패치로 형성되지만, 그 위치가 달라 서로 식별이 가능하다.
여기서, 군집의 개수가 많아지면 줄무늬의 개수까지도 표현할 수 있는 장점이 있다. 하지만, 군집의 개수가 너무 많아지면 실제 차량(200)에 적용했을 때 너무 민감한 결과를 가져오므로, 전체적인 양상 정도를 파악할 수 있을 정도의 군집의 개수를 정하는 것이 매우 중요하다.
본 발명의 차량의 식별을 위한 것이므로, 수차례의 실험적인 결과로 8개 정도의 군집이 적당함을 알게 되었으며, 다만 반드시 8개일 필요는 없으며, 8개 이상으로 변경 적용할 수 있다.
도 5a 내지 도 5g는 본 발명의 바람직한 실시예에 따른 군집 구성의 예를 보인 도면이다.
차량 특정부(150)에서는 하나의 차량(200)에 대하여 8개의 군집을 형성한다. 이를 실제 도로 상에서 촬영되는 차량(200)에 적용한 예를 도 5a 내지 도 5g에 도시하였다.
본 실시예에서는 하나의 차량(200)에 대하여 8개의 군집을 형성하는 예를 도시하였으나, 실제 적용시에는 8개보다 더 많은 수의 군집을 형성할 수도 있다. 도시한 바와 같이, 차량 특정부(150)에서 형성하는 군집이 십자가 형상임을 알 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 다방향 단속 카메라에 의한 단속 방법을 설명하기 위한 흐름도이다.
다방향 단속 카메라 시스템(100)에 의해 도로 상의 단속 구간 내에 차량이 감지되면(S300), 차량속도 감지부(110)에서 해당 차량(200)의 주행속도를 측정한다(S310).
과속 판단부(120)가 차량(200)의 주행속도를 최고제한속도와 비교한 결과, 과속 차량인 것으로 판단되면(S320-Y), 카메라부(130)에서 해당 차량(200)에 대한 영상을 촬영한다(S330).
차량번호 추출부(140)에서는 카메라부(130)에 의해 촬영된 영상으로부터 차량번호를 추출한다(S340). 이때, 차량번호 추출부(140)가 차량번호 추출시 사용하는 영상은 차량(200)의 전방 영상일 수 있다.
차량(200)의 전방 영상으로부터 정상적으로 차량번호가 추출되면 문제가 없으나, 전방 번호판(210)의 훼손과 같은 이유로 차량번호가 추출되지 않으면(S350-Y), 차량 특정부(150)에서 전방 영상에서 차량을 특정한 후, 후방 영상에서 기특정된 차량과 동일한 차량을 찾아 특정한다(S360).
차량 특정부(150)에서 전방 영상의 차량과 동일한 차량을 후방 영상으로부터 특정하면, 차량 매칭부(160)에서 수학식 4에 의해 유사도를 산출하여 전방 영상과 후방 영상의 차량이 동일한 차량인지를 판단하여 최종 단속차량을 추출한다(S370).
최종 단속차량이 추출되면, 차량번호 추출부(140)에서는 후방 영상으로부터 해당 차량에 대한 차량번호를 추출한다(S380).
이러한 과정에 의해, 차량(200)의 전방 영상으로부터 정상적으로 차량번호가 추출되지 않으면, 차량(200)의 후방 영상으로부터 재차 차량번호를 추출하는 과정을 거침으로써, 전방 번호판(210)이 훼손 혹은 미촬영되어도 후방 번호판(220)으로부터 차량번호를 추출할 수 있다. 그러므로, 단속 차량을 정확하게 특정할 수 있는 이점이 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 다방향 단속 카메라 시스템 110 : 차량속도 감지부
120 : 과속 판단부 130 : 카메라부
140 : 차량번호 추출부 150 : 차량 특정부
160 : 차량 매칭부 170 : 저장부
180 : 제어부

Claims (12)

  1. 단속구간 내에 진입한 차량을 감지하여 해당 차량의 주행속도를 감지하는 차량속도 감지부;
    상기 감지된 주행속도를 기설정된 최고제한속도와 비교하여 상기 차량에 대한 과속 여부를 판단하는 과속 판단부;
    상기 과속 판단부에 의해 과속으로 판단된 차량의 영상을 촬영하는 카메라부;
    상기 촬영된 차량의 영상으로부터 차량번호를 추출하는 차량번호 추출부;
    상기 차량번호 추출부에 의해 상기 차량번호가 추출되지 않는 경우, 기설정된 군집수에 의해 차량의 전방 영상 및 후방 영상에서 단속대상 차량을 특정하는 차량 특정부;
    상기 전방 영상으로부터 특정된 단속대상 차량과 상기 후방 영상으로부터 특정된 단속대상 차량을 매칭하여 최종 단속대상 차량을 추출하는 차량 매칭부; 및
    상기 최종 단속대상 차량이 추출되면, 상기 차량번호 추출부를 제어하여 상기 후방 영상으로부터 상기 최종 단속대상 차량의 차량번호를 추출하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 다방향 단속 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 차량 특정부는, 하나의 차량을 상기 기설정된 군집수에 의한 군집으로 구성된 GMM(Gaussian Mixture Model) 형태로 모델링하여 상기 단속대상 차량을 특정하는 것을 특징으로 하는 다방향 단속 카메라 시스템.
  3. 제 2 항에 있어서,
    상기 기설정된 군집수는 8개 이상인 것을 특징으로 하는 다방향 단속 카메라 시스템.
  4. 제 2 항에 있어서,
    상기 차량 특정부는, 모델링할 프레임을 n×m의 서브 군집영역으로 구분하여, 상기 구분된 서브 군집영역 단위로 제1 모델링 절차를 수행하고, 상기 제1 모델링 절차의 결과를 반영하여 상기 모델링할 프레임의 픽셀 단위로 제2 모델링 절차를 수행하는 것을 특징으로 하는 다방향 단속 카메라 시스템.
  5. 제 4 항에 있어서,
    상기 차량 특정부는, 상기 제1 모델링 절차에 사용되는 각 군집의 특징 파라미터에 대한 평균 및 공분산값은 임의로 정하고, 상기 제1 모델링 절차의 수행 결과에 따라 얻어지는 각 군집의 특징 파라미터에 대한 평균 및 공분산값을 상기 제2 모델링 절차의 각 군집의 특징 파라미터에 대한 평균 및 공분산값으로 적용하는 것을 특징으로 하는 다방향 단속 카메라 시스템.
  6. 제 2 항에 있어서,
    상기 차량 매칭부는,
    상기 단속대상 차량의 전방 영상 및 후방 영상 중 어느 하나를 기준 영상으로 정하고, 상기 기준 영상이 아닌 다른 영상에 포함되어 있는 차량에 대하여 하기의 수식에 의해 차량간 유사도를 산출하는 것을 특징으로 하는 다방향 단속 카메라 시스템:
    Figure pat00007

    여기서, q(F)는 상기 전방 영상으로부터 결정된 차량 GMM 모델, p(F)는 상기 후방 영상으로부터 결정된 차량 GMM 모델, Sn은 차량 샘플의 개수이다.
  7. 단속구간 내에 진입한 차량을 감지하여 해당 차량의 주행속도를 감지하는 단계;
    상기 감지된 주행속도를 기설정된 최고제한속도와 비교하여 상기 차량에 대한 과속 여부를 판단하는 단계;
    상기 판단 결과 과속으로 판단된 차량의 영상을 촬영하는 단계;
    상기 촬영된 차량의 영상으로부터 차량번호를 추출하는 단계;
    상기 추출 결과 상기 차량번호가 추출되지 않는 경우, 기설정된 군집수에 의해 차량의 전방 영상 및 후방 영상에서 단속대상 차량을 특정하는 단계;
    상기 전방 영상으로부터 특정된 단속대상 차량과 상기 후방 영상으로부터 특정된 단속대상 차량을 매칭하여 최종 단속대상 차량을 추출하는 단계; 및
    상기 최종 단속대상 차량이 추출되면, 상기 후방 영상으로부터 상기 최종 단속대상 차량의 차량번호를 추출하는 단계;를 포함하는 것을 특징으로 하는 다방향 단속 카메라에 의한 단속 방법.
  8. 제 7 항에 있어서,
    상기 특정하는 단계는, 하나의 차량을 상기 기설정된 군집수에 의한 군집으로 구성된 GMM(Gaussian Mixture Model) 형태로 모델링하여 상기 단속대상 차량을 특정하는 것을 특징으로 하는 다방향 단속 카메라에 의한 단속 방법.
  9. 제 8 항에 있어서,
    상기 기설정된 군집수는 8개 이상인 것을 특징으로 하는 다방향 단속 카메라에 의한 단속 방법.
  10. 제 8 항에 있어서,
    상기 특정하는 단계는,
    모델링할 프레임을 n×m의 서브 군집영역으로 구분하여, 상기 구분된 서브 군집영역 단위로 제1 모델링 절차를 수행하는 단계; 및
    상기 제1 모델링 절차의 결과를 반영하여 상기 모델링할 프레임의 픽셀 단위로 제2 모델링 절차를 수행하는 단계;를 포함하는 것을 특징으로 하는 다방향 단속 카메라에 의한 단속 방법.
  11. 제 10 항에 있어서,
    상기 특정하는 단계는, 상기 제1 모델링 절차에 사용되는 각 군집의 특징 파라미터에 대한 평균 및 공분산값은 임의로 정하고, 상기 제1 모델링 절차의 수행 결과에 따라 얻어지는 각 군집의 특징 파라미터에 대한 평균 및 공분산값을 상기 제2 모델링 절차의 각 군집의 특징 파라미터에 대한 평균 및 공분산값으로 적용하는 것을 특징으로 하는 다방향 단속 카메라에 의한 단속 방법.
  12. 제 8 항에 있어서,
    상기 추출하는 단계는,
    상기 단속대상 차량의 전방 영상 및 후방 영상 중 어느 하나를 기준 영상으로 정하고, 상기 기준 영상이 아닌 다른 영상에 포함되어 있는 차량에 대하여 하기의 수식에 의해 차량간 유사도를 산출하는 것을 특징으로 하는 다방향 단속 카메라에 의한 단속 방법:
    Figure pat00008

    여기서, q(F)는 상기 전방 영상으로부터 결정된 차량 GMM 모델, p(F)는 상기 후방 영상으로부터 결정된 차량 GMM 모델, Sn은 차량 샘플의 개수이다.
KR1020190112845A 2019-05-27 2019-09-11 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법 KR102247050B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190061709 2019-05-27
KR20190061709 2019-05-27

Publications (2)

Publication Number Publication Date
KR20200136296A true KR20200136296A (ko) 2020-12-07
KR102247050B1 KR102247050B1 (ko) 2021-04-30

Family

ID=73791179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190112845A KR102247050B1 (ko) 2019-05-27 2019-09-11 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법

Country Status (1)

Country Link
KR (1) KR102247050B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999993B1 (ko) 2008-10-16 2010-12-09 에스에이치도어텍주식회사 감시안테나 보호장치
KR20120132812A (ko) * 2011-05-30 2012-12-10 휴앤에스(주) 하이패스 다차로의 위반차량 매칭 시스템
KR20160069685A (ko) * 2014-12-09 2016-06-17 (주)토마토전자 주차차단기의 번호인식시스템
KR20170080480A (ko) * 2015-12-30 2017-07-10 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
KR20180027242A (ko) * 2016-09-06 2018-03-14 국방과학연구소 무인 차량을 위한 주변 환경 매핑 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999993B1 (ko) 2008-10-16 2010-12-09 에스에이치도어텍주식회사 감시안테나 보호장치
KR20120132812A (ko) * 2011-05-30 2012-12-10 휴앤에스(주) 하이패스 다차로의 위반차량 매칭 시스템
KR20160069685A (ko) * 2014-12-09 2016-06-17 (주)토마토전자 주차차단기의 번호인식시스템
KR20170080480A (ko) * 2015-12-30 2017-07-10 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
KR20180027242A (ko) * 2016-09-06 2018-03-14 국방과학연구소 무인 차량을 위한 주변 환경 매핑 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[머신러닝_군집화] 가우시안 혼합모델 (Gaussian Mixture Model, GMM), [online], 2018년 4월 6일 [2020년 12월 7일 검색], 인터넷: <URL: https://m.blog.naver.com/chrhdhkd/222014776700> *

Also Published As

Publication number Publication date
KR102247050B1 (ko) 2021-04-30

Similar Documents

Publication Publication Date Title
US8902053B2 (en) Method and system for lane departure warning
CN102792314B (zh) 交叉通行碰撞警报系统
WO2016119532A1 (zh) 车辆违章停车的取证方法及其装置
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
WO2015089867A1 (zh) 一种交通违章检测方法
US20110164789A1 (en) Detection of vehicles in images of a night time scene
KR101040049B1 (ko) 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법
US10212397B2 (en) Abandoned object detection apparatus and method and system
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
KR101355201B1 (ko) 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
Hautiere et al. Meteorological conditions processing for vision-based traffic monitoring
CN108847031B (zh) 交通行为监控方法、装置、计算机设备和存储介质
WO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
Santos et al. Car recognition based on back lights and rear view features
KR101736173B1 (ko) 관심 객체 고속 검출 장치 및 그 방법
Tao et al. Automatic smoky vehicle detection from traffic surveillance video based on vehicle rear detection and multi-feature fusion
EP3044734B1 (en) Isotropic feature matching
US20150146924A1 (en) Image analyzing device, image analyzing method, and recording medium storing image analyzing program
Bubeníková et al. Security increasing trends in intelligent transportation systems utilising modern image processing methods
Nodado et al. Intelligent Traffic Light System Using Computer Vision with Android Monitoring and Control
Lu et al. Monocular multi-kernel based lane marking detection
KR20200136296A (ko) 다방향 단속 카메라 시스템 및 다방향 단속 카메라에 의한 단속 방법
Ketcham et al. The analysis of lane detection algorithms using histogram shapes and Hough transform
US11037266B2 (en) Attached substance detection device and attached substance detection method
TW201536609A (zh) 障礙物偵測裝置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant