KR101694155B1 - 주행 차량 분석 장치 및 그 방법 - Google Patents

주행 차량 분석 장치 및 그 방법 Download PDF

Info

Publication number
KR101694155B1
KR101694155B1 KR1020160150269A KR20160150269A KR101694155B1 KR 101694155 B1 KR101694155 B1 KR 101694155B1 KR 1020160150269 A KR1020160150269 A KR 1020160150269A KR 20160150269 A KR20160150269 A KR 20160150269A KR 101694155 B1 KR101694155 B1 KR 101694155B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
point
analyzing
lane
Prior art date
Application number
KR1020160150269A
Other languages
English (en)
Inventor
안순현
Original Assignee
렉스젠(주)
안순현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주), 안순현 filed Critical 렉스젠(주)
Priority to KR1020160150269A priority Critical patent/KR101694155B1/ko
Application granted granted Critical
Publication of KR101694155B1 publication Critical patent/KR101694155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Abstract

본 발명은 주행 차량 분석 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 적어도 하나의 차로를 포함하는 도로의 적어도 한 지점을 통과하는 복수의 주행 차량을 분석하는 장치에 있어서, 촬영 수단을 통해 제1 지점에서 촬영한 영상을 분석하여 상기 차량들에 대한 차량 정보를 각각 수집하는 제1 정보 수집부와, 상기 차량 정보를 이용하여 제1 차량을 중심으로 설정된 시간 범위 내에 상기 제1 차량의 전, 후, 좌 및 우 중 적어도 하나에 위치하는 제2 차량의 정보를 추출하는 정보 추출부, 및 상기 제1 차량에 대한 제1 차량 정보와 상기 제2 차량에 대한 제2 차량 정보를 이용하여 상기 제1 차량과 상기 제2 차량 간 거리를 제공하는 정보 표출부를 포함하는 주행 차량 분석 장치를 제공한다.
본 발명에 의하면, 도로의 소정 지점을 통과하는 차량에 대한 촬영 영상에서 수집한 차량 정보들을 분석함으로써 지정 차로 위반 차량 및 추월 위반 차량을 효과적으로 단속할 수 있다.

Description

주행 차량 분석 장치 및 그 방법{VEHICLE ANALYSIS APPARATUS AND METHOD THEREOF}
본 발명은 주행 차량 분석 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 지정 차로 위반, 추월 위반 등의 교통 법규 위반 차량을 단속할 수 있는 주행 차량 분석 장치 및 그 방법에 관한 것이다.
최근 씨씨티브이(CCTV) 카메라를 이용한 공공 치안 및 범죄 예방, 법규 위반 단속 등이 보편화되고 있다.
특히나 차량과 보행자, 운전자 등을 보호하기 위해 교통 법규를 적용하여 과속 단속, 불법 주정차 단속, 지정 차로제 위반 단속의 다양한 단속이 이루어지고 있다.
또한, 최근에는 고속 주행이 가능한 도로, 밀폐된 공간의 터널 등과 같이, 대형 참사를 일으킬 수 있는 공간에서의 지정 차로제 위반, 추월 위반 등을 단속하기 위한 시스템을 강화하고 있는 추세이다.
지정차로제는 도로 주행 시에 차종과 차체의 크기에 따라 주행 차로를 정해놓은 제도로, 편도 2차로, 3차로, 4차로에서 차종 별로 주행해야 할 차로를 명시하고 있으며 고속도로 및 고속도로 외의 도로로 구분하여 시행하고 있다.
고속도로의 경우, 편도 2차로에서 1차로는 추월차로, 2차로는 차종에 상관없이 모든 차량의 주행이 가능하다. 편도 3차로에서 1차로는 추월차로, 2차로는 승용차나 승합차를 위한 차로, 3차로는 화물차, 특수자동차 및 건설기계를 위한 차로가 된다.
편도 4차에서 1차로는 추월차로, 2차로는 승용차와 중/소형 승합차를 위한 차로, 3차로는 대형승합차나 적재중량 1.5톤 이하의 화물차를 위한 차로, 4차로는 1.5톤 이상의 화물차와 특수자동차 및 건설기계를 위한 차로가 된다.
편도 3차로부터는 지정 차로의 왼편 차로가 추월 차로가 되는데, 예를 들어 3차로를 달리는 화물차는 2차로를, 4차로를 달리는 건설기계는 3차로를 각각 추월차로를 이용할 수 있다. 이러한 지정차로제는 무분별한 차로 변경, 추돌 사고 및 교통 정체를 예방하며, 위반 시에는 벌점 및 범칙금이 부과된다.
또한 지정차로제에 의하면, 전체 차로가 비어있는 상황 또는 자신의 지정 차로가 비어있는 상황에서 지정 차로보다 왼쪽 차로를 주행할 경우에도 규정 속도의 준수와 관계없이 지정 차로 위반 단속이 된다. 즉, 도로가 한산한 경우에도 지정 차로를 엄밀히 준수해야 한다.
현재까지 지정 차로 위반의 단속은 주로 CCTV 영상 분석, 경찰 헬기 또는 순찰 차량 투입을 이용하고 있으나, 영상 분석의 경우 차로별로 차종을 분석해야 하기 때문에, 단속률이 떨어지는 문제점이 있다.
그 밖에도 터널, 다리 등과 같은 도로는 추월이나 차선 변경이 제한되는 구간이지만 차선 변경이나 추월 행위 및 그로 인한 교통 사고 발생이 끊이지 않고 있다.
추월 금지 구간에서 차선 변경이나 추월을 하게 되면 사고의 위험성이 매우 높으며 사고 발생 시에도 사고 처리 및 수습에 오랜 시간이 소요되고 극심한 교통 정체를 유발하며 폭발 또는 화재 발생 시 막대한 인명 피해로 이어질 수 있다.
현재까지 추월 금지 구간은 단속 장비의 설치가 미비한 편으로 단속 사각 지대에 있으며 단속률도 매우 낮은 실정이다. 따라서 추월 금지 구간에 대한 관련 위법 행위를 포착하고 단속하기 위한 시스템의 구축이 절실히 필요하다.
본 발명의 배경이 되는 기술은 한국공개특허 제2015-0106158호(2015.09.21 공개)에 개시되어 있다.
본 발명은 도로에서 영상 촬영을 통해 수집한 차량 정보들을 이용하여 지정 차로 위반, 추월 위반 등의 교통 법규 위반 차량을 단속할 수 있는 주행 차량 분석 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 적어도 하나의 차로를 포함하는 도로의 적어도 한 지점을 통과하는 복수의 주행 차량을 분석하는 장치에 있어서, 촬영 수단을 통해 제1 지점에서 촬영한 영상을 분석하여 상기 차량들에 대한 차량 정보를 각각 수집하는 제1 정보 수집부와, 상기 차량 정보를 이용하여 제1 차량을 중심으로 설정된 시간 범위 내에 상기 제1 차량의 전, 후, 좌 및 우 중 적어도 하나에 위치하는 제2 차량의 정보를 추출하는 정보 추출부, 및 상기 제1 차량에 대한 제1 차량 정보와 상기 제2 차량에 대한 제2 차량 정보를 이용하여 상기 제1 차량과 상기 제2 차량 간 거리를 제공하는 정보 표출부를 포함하는 주행 차량 분석 장치를 제공한다.
또한, 상기 정보 표출부는, 주행 차로, 차량 종류, 차량 번호, 차량 속도 및 촬영 시간 중 적어도 하나를 기준으로 상기 제1 차량과 상기 제2 차량을 구분하여 표시할 수 있다.
또한, 상기 주행 차량 분석 장치는, 상기 제1 차량 정보와 상기 제2 차량 정보를 기초로 상기 제1 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 위반 분석부를 더 포함할 수 있다.
또한, 상기 제1 차량 정보 및 상기 제2 차량 정보 각각은, 주행 차로, 차량 종류, 차량 번호, 촬영 영상, 차량 속도 및 촬영 시간 중 적어도 하나의 정보를 포함할 수 있다.
또한, 상기 정보 표출부는, 상기 제1 차량 정보 및 상기 제2 차량 정보 각각에 포함된 상기 차량 속도와 상기 촬영 시간을 기초로 상기 차량 간 거리를 계산하여 표출할 수 있다.
또한, 상기 정보 표출부는, 상기 제1 차량 정보 및 상기 제2 차량 정보를 기초로, 미터 스케일 축 및 차로 스케일 축을 포함한 정보 제공 플랫폼 상의 해당 위치에 상기 제1 차량 및 제2 차량을 각각 표시하며, 상기 미터 스케일 축의 영점은 상기 제1 차량의 위치에 대응하는 지점일 수 있다.
또한, 상기 주행 차량 분석 장치는, 촬영 수단을 통해 제2 지점에서 촬영한 영상을 분석하여 상기 제1 차량에 대한 제3 차량 정보와 상기 제2 차량에 대한 제4 차량 정보를 수집하는 제2 정보 수집부를 더 포함하며, 상기 위반 분석부는, 상기 제1 지점 및 상기 제2 지점 각각에서 수집한 상기 제1 내지 제4 차량 정보 중 적어도 하나를 분석하여 추월 위반 차량을 추출할 수 있다.
또한, 상기 위반 분석부는, 상기 제3 차량 정보와 상기 제4 차량 정보를 기초로 상기 제2 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석할 수 있다.
그리고, 본 발명은, 적어도 하나의 차로를 포함하는 도로의 적어도 한 지점을 통과하는 복수의 주행 차량을 분석하는 장치를 이용한 주행 차량 분석 방법에 있어서, 촬영 수단을 통해 제1 지점에서 촬영한 영상을 분석하여 상기 차량들에 대한 차량 정보를 각각 수집하는 단계와, 상기 차량 정보를 이용하여 제1 차량을 중심으로 설정된 시간 범위 내에 상기 제1 차량의 전, 후, 좌 및 우 중 적어도 하나에 위치하는 제2 차량의 정보를 추출하는 단계, 및 상기 제1 차량에 대한 제1 차량 정보와 상기 제2 차량에 대한 제2 차량 정보를 이용하여 상기 제1 차량과 상기 제2 차량 간 거리를 제공하는 단계를 포함하는 주행 차량 분석 방법을 제공한다.
또한, 상기 제공하는 단계는, 주행 차로, 차량 종류, 차량 번호, 차량 속도 및 촬영 시간 중 적어도 하나를 기준으로 상기 제1 차량과 상기 제2 차량을 구분하여 표시할 수 있다.
또한, 상기 주행 차량 분석 방법은, 상기 제1 차량 정보와 상기 제2 차량 정보를 기초로 상기 제1 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 단계를 더 포함할 수 있다.
또한, 상기 제1 차량 정보 및 상기 제2 차량 정보 각각은, 주행 차로, 차량 종류, 차량 번호, 촬영 영상, 차량 속도 및 촬영 시간 중 적어도 하나의 정보를 포함할 수 있다.
또한, 상기 제공하는 단계는, 상기 제1 차량 정보 및 상기 제2 차량 정보 각각에 포함된 상기 차량 속도와 상기 촬영 시간을 기초로 상기 차량 간 거리를 계산하여 표출할 수 있다.
또한, 상기 제공하는 단계는, 상기 제1 차량 정보 및 상기 제2 차량 정보를 기초로, 미터 스케일 축 및 차로 스케일 축을 포함한 정보 제공 플랫폼 상의 해당 위치에 상기 제1 차량 및 제2 차량을 각각 표시하며, 상기 미터 스케일 축의 영점은 상기 제1 차량의 위치에 대응하는 지점일 수 있다.
또한, 상기 주행 차량 분석 방법은, 촬영 수단을 통해 제2 지점에서 촬영한 영상을 분석하여 상기 제1 차량에 대한 제3 차량 정보와 상기 제2 차량에 대한 제4 차량 정보를 수집하는 단계, 및 상기 제1 지점 및 상기 제2 지점 각각에서 수집한 상기 제1 내지 제4 차량 정보 중 적어도 하나를 분석하여 추월 위반 차량을 추출하는 단계를 더 포함할 수 있다.
또한, 상기 주행 차량 분석 방법은, 상기 제3 차량 정보와 상기 제4 차량 정보를 기초로 상기 제2 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 단계를 더 포함할 수 있다.
본 발명에 따른 주행 차량 분석 장치 및 그 방법에 따르면, 도로의 소정 지점을 통과하는 차량에 대한 촬영 영상에서 수집한 차량 정보들을 분석함으로써 지정 차로 위반 차량 및 추월 위반 차량을 효과적으로 단속할 수 있다.
도 1은 본 발명의 실시 예에 따른 주행 차량 분석 시스템이 적용된 시스템을 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 주행 차량 분석 장치를 도시한 도면이다.
도 3은 도 2의 주행 차량 분석 장치의 정보 표출부가 제공하는 차량 정보를 설명하기 위한 도면이다.
도 4은 도 1에 도시된 시스템의 확장 예를 설명하는 도면이다.
도 5 및 도 6는 각각 도 1 및 도 4에 도시된 시스템을 이용한 주행 차량 분석 방법을 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 주행 차량 분석 시스템을 설명하는 도면이다. 도 1에 나타낸 바와 같이, 본 발명의 실시 예에 따른 주행 차량 분석 시스템은 촬영 장치(100)와 주행 차량 분석 장치(200)를 포함한다.
촬영 장치(100)는 도로의 제1 지점에 설치되어 각 차로를 주행하는 차량을 촬영하며 차량들의 촬영 영상을 주행 차량 분석 장치(200)로 제공한다.
주행 차량 분석 장치(200)는 촬영 장치(100)로부터 수신한 영상을 분석하여 제1 지점에서 촬영된 차량들에 대한 차량 정보를 수집한다.
주행 차량 분석 장치(200)는 제1 지점을 통과하는 차량에 대한 주행 차로, 차량 종류, 차량 번호, 촬영 영상, 차량 속도 및 촬영 시간 중 적어도 하나를 수집한다. 여기서 촬영 시간은 차량이 제1 지점에서 검지된 시점을 포함할 수 있다.
주행 차량 분석 장치(200)는 수집된 차량 정보를 이용하여 제1 차량을 중심으로 설정 시간 범위 내에 제1 차량(10-1)의 전, 후, 좌 및 우 중 적어도 하나에 위치한 제2 차량(10-2, 10-3, 10-n)의 정보를 추출한다. 이를 통해 주행 차량 분석 장치(200)는 제1 차량(10-1)을 기준으로 시간상으로 근접 위치에 존재하는 모든 차로 상의 제2 차량(10-2, 10-3, 10-n)의 정보를 추출한다.
제1 차량은 영상 내에서 표적으로 선정된 차량 또는 영상 내 모든 차량이 대상이 될 수 있다. 제1 차량(10-1)의 정보를 기준으로 추출된 제2 차량(10-2, 10-3, 10-n)의 정보는 제1 차량의 지정 차로 위반 여부 분석에 활용된다. 지정 차로 위반 여부 분석에는 주로 주행 차로, 차량 종류, 차량 속도 및 촬영 시간이 고려될 수 있다.
주행 차량 분석 장치(200)는 제1 차량(10-1)에 대한 제1 차량 정보 및 제2 차량(10-2, 10-3, 10-n)에 대한 제2 차량 정보를 기초로, 제1 지점에서의 제1 차량의 지정 차로 위반 여부를 분석하고, 지정 차로를 위반한 차량의 정보를 제공한다.
주행 차량 분석 장치(200)는 도로에 대응하는 2D 또는 3D의 가상 지도에 제1 차량 정보 및 상기 제2 차량 정보 중 적어도 하나를 표출하여 관리자에게 제공한다. 만일 제1 차량이 지정 차로 위반 차량인 경우 제1 차량 정보에 위반 사실을 포함시켜 제공한다.
또한 주행 차량 분석 장치(200)는 촬영 장치(100)가 설치 운용 중인 도로의 각 지점 별로 가상 지도와 연계하여 차량 정보의 출력, 검색, 조회 기능을 제공할 수 있다.
주행 차량 분석 장치(200)는 촬영 장치(100)와 직접 통신망으로 연결될 수도 있고, 촬영 장치(100)에 근접하여 설치된 별도의 정보 수집부를 매개로 연결될 수도 있다. 이때, 정보 수집부는 근접하게 설치된 촬영 장치(100)로부터 영상을 수신하고, 이를 분석하여 차량들에 대한 차량 정보를 수집하여 통신망을 통해 주행 차량 분석 장치(200)로 전송할 수 있다.
다음은 본 발명의 실시 예에 따른 주행 차량 분석 장치를 상세히 설명한다.
도 2는 본 발명의 실시 예에 따른 주행 차량 분석 장치를 도시한 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시 예에 따른 주행 차량 분석 장치(200)는 제1 정보 수집부(210), 정보 추출부(220), 위반 분석부(230), 정보 표출부(240), 제어부(250) 및 제2 정보 수집부(260)를 포함한다.
제1 정보 수집부(210)는 촬영 장치(100)를 통해 제1 지점(A)에서 촬영한 영상을 분석하여 차량들에 대한 차량 정보를 각각 수집한다. 이때, 각 차량에 대해 수집된 차량 정보는 주행 차로, 차량 종류, 차량 번호, 촬영 영상, 차량 속도 및 촬영 시간 중 적어도 하나의 정보를 포함한다.
정보 추출부(220)는 제1 지점에서 수집된 차량 정보를 이용하여, 제1 차량(10-1)의 정보 및 제2 차량(10-2, 10-3, 10-n)의 정보를 추출한다. 구체적으로는 제1 차량(10-1)을 중심으로 설정 시간 범위 내에 제1 차량(10-1)의 전, 후, 좌(좌측 차로) 및 우(우측 차로) 중 적어도 하나에 위치하는 제2 차량(10-2, 10-3, 10-n)의 정보를 추출한다.
즉, 정보 추출부(220)는 제1 차량(10-1)의 통과 시점을 중심으로 설정 시간 범위 이내에 도로의 제1 지점을 통과한 것으로 분석된 주변 차량의 정보를 제2 차량(10-2, 10-3, 10-n)의 정보로 추출한다. 주변 차량이란 제1 차량(10-1)과 비슷한 시점(설정된 시간 범위 내)에 제1 지점을 통과한 차량이며, 제1 차량(10-1)을 중심으로 전, 후, 좌, 우 중 적어도 한 위치를 고려하고 있으므로, 제1 차량과 동일 차로 또는 상이한 차로 상의 차량을 포함한다.
즉, 제2 차량(10-2, 10-3, 10-n)은 제1 지점을 기준으로 제1 차량(10-1)과 시간적으로 근접한 위치에 있는 차량을 모두 포괄하는 의미를 가진다. 제1 차량(10-1)의 통과 시점을 T, 소정 시간을 α 라고 한다면, 제1 지점에서 시간에 따라 수집된 영상 중에서 'T ±α 시간 구간' 내에 통과된 것으로 분석된 각 차로 별 모든 차량이 제2 차량(10-2, 10-3, 10-n)에 속할 수 있다.
도 1에서 2차로의 화물차가 제1 차량(10-1)일 때, 제1 차량(10-1)의 통과 시점을 중심으로 설정 시간 범위(ex, ± 20초) 내에 있는 제2 차량(10-2, 10-3, 10-n)은 1차 내지 3차로 상의 승용차(10-2, 10-3, 10-n)가 포함될 수 있다. 물론 도면에 도시되지 않은 차량 중에도 제1 차량의 통과 시점을 중심으로 설정 시간 범위 이내의 차량이라면 모두 제2 차량에 속할 수 있다.
이와 같이 정보 추출부(220)는 제1 차량(10-1)보다 제1 지점을 소정 시간 범위 내로 먼저 통과한 차량부터 소정 시간 범위 내로 뒤따라 통과한 차량까지의 정보를 추출하는데, 모든 방향을 고려하고 있기 때문에, 제1 차량(10-1)의 주행 차로 이외의 차로 상의 차량까지 추출 대상이 된다.
지정 차로제의 경우 해당 차종이 지정 차로 또는 추월 차로 이외의 구간을 주행 중이거나, 추월 대상이 없는 경우에 추월 차로를 주행하면 단속 대상이 된다.
예를 들어, 편도 3차로에서, 화물차의 경우, 모든 차로가 비어 있거나 도 1과 같이 자신의 지정 차로인 3차로가 비어있는 상황에서 자신의 추월 차로인 2차로를 주행하게 되면 지정 차로 위반 단속 대상이 된다. 물론, 화물차는 1차로를 주행 중일 때는 그 어떤 상황에도 단속 대상이 된다.
다른 예로, 편도 3차로에서 승용차 역시 자신의 지정 차로인 2차로가 비어 있을 경우에 1차로를 지속적으로 주행할 경우 단속 대상이 된다. 여기서 도로가 비어 있는 정도는 혼잡 정도 또는 차 간 거리와 관련된다. 설정 시간 범위는 도로의 규정 속도가 높을수록 좁게 설정할 수 있다.
위반 분석부(230)는 제1 지점에서 수집한 제1 차량(10-1)에 대한 제1 차량 정보와 제2 차량(10-2, 10-3, 10-n)에 대한 제2 차량 정보를 기초로, 제1 지점에서의 제1 차량(10-1)의 지정 차로 위반 여부를 분석한다.
만일, 화물차가 3차로가 아닌 2차로를 주행 중일 때, 화물차의 통과 시점을 중심으로 설정 시간 범위 내에 통과한 차량이 한 대도 검출되지 않으면, 설정 시간 범위 동안 전체 차로가 비어 있는 상황으로 판단하고, 화물차를 지정 차로 위반 차량으로 분석한다.
즉, 제1 지점에서 수집된 화물차의 촬영 시점(T)을 중심으로 설정 시간 범위(±α) 내에 제1 지점에서 촬영된 차량이 각 방향 어디에도 존재하지 않으면, 화물차는 지정 차로인 3차로를 주행할 수 있는 상황에도 추월 차로를 주행한 경우로 해석되므로 지정 차로 위반 차량에 해당된다.
또한, 같은 상황에서 화물차를 중심으로 설정 시간 범위 내에 해당하는 차량이 1차로에서만 검출된 경우에도 자신의 지정 차로인 3차로는 비어 있는 상황이었으므로 화물차는 지정 차로 위반 차량이 된다.
반면, 화물차가 3차로가 아닌 2차로를 주행 중인 상황에서, 화물차의 통과 시점을 중심으로 설정 시간 범위 내에 해당하는 차량이 3차로 상에서 적어도 하나 검출된 경우는 화물차를 지정 차로 위반 차량으로 분류하지 않는다.
그 이유는 해당 시간 구간에서 화물차가 지정 차로인 3차로 상의 다른 차량으로 인해 지정 차로로의 복귀가 어려웠거나 향후 지정 차로로 복귀할 여지가 있는 상황으로 볼 수 있기 때문이다. 검출된 3차로 상의 차량은 화물차보다 시간적으로 앞서거나 뒤따르는 차량일 수 있는데 두 경우 모두 화물차가 3차로로 복귀하는데 있어 방해 요인이 될 수 있다.
여기서, 도 1에서 1차로의 승용차(10-3)를 기준으로 보면, 승용차(10-3)는 지정 차로인 2차로가 아닌 추월 차로를 주행 중인 상황이며, 승용차(10-3)를 기준으로 설정 시간 범위 내에 2차로 상의 승용차(10-n) 정보가 추출되면, 이 경우 승용차(10-3)는 지정 차로 위반 차량으로 단속되지 않는다. 물론 그 밖에도 본 발명은 도로 교통법에 준하여 보다 다양한 실시 예가 존재할 수 있다.
정보 표출부(240)는 도로에 대응하는 가상 지도에 제1 차량 정보 및 제2 차량 정보를 동시에 표출한다.
정보 표출부(240)는 정보 제공 플랫폼을 포함할 수 있으며, 플랫폼은 주행 차로, 차량 종류, 차량 번호, 차량 속도 및 촬영 시간 중 적어도 하나를 기준으로 제1 차량 정보 및 제2 차량 정보를 표출한다. 또한, 제1 차량(10-1)이 지정 차로 위반 차량으로 분석된다면 제1 차량 정보에 위반 사실을 포함시켜 제공한다.
도 3을 참조하면, 정보 표출부(240)의 플랫폼은 기준 차량인 제1 차량(10-1)의 제1차량 정보와 제2 차량(10-2, 10-3, 10-4, 10-n)의 제2 차량 정보를 기초로 차량 간의 거리를 표시하기 위한 미터 스케일(Meter Scale)을 Y축에 나타내고, 차량의 주행 차로 정보를 표시하기 위한 주행 차로 스케일을 X축에 나타낼 수 있다. 여기서 Y축의 영점은 제1 차량의 위치에 대응하는 지점에 해당할 수 있다.
이때, 미터 스케일(Y축)상의 위치는 차량 속도와 촬영 시간을 고려하여 추정할 수 있다. 예를 들어, 제1 차량(10-1)의 촬영 시간이 10시 58분 20초이고, 제2 차량의 촬영 시간이 10시 58분 22초인 경우, 제2 차량(10-2)의 속도가 100Km/h 이라고 가정하면, 제2 차량(10-2)은 1초당 대략 27m를 이동하므로, 순간 속도 100km/h(27m/s)와 시간차이 -2s(second)를 이용하여 제1 차량(10-1)으로부터 -54m 지점에 제2 차량(10-2)이 위치함을 표시할 수 있다.
이와 같이, 정보 표출부(240)는 제1 차량 정보 및 제2 차량 정보를 기초로, 미터 스케일 축(Y축) 및 차로 스케일 축(X축)을 포함한 정보 제공 플랫폼 상의 해당 위치에 제1 차량 및 제2 차량을 각각 표시할 수 있다. 이때, 제1 차량과 상기 제2 차량을 구분하여 표시할 수 있다.
한편, 정보 표출부(240)는 플랫폼을 통해 차량 정보를 표출함에 있어, 주행 차로, 차량 종류, 차량 번호, 차량 속도 및 촬영 시간 중 적어도 하나를 기준으로 색상, 모양 등과 같은 식별 표시를 다양하게 제공할 수도 있다.
또한, 본 발명의 실시 예를 확장하면, 도로의 두 지점에서 수집된 차량 정보를 비교하여 지정 차로 위반 차량뿐만 아니라 추월 위반 차량을 추출할 수 있다. 이 경우 제2 정보 수집부(260)를 활용하여 추월 위반 차량을 추출할 수 있다.
제어부(250)는 제1 차량의 지정 차로 위반 여부 결과 및 추월 위반 차량 정보를 통합하여 제공한다.
제2 정보 수집부(260)는 촬영 수단을 통해 제2 지점에서 촬영한 영상을 분석하여 제1 차량에 대한 제3 차량 정보와 제2 차량에 대한 제4 차량 정보를 수집한다.
이러한, 추월 위반 차량을 추출하는 내용을 확장한 예를 다음의 도 4 및 도 6을 통해 상세히 설명한다.
도 4는 도 1에 도시된 시스템의 확장 예를 설명하는 도면이다. 도 4에 나타낸 바와 같이, 본 발명의 확장된 실시 예에 따른 시스템은 도로의 제1 지점에 설치된 제1 촬영 장치(100-1) 및 제2 지점에 설치된 제2 촬영 장치(100-2), 차량 분석 장치(200)를 포함한다.
도 4는 터널을 예시한 것으로, 추월이나 차선 변경이 금지된 그 밖의 다른 도로에도 적용 가능하다. 제1 촬영 장치(100-1)는 터널의 입구 지점(A)에, 제2 촬영 장치(100-2)는 출구 지점(B)에 설치되어 있다.
이 경우 제2 정보 수집부(260)는 제2 촬영 장치(100-2)를 통해 제2 지점(B)에서 촬영한 영상을 분석하여 제1 차량(10-1)에 대한 제3 차량 정보와 제2 차량(10-2)에 대한 제4 차량 정보를 추가로 수집한다.
제2 지점(B)에서 수집되는 제3 및 제4 차량 정보는 제2 지점(B)을 통과한 차량들 중에서 앞서 제1 지점(A)에서 기 수집한 제1 및 제2 차량 정보(ex, 차량 번호)와 일치하는 차량 정보를 각각 검색하여 얻을 수 있다.
위반 분석부(230)는 제1 지점(A) 및 제2 지점(B) 각각에서 수집한 제1 내지 제4 차량 정보 중 적어도 하나를 분석하여 추월 위반 차량을 추출한다.
만일, 제1 지점(A)에서는 3차로 상의 제1 차량(10-1)이 2차로 상의 제2 차량(10-2)보다 선행 중이었으나 제2 지점(B)에서는 3차로 상의 제1 차량(10-1)이 제2 차량(10-2)보다 후행하는 경우 제2 차량(10-2)을 추월 위반 차량으로 추출한다. 물론 그 밖에도 본 발명은 도로 교통법에 준하여 보다 다양한 실시예가 존재할 수 있다.
한편, 위반 분석부(230)는 추월 위반 차량 추출 외에도, 끼어들기 금지 구역 등과 같이 차로 변경 금지 구역(혹은 차선 변경 금지 구역이라고도 함)에서 발생하는 위반 차량을 추출할 수도 있다.
또한, 위반 분석부(230)는 제3 차량 정보와 제4 차량 정보를 기초로 제2 지점(B)에서의 제1 차량(10-1)의 지정 차로 위반 여부를 분석할 수 있다. 이는 제1 지점(A)에서와 동일한 원리를 사용하면 된다.
제어부(250)는 제1 차량의 지정 차로 위반 여부 결과 및 추월 위반 차량 정보를 통합하여 제공한다. 또한, 제어부(250)는 각 부(210,220,230,240,260)의 동작을 제어한다.
한편, 본 발명의 실시 예에 따른 주행 차량 분석 장치(200)는 제1 정보 수집부(210) 및 제2 정보 수집부(220)를 포함하는 단일 장치로 구현하였지만, 제1 정보 수집부(210) 및 제2 정보 수집부(220)는 각각 현장에 설치될 수도 있다.
이 경우에, 제1 정보 수집부(210) 및 제2 정보 수집부(220)는 각 촬영 장치(100-1, 100-2)에 근접하게 설치되어 이동하는 차량들에 대한 차량 정보를 수집하고, 수집한 차량 정보를 통신망을 통해 주행 차량 분석 장치(200)로 제공할 수 있다.
또한, 제1 정보 수집부(210) 및 제2 정보 수집부(220)는 각 촬영 장치(100-1, 100-2)에 내장되어 구현할 수도 있다. 이때, 제1 정보 수집부(210) 및 제2 정보 수집부(260) 각각은 기 내장된 알고리즘을 통해 차량 정보를 추출할 수 있다.
다음은 본 발명의 실시 예에 따른 주행 차량 분석 방법에 대하여 설명한다.
도 5는 도 1에 도시된 시스템을 이용한 주행 차량 분석 방법을 나타낸 도면이다.
먼저, 제1 정보 수집부(210)는 촬영 장치(100)를 통해 제1 지점(A)에서 촬영된 영상을 분석하여 차량들에 대한 차량 정보를 각각 수집한다(S510). 여기서 수집되는 차량 정보는 각 차량의 주행 차로, 차량 종류, 차량 번호, 차량 속도, 촬영 영상 및 촬영 시간 중 적어도 하나를 포함한다.
정보 추출부(220)는 제1 정보 수집부(210)에서 수집된 차량 정보를 이용하여 제1 차량을 중심으로 설정된 시간 범위 내에 제1 차량의 전, 후, 좌 및 우 중 적어도 하나에 위치하는 제2 차량의 정보를 추출한다(S520).
위반 분석부(230)는 제1 지점에서 수집한 제1 차량에 대한 제1 차량 정보와 제2 차량에 대한 제2 차량 정보를 기초로 제1 지점에서의 제1 차량의 지정 차로 위반 여부를 분석한다(S530).
이후, 정보 표출부(240)는 도로에 대응하는 가상 지도 또는 정보 제공 플랫폼 상에 제1 차량 정보, 제2 차량 정보 및 제1 및 제2 차량 간 거리를 표출한다(S540). 이때, 각 차량 정보로서, 주행 차로, 차량 종류, 차량 번호, 차량 속도, 차량 영상 및 촬영 시간 등의 정보를 표출한다.
또한, 제1 및 제2 차량 간 거리는 제1 차량 정보와 제2 차량 정보 각각에 포함된 차량 속도와 촬영 시간을 기초로 연산된다. 이러한 S540 단계는 S530 단계와 동시에 수행되거나 S530 단계보다 선행될 수도 있다.
도 6은 도 4에 도시된 시스템을 이용한 주행 차량 분석 방법을 나타낸 도면이다. 도 6에서 S610 내지 S640 단계는 앞서 도 5에서 설명한 S510 내지 S540 단계의 내용과 대응하는 것으로 중복되는 설명은 생략한다.
S640 단계 이후, 제2 정보 수집부(260)는 제2 지점(B)에서 촬영한 영상을 분석하여 제1 차량에 대한 제3 차량 정보와 제2 차량에 대한 제4 차량 정보를 수집한다(S650).
그리고, 위반 분석부(230)는 제1 지점(A) 및 제2 지점(B)에서 각각 수집한 제1 내지 제4 차량 정보 중 적어도 하나를 분석하여 추월 위반 차량을 추출한다(S660). 이때, 제1 차량 또는 제2 차량이 추월 위반 차량으로 분석될 수 있다.
구체적으로, 위반 분석부(230)는 제1 내지 제4 차량 정보 각각에 포함된 주행 차로, 차량 종류, 차량 번호, 촬영 영상 및 촬영 시간을 이용하여, 차량의 진입/진출 순서가 변동되었는지 여부, 차량이 주행하는 차로가 변경되었는지 여부, 과속을 하였는지 여부 등을 종합적으로 판단하여 제1 차량 또는 제2 차량의 추월 위반 여부를 판단하게 된다.
또한, 위반 분석부(230)는 제3 차량 정보와 제4 차량 정보를 기초로 제2 지점(B)에서의 제1 차량의 지정 차로 위반 여부를 분석한다(S670). 이러한 S670 단계는 S660 단계와 동시에 수행되거나 S660 단계보다 선행될 수도 있다.
다음 제어부(250)는 제1 차량의 지정 차로 위반 여부 결과 및 추월 위반 차량 정보를 통합하여 제공한다(S680).
이상과 같은 본 발명에 따른 주행 차량 분석 장치 및 그 방법에 따르면, 도로의 소정 지점을 통과한 차량에 대한 촬영 영상을 통해 수집한 차량 정보들을 이용하여 지정 차로 위반 차량 및 추월 위반 차량을 단속할 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 촬영 장치 200: 주행 차량 분석 장치
210: 제1 정보 수집부 220: 정보 추출부
230: 위반 분석부 240: 정보 표출부
250: 제어부 260: 제2 정보 수집부

Claims (16)

  1. 적어도 하나의 차로를 포함하는 도로의 적어도 한 지점을 통과하는 복수의 주행 차량을 분석하는 장치에 있어서,
    촬영 수단을 통해 제1 지점에서 촬영한 영상을 분석하여 상기 차량들에 대한 차량 정보를 각각 수집하는 제1 정보 수집부;
    상기 차량 정보를 이용하여 제1 차량을 중심으로 설정된 시간 범위 내에 상기 제1 차량의 전, 후, 좌 및 우 중 적어도 하나에 위치하는 제2 차량의 정보를 추출하는 정보 추출부; 및
    상기 제1 차량에 대한 제1 차량 정보와 상기 제2 차량에 대한 제2 차량 정보를 이용하여 상기 제1 차량과 상기 제2 차량 간 거리를 제공하는 정보 표출부
    를 포함하는 주행 차량 분석 장치.
  2. 청구항 1에 있어서,
    상기 정보 표출부는,
    주행 차로, 차량 종류, 차량 번호, 차량 속도 및 촬영 시간 중 적어도 하나를 기준으로 상기 제1 차량과 상기 제2 차량을 구분하여 표시하는 주행 차량 분석 장치.
  3. 청구항 1에 있어서,
    상기 제1 차량 정보와 상기 제2 차량 정보를 기초로 상기 제1 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 위반 분석부를 더 포함하는 주행 차량 분석 장치.
  4. 청구항 1에 있어서,
    상기 제1 차량 정보 및 상기 제2 차량 정보 각각은,
    주행 차로, 차량 종류, 차량 번호, 촬영 영상, 차량 속도 및 촬영 시간 중 적어도 하나의 정보를 포함하는 주행 차량 분석 장치.
  5. 청구항 4에 있어서,
    상기 정보 표출부는,
    상기 제1 차량 정보 및 상기 제2 차량 정보 각각에 포함된 상기 차량 속도와 상기 촬영 시간을 기초로 상기 차량 간 거리를 계산하여 표출하는 주행 차량 분석 장치.
  6. 청구항 4에 있어서,
    상기 정보 표출부는,
    상기 제1 차량 정보 및 상기 제2 차량 정보를 기초로, 미터 스케일 축 및 차로 스케일 축을 포함한 정보 제공 플랫폼 상의 해당 위치에 상기 제1 차량 및 제2 차량을 각각 표시하며,
    상기 미터 스케일 축의 영점은 상기 제1 차량의 위치에 대응하는 지점인 주행 차량 분석 장치.
  7. 청구항 3에 있어서,
    촬영 수단을 통해 제2 지점에서 촬영한 영상을 분석하여 상기 제1 차량에 대한 제3 차량 정보와 상기 제2 차량에 대한 제4 차량 정보를 수집하는 제2 정보 수집부를 더 포함하며,
    상기 위반 분석부는,
    상기 제1 지점 및 상기 제2 지점 각각에서 수집한 상기 제1 내지 제4 차량 정보 중 적어도 하나를 분석하여 추월 위반 차량을 추출하는 주행 차량 분석 장치.
  8. 청구항 7에 있어서,
    상기 위반 분석부는,
    상기 제3 차량 정보와 상기 제4 차량 정보를 기초로 상기 제2 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 주행 차량 분석 장치.
  9. 적어도 하나의 차로를 포함하는 도로의 적어도 한 지점을 통과하는 복수의 주행 차량을 분석하는 장치를 이용한 주행 차량 분석 방법에 있어서,
    촬영 수단을 통해 제1 지점에서 촬영한 영상을 분석하여 상기 차량들에 대한 차량 정보를 각각 수집하는 단계;
    상기 차량 정보를 이용하여 제1 차량을 중심으로 설정된 시간 범위 내에 상기 제1 차량의 전, 후, 좌 및 우 중 적어도 하나에 위치하는 제2 차량의 정보를 추출하는 단계; 및
    상기 제1 차량에 대한 제1 차량 정보와 상기 제2 차량에 대한 제2 차량 정보를 이용하여 상기 제1 차량과 상기 제2 차량 간 거리를 제공하는 단계
    를 포함하는 주행 차량 분석 방법.
  10. 청구항 9에 있어서,
    상기 제공하는 단계는,
    주행 차로, 차량 종류, 차량 번호, 차량 속도 및 촬영 시간 중 적어도 하나를 기준으로 상기 제1 차량과 상기 제2 차량을 구분하여 표시하는 주행 차량 분석 방법.
  11. 청구항 9에 있어서,
    상기 제1 차량 정보와 상기 제2 차량 정보를 기초로 상기 제1 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 단계를 더 포함하는 주행 차량 분석 방법.
  12. 청구항 9에 있어서,
    상기 제1 차량 정보 및 상기 제2 차량 정보 각각은,
    주행 차로, 차량 종류, 차량 번호, 촬영 영상, 차량 속도 및 촬영 시간 중 적어도 하나의 정보를 포함하는 주행 차량 분석 방법.
  13. 청구항 12 있어서,
    상기 제공하는 단계는,
    상기 제1 차량 정보 및 상기 제2 차량 정보 각각에 포함된 상기 차량 속도와 상기 촬영 시간을 기초로 상기 차량 간 거리를 계산하여 표출하는 주행 차량 분석 방법.
  14. 청구항 12 있어서,
    상기 제공하는 단계는,
    상기 제1 차량 정보 및 상기 제2 차량 정보를 기초로, 미터 스케일 축 및 차로 스케일 축을 포함한 정보 제공 플랫폼 상의 해당 위치에 상기 제1 차량 및 제2 차량을 각각 표시하며,
    상기 미터 스케일 축의 영점은 상기 제1 차량의 위치에 대응하는 지점인 주행 차량 분석 방법.
  15. 청구항 9에 있어서,
    촬영 수단을 통해 제2 지점에서 촬영한 영상을 분석하여 상기 제1 차량에 대한 제3 차량 정보와 상기 제2 차량에 대한 제4 차량 정보를 수집하는 단계; 및
    상기 제1 지점 및 상기 제2 지점 각각에서 수집한 상기 제1 내지 제4 차량 정보 중 적어도 하나를 분석하여 추월 위반 차량을 추출하는 단계를 더 포함하는 주행 차량 분석 방법.
  16. 청구항 15에 있어서,
    상기 제3 차량 정보와 상기 제4 차량 정보를 기초로 상기 제2 지점에서의 상기 제1 차량의 지정 차로 위반 여부를 분석하는 단계를 더 포함하는 주행 차량 분석 방법.
KR1020160150269A 2016-11-11 2016-11-11 주행 차량 분석 장치 및 그 방법 KR101694155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160150269A KR101694155B1 (ko) 2016-11-11 2016-11-11 주행 차량 분석 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160150269A KR101694155B1 (ko) 2016-11-11 2016-11-11 주행 차량 분석 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101694155B1 true KR101694155B1 (ko) 2017-01-09

Family

ID=57810946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160150269A KR101694155B1 (ko) 2016-11-11 2016-11-11 주행 차량 분석 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101694155B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190026248A (ko) * 2017-09-04 2019-03-13 한국도로공사 법규 위반 스마트 적발 시스템
EP3693940A1 (de) * 2019-02-07 2020-08-12 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren zum erkennen von überholvorgängen im strassenverkehr innerhalb eines streckenabschnitts
CN114979183A (zh) * 2022-04-12 2022-08-30 支付宝(杭州)信息技术有限公司 车辆违规数据的处理方法及装置、区块链系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862560B1 (ko) * 2008-03-13 2008-10-09 (주) 서돌 전자통신 주행금지 구역 위반 차량 단속 시스템
KR101288264B1 (ko) * 2012-01-20 2013-07-26 이구형 다차로 속도감지 시스템 및 그 방법
JP2015014988A (ja) * 2013-07-08 2015-01-22 アサヒリサーチ株式会社 車両の運行管理装置及びコンピュータプログラム
JP2016130931A (ja) * 2015-01-14 2016-07-21 オムロン株式会社 交通違反管理システムおよび交通違反管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862560B1 (ko) * 2008-03-13 2008-10-09 (주) 서돌 전자통신 주행금지 구역 위반 차량 단속 시스템
KR101288264B1 (ko) * 2012-01-20 2013-07-26 이구형 다차로 속도감지 시스템 및 그 방법
JP2015014988A (ja) * 2013-07-08 2015-01-22 アサヒリサーチ株式会社 車両の運行管理装置及びコンピュータプログラム
JP2016130931A (ja) * 2015-01-14 2016-07-21 オムロン株式会社 交通違反管理システムおよび交通違反管理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190026248A (ko) * 2017-09-04 2019-03-13 한국도로공사 법규 위반 스마트 적발 시스템
KR101963353B1 (ko) * 2017-09-04 2019-03-28 한국도로공사 법규 위반 스마트 적발 시스템
EP3693940A1 (de) * 2019-02-07 2020-08-12 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren zum erkennen von überholvorgängen im strassenverkehr innerhalb eines streckenabschnitts
CN114979183A (zh) * 2022-04-12 2022-08-30 支付宝(杭州)信息技术有限公司 车辆违规数据的处理方法及装置、区块链系统
CN114979183B (zh) * 2022-04-12 2024-04-12 支付宝(杭州)信息技术有限公司 车辆违规数据的处理方法及装置、区块链系统

Similar Documents

Publication Publication Date Title
CN108883725B (zh) 一种行驶车辆警报系统和方法
JP6572847B2 (ja) 自動運転システム
CN110895417B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110920609B (zh) 用于模仿前车的系统和方法
CN113348119A (zh) 一种车辆盲区识别方法、自动驾驶辅助系统以及包括该系统的智能驾驶车辆
CN104575043B (zh) 一种机动车行经人行横道时的自动提示系统和方法
CN109733283B (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
CN105620489A (zh) 驾驶辅助系统及车辆实时预警提醒方法
KR20180126193A (ko) 자율주행 테스트 시스템
CN111354182A (zh) 一种辅助驾驶方法和系统
KR101694155B1 (ko) 주행 차량 분석 장치 및 그 방법
CN113012436B (zh) 道路监控方法、装置及电子设备
CN111788104B (zh) 用于自动化驾驶的已知车道间隔
CN114419874B (zh) 基于路侧感知设备数据融合的目标行车安全风险预警方法
JP7140067B2 (ja) 車両制御装置、車両制御方法、及びプログラム
KR102257428B1 (ko) 스쿨존 안전 통합 지원 시스템 및 이를 위한 장치
KR20150029122A (ko) 도로 내 표지판 인식 장치 및 그 방법
KR20190025165A (ko) 3d 교통단속장치를 이용한 주정차 단속 방법 및 주정차 단속 시스템
JP4580995B2 (ja) 道路交通管制システム
KR101917827B1 (ko) 난폭 운전 탐지 장치
CN112185170B (zh) 交通安全提示方法及道路监控设备
EP1494194B1 (en) Vehicle braking apparatus and method
JP4692831B2 (ja) 周辺状況認識装置及び方法
KR101680548B1 (ko) 차량 분석 장치 및 그 방법
CN109472732B (zh) 一种智慧高速综合管控方法及管控平台

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 4