KR101396924B1 - lane wideh measuring system by using cammera - Google Patents

lane wideh measuring system by using cammera Download PDF

Info

Publication number
KR101396924B1
KR101396924B1 KR1020120122964A KR20120122964A KR101396924B1 KR 101396924 B1 KR101396924 B1 KR 101396924B1 KR 1020120122964 A KR1020120122964 A KR 1020120122964A KR 20120122964 A KR20120122964 A KR 20120122964A KR 101396924 B1 KR101396924 B1 KR 101396924B1
Authority
KR
South Korea
Prior art keywords
unit
lane
image
camera
coordinate
Prior art date
Application number
KR1020120122964A
Other languages
Korean (ko)
Other versions
KR20140055726A (en
Inventor
장성태
문희창
우훈제
Original Assignee
(주)언맨드솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)언맨드솔루션 filed Critical (주)언맨드솔루션
Priority to KR1020120122964A priority Critical patent/KR101396924B1/en
Publication of KR20140055726A publication Critical patent/KR20140055726A/en
Application granted granted Critical
Publication of KR101396924B1 publication Critical patent/KR101396924B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/046—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring width
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라를 이용한 차로폭 측정시스템에 관한 것으로써, 차량의 전방 영상이미지를 촬영하는 카메라부; 상기 카메라부에 의해 획득된 영상이미지를 전송받아 상기 영상이미지의 일정영역만을 추출하는 영역추출부; 상기 영역추출부로부터 추출된 영역에 좌표값 부여하는 좌표부여부; 상기 영역추출부로부터 추출된 영역의 영상이미지를 변환하는 영상변환부; 상기 영상변환부로부터 변환된 영상이미지를 분석하여 차선을 인식하는 차선인식부; 상기 카메라부, 상기 영역추출부, 상기 좌표부여부, 상기 영상변환부 및 상기 차선인식부를 제어하는 제어부; 를 포함하며, 상기 제어부는 차선인식부로부터 인식된 좌,우측 차선의 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 이용하여 차로폭을 측정한다.
본 발명에 따르면, 첫째, 차로 폭에 관한 정보를 수집하는데 있어서, 짧은 시간에 정확한 정보를 산출할 수 있어, 차로 폭 정보 수집을 위한 비용을 절감시키며, 카메라를 통해 획득한 영상정보의 변환과정을 거쳐, 차로 폭 측정 오차률을 줄여주며, 차로의 잠재적인 위험지역을 사전에 파악할 수 있어, 교통사고율을 감소시키며, 차로 폭에 대한 정확한 정보를 수집할 수 있어, 운전자의 안전주행을 돕는다.The present invention relates to a lane width measuring system using a camera, and more particularly, to a lane width measuring system using a camera, comprising: a camera unit for photographing a forward image of a vehicle; An area extracting unit that receives a video image obtained by the camera unit and extracts only a predetermined area of the video image; A coordinate unit for giving a coordinate value to the region extracted from the region extracting unit; An image converting unit for converting a video image of a region extracted from the region extracting unit; A lane recognition unit for analyzing the image converted from the image conversion unit to recognize a lane; A control unit for controlling the camera unit, the area extracting unit, the coordinate assigning unit, the image converting unit, and the lane recognizing unit; And the control unit measures the lane width using the coordinate value given by the coordinate giving unit corresponding to the edge of the left and right lane recognized from the lane recognition unit.
According to the present invention, first, accurate information can be calculated in a short period of time in collecting information on the width of the lane, thereby reducing the cost for collecting lane width information and converting the image information acquired through the camera By reducing the error rate of the width measurement by the car, it can grasp the potential dangerous area of the car in advance, reduce the traffic accident rate, collect accurate information about the width of the car, and help the driver to run safely.

Description

카메라를 이용한 차로폭 측정시스템{lane wideh measuring system by using cammera}[0001] The present invention relates to a lane width measuring system using a camera,

본 발명은 카메라를 이용한 차로폭 측정시스템에 관한 것이다.
The present invention relates to a lane width measuring system using a camera.

최근 자동차 수의 증가로 인해 교통량이 빠르게 증가하면서, 교통사고 예방과 운전자의 안전운행을 돕기 위한 도로정보 수집의 필요성이 부각되고 있다.Recently, the traffic volume has increased rapidly due to the increase of the number of vehicles, and the necessity of road information collection for the prevention of traffic accidents and safe driving of the driver is emphasized.

정확한 도로정보를 수집한다면, 도로의 잠재적인 위험지역을 사전에 파악하여 도로안전을 위한 사전 점검 및 보수가 가능하며, 운전자의 사고를 미연에 방지할 수 있게 된다.If accurate road information is collected, it is possible to preliminarily inspect and repair the roads for safety by grasping potential dangerous areas of the road in advance, thereby preventing the accident of the driver in advance.

이때, 차로 폭을 측정하는 것은 도로의 안전점검의 중요한 위치를 차지하며, 도로정보 수집의 한 요소이다.At this time, measuring the width of the lane occupies an important position in the safety check of the road, and is an element of road information collection.

종래에는, 차로의 폭을 측정하기 위해서는 작업자가 직접 사진촬영 후 수작업으로 차로의 폭을 측정하였다. Conventionally, in order to measure the width of a lane, an operator directly measures the width of a lane by photographing after taking a picture.

따라서, 차로의 폭을 측정하는 것이 자동화가 되지 않아 100km의 도로를 측정하는데 한 달의 조사, 분석 시간이 소요되어 측정기간이 오래 걸리는 문제점이 있었다.Therefore, since it is not automated to measure the width of the lane, it takes a month to conduct a survey and an analysis time to measure a road of 100 km, which takes a long period of time.

또한, 차로 폭을 측정하기 위해서 많은 인력과 여러대의 고성능의 카메라를 사용해야되서, 차로 폭 측정 비용이 과다하게 드는 문제점이 있었다.In addition, in order to measure the width of a car, it is necessary to use a large number of laborers and a plurality of high-performance cameras, which leads to a problem that the width measurement cost is excessively increased.

또한, 종래에는 작업자가 카메라로 얻은 영상이미지를 그대로 사용하여 차로 폭을 측정하였기 때문에, 실제 차로 폭과 오차율이 크게 측정되는 문제점이 있었다.
Further, conventionally, the operator has measured the width of the lane by using the image obtained by the camera as it is. Therefore, there is a problem that the width and the error rate of the actual lane are largely measured.

본 발명은 상기의 문제점을 해소하기 위한 것으로써, 본 발명의 목적은, 카메라를 이용하여 주행차로의 차로폭을 측정할 수 있는 시스템을 제공하는 데 있다.
It is an object of the present invention to provide a system capable of measuring a lane width of a driving lane using a camera.

상기 목적은, 본 발명에 따라, 차량의 전방 영상이미지를 촬영하는 카메라부; 상기 카메라부에 의해 획득된 영상이미지를 전송받아 상기 영상이미지의 일정영역만을 추출하는 영역추출부; 상기 영역추출부로부터 추출된 영역에 좌표값 부여하는 좌표부여부; 상기 영역추출부로부터 추출된 영역의 영상이미지를 변환하는 영상변환부; 상기 영상변환부로부터 변환된 영상이미지를 분석하여 차선을 인식하는 차선인식부; 상기 카메라부, 상기 영역추출부, 상기 좌표부여부, 상기 영상변환부 및 상기 차선인식부를 제어하는 제어부; 를 포함하며, 상기 제어부는 차선인식부로부터 인식된 좌,우측 차선의 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 이용하여 차로폭을 측정한다.According to the present invention, the above object can be accomplished by providing a camera unit for photographing a forward video image of a vehicle; An area extracting unit that receives a video image obtained by the camera unit and extracts only a predetermined area of the video image; A coordinate unit for giving a coordinate value to the region extracted from the region extracting unit; An image converting unit for converting a video image of a region extracted from the region extracting unit; A lane recognition unit for analyzing the image converted from the image conversion unit to recognize a lane; A control unit for controlling the camera unit, the area extracting unit, the coordinate assigning unit, the image converting unit, and the lane recognizing unit; And the control unit measures the lane width using the coordinate value given by the coordinate giving unit corresponding to the edge of the left and right lane recognized from the lane recognition unit.

이때, 좌표부여부는, 측정하려는 차로의 중심을 기준점으로 하여 좌측차선 하단점, 좌측차선 상단점, 우측차선 하단점, 우측차선 상단점을 미리 설정된 프로그램에 입력할 수 있는 좌표입력부;를 더 포함한다.In this case, the coordinate assigning unit may further include a coordinate input unit for inputting a left lane lower end point, a left lane upper end point, a right lane lower end point, and a right lane upper point to a preset program, with the center of the lane to be measured as a reference point .

그리고, 영상변환부는, 상기 영역추출부로부터 추출된 영역의 영상이미지를 노면의 상부에서 수직하게 촬영된 이미지형태로 변환시키는 영상교정부; 및 상기 영상교정부로부터 변환된 영상이미지를 180도 회전시키는 영상회전부; 를 포함한다.The image converting unit may further include an image correcting unit that converts the image of the region extracted from the region extracting unit into an image form vertically photographed at an upper portion of the road surface; And a video conference unit for rotating the video image converted from the video image correction unit by 180 degrees; .

그리고, 차선인식부는 차선의 에지(edge)를 포함하는 영역을 설정하는 영역설정부; 를 더 포함하며, 차선인식부는 상기 영역설정부로부터 설정된 영역의 R.G.B 밝기 변화가 가장 큰 지점을 차선의 에지(edge)로 인식한다.The lane recognizing unit includes an area setting unit for setting an area including an edge of the lane; And the lane recognition unit recognizes a point where the R.G.B brightness change of the area set from the area setting unit is the largest as an edge of the lane.

또한, 차선인식부는, 주행차로의 좌측차선과 우측차선의 에지(edge)를 각각 인식한다.Further, the lane recognizing section recognizes the left lane of the driving lane and the edge of the right lane, respectively.

한편, 제어부는, 상기 차선인식부가 인식한 좌측차선 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 매칭시키고, 상기 차선인식부가 인식한 우측차선 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 매칭시킨다.On the other hand, the control unit matches the coordinate value given by the coordinate giving unit corresponding to the left lane edge recognized by the lane recognizing unit, and the coordinate assigning unit corresponding to the right lane edge recognized by the lane recognizing unit Matches the assigned coordinate values.

또한, 제어부는, 상기 차선인식부가 인식한 좌측차선 에지(edge)의 X좌표값과 상기 차선인식부가 인식한 우측차선 에지(edge)의 X좌표값을 절대값으로 합산하여 차로폭을 측정한다.Also, the control unit measures the lane width by summing the X coordinate value of the left lane edge recognized by the lane recognition unit and the X coordinate value of the right lane edge recognized by the lane recognizing unit as absolute values.

본 발명에 따른 카메라를 이용한 차로폭 측정시스템은 다음과 같은 효과가 있다.The lane width measuring system using the camera according to the present invention has the following effects.

첫째, 차로 폭에 관한 정보를 수집하는데 있어서, 짧은 시간에 정확한 정보를 산출할 수 있어, 차로 폭 정보 수집을 위한 비용을 절감시킨다.First, in collecting information about the width of a car, accurate information can be calculated in a short time, thereby reducing the cost for collecting the width information.

둘째, 카메라를 통해 획득한 영상정보의 변환과정을 거쳐, 차로 폭 측정 오차률을 줄여준다.Second, it reduces the error rate of the width measurement by converting the image information acquired through the camera.

셋째, 차로의 잠재적인 위험지역을 사전에 파악할 수 있어, 교통사고율을 감소시킨다.Third, it can identify potential dangerous areas in the car and reduce traffic accident rate.

넷째, 차로 폭에 대한 정확한 정보를 수집할 수 있어, 운전자의 안전주행을 돕는다.
Fourth, accurate information about the width of the car can be collected, helping the driver to run safely.

도 1은, 본 발명의 일 실시예에 따른 카메라를 이용한 차로폭 측정시스템에 대한 개략적인 블록 구성도이다.
도 2는, 도1에 도시된 영상변환부에 대한 상세 블록 구성도이다.
도 3은, 본 발명의 일 실시예에 따른 카메라를 이용한 차로폭 측정시스템에 카메라부가 설치된 차량을 도시한 참고도이다.
도 4는, 본 발명의 일 실시예에 따른 영역추출부가 영역을 추출하는 방법을 설명하기 위한 참고도이다.
도 5는, 본 발명의 일 실시예에 따른 좌표부여부를 설명하기 위한 참고도이다.
도 6는, 본 발명의 일 실시예에 따른 영상변환부가 영상이미지를 교정하고 회전하는 동작 과정을 설명하기 위한 참고도이다.
도 7는, 본 발명의 일 실시예에 따른 차선인식부의 영역설정부를 설명하기 위한 참고도이다.
도 8는, 본 발명의 일 실시예에 따른 차선인식부가 차선의 에지(edge)를 인식하는 과정을 설명하기 위한 참고도이다.1 is a schematic block diagram of a lane width measuring system using a camera according to an embodiment of the present invention.
2 is a detailed block diagram of the image converting unit shown in FIG.
3 is a reference view showing a vehicle equipped with a camera unit in a lane width measuring system using a camera according to an embodiment of the present invention.
4 is a reference diagram for explaining a method of extracting a region extracting unit according to an embodiment of the present invention.
5 is a reference diagram for explaining a coordinate assigning unit according to an embodiment of the present invention.
FIG. 6 is a reference diagram for explaining a process of correcting and rotating an image of an image according to an embodiment of the present invention. Referring to FIG.
7 is a reference diagram for explaining an area setting unit of a lane recognition unit according to an embodiment of the present invention.
8 is a reference diagram for explaining a process of recognizing an edge of a lane according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 구성을 상세히 설명하기로 한다.Hereinafter, the configuration of the present invention will be described in detail with reference to the accompanying drawings.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어는 사전적인 의미로 한정 해석되어서는 아니되며, 발명자는 자신의 발명을 최선의 방법으로 설명하기 위해 용어의 개념을 적절히 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.Prior to this, the terms used in the specification and claims should not be construed in a dictionary sense, and the inventor may, on the principle that the concept of a term can be properly defined in order to explain its invention in the best way And should be construed in light of the meanings and concepts consistent with the technical idea of the present invention.

따라서, 본 명세서에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 출원 시점에 있어 이들을 대체할 수 있는 다양한 균등물과 변형예들이 존재할 수 있음을 이해하여야 한다.Therefore, the embodiments shown in the present specification and the drawings are only exemplary embodiments of the present invention, and not all of the technical ideas of the present invention are presented. Therefore, various equivalents It should be understood that water and variations may exist.

본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명하되, 이미 주지되어 진 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.
The preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings, in which technical sections already known will be omitted or compressed for simplicity of explanation.

도 1은, 본 발명의 일 실시예에 따른 카메라를 이용한 차로폭 측정시스템에 대한 개략적인 블록 구성도이며, 도 2는, 도1에 도시된 영상변환부에 대한 상세 블록 구성도이며, 도 3은, 본 발명의 일 실시예에 따른 카메라를 이용한 차로폭 측정시스템에 카메라부가 설치된 차량을 도시한 참고도이며, 도 4는, 본 발명의 일 실시예에 따른 영역추출부가 영역을 추출하는 방법을 설명하기 위한 참고도이며, 도 5는, 본 발명의 일 실시예에 따른 좌표부여부를 설명하기 위한 참고도이며, 도 6는, 본 발명의 일 실시예에 따른 영상변환부가 영상이미지를 교정하고 회전하는 동작 과정을 설명하기 위한 참고도이며, 도 7는, 본 발명의 일 실시예에 따른 차선인식부의 영역설정부를 설명하기 위한 참고도이며, 도 8는, 본 발명의 일 실시예에 따른 차선인식부가 차선의 에지(edge)를 인식하는 과정을 설명하기 위한 참고도이다.
FIG. 1 is a schematic block diagram of a lane width measuring system using a camera according to an embodiment of the present invention. FIG. 2 is a detailed block diagram of the image converting unit shown in FIG. 1, 4 is a flowchart illustrating a method of extracting a region extracting unit according to an exemplary embodiment of the present invention. Referring to FIG. 4, FIG. 6 is a flowchart illustrating an operation of correcting and rotating an image of an image according to an exemplary embodiment of the present invention. Referring to FIG. 5, 7 is a reference diagram for explaining an area setting unit of the lane recognizing unit according to an embodiment of the present invention. FIG. 8 is a view for explaining a lane recognizing unit lane recognizing unit according to an embodiment of the present invention. Of See for explaining a process of recognizing the paper (edge) is Fig.

본 발명의 일 실시예에 따른 카메라를 이용한 차로폭 측정시스템은, 도1을 참조하면, 차량의 전방 영상이미지를 촬영하는 카메라부(100); 카메라부(100)에 의해 획득된 영상이미지를 전송받아 상기 영상이미지의 일정영역만을 추출하는 영역추출부(200); 영역추출부로부터 추출된 영역에 좌표값 부여하는 좌표부여부(300); 영역추출부로부터 추출된 영역의 영상이미지를 변환하는 영상변환부(400); 영상변환부로부터 변환된 영상이미지를 분석하여 차선을 인식하는 차선인식부(500); 상기 카메라부(100), 상기 영역추출부(200), 상기 좌표부여부(300), 상기 영상변환부(400) 및 상기 차선인식부(500)를 제어하는 제어부(600); 를 포함한다.1, a lane width measuring system using a camera according to an embodiment of the present invention includes a camera unit 100 for photographing a forward image of a vehicle; A region extracting unit 200 receiving the image obtained by the camera unit 100 and extracting only a predetermined region of the image; A coordinate assigning unit (300) for assigning coordinate values to the region extracted from the region extracting unit; An image converting unit (400) for converting a video image of a region extracted from the region extracting unit; A lane recognition unit (500) for recognizing a lane by analyzing the image converted from the image conversion unit; A control unit 600 for controlling the camera unit 100, the area extraction unit 200, the coordinate input unit 300, the image conversion unit 400, and the lane recognition unit 500; .

카메라부(100)는 도3에 도시한 것처럼, 차량의 전방 상부의 중앙에 설치되는 것이 바람직하며, 차량의 전방 영상이미지를 촬상하는 역할을 수행한다.As shown in FIG. 3, the camera unit 100 is preferably installed at the center of the front upper portion of the vehicle, and serves to capture an image of the forward image of the vehicle.

종래에는, 차로의 폭을 측정하기 위해서는 카메라를 차량의 전방 상부로 최대한 높이 설치하여 촬상되는 영상이미지의 시야각을 확보해야 했다.Conventionally, in order to measure the width of the lane, it is necessary to install a camera as high as the front upper portion of the vehicle to secure a viewing angle of a captured image.

그러나, 본 발명의 일 실시예에 따른 카메라를 이용한 차로폭 측정시스템은 영상변환부(400)를 통해 촬상된 영상이미지의 변환이 가능하므로 카메라부(100)의 배치에 이점이 있다.However, in the lane width measuring system using the camera according to the embodiment of the present invention, since the image image captured through the image converting unit 400 can be converted, the arrangement of the camera unit 100 is advantageous.

영역추출부(200)는, 상기 카메라부(100)에 의해 촬상된 영상이미지를 전송받아 상기 영상이미지의 일정영역만을 추출하는 역할을 수행한다.The region extracting unit 200 receives a video image captured by the camera unit 100 and extracts only a predetermined region of the video image.

보다 상세하게는, 영역추출부(200)는, 본 발명 카메라를 이용한 차로폭 측정시스템이 장착된 차량의 앞범퍼를 기준으로 25m 이내의 영역을 추출한다.More specifically, the region extracting unit 200 extracts an area within 25 m from the front bumper of the vehicle equipped with the lane width measuring system using the camera of the present invention.

도 4를 참조하면, 영역추출부(200)가 상기 카메라부(100)에 의해 촬상된 영상이미지를 전송받아 일정영역인 카메라를 이용한 차로폭 측정시스템이 장착된 차량의 앞범퍼를 기준으로 25m 이내의 영역을 추출하는 과정을 도시하였다.4, when the area extracting unit 200 receives a video image captured by the camera unit 100, the area extracting unit 200 extracts the area of the vehicle from the front bumper of the vehicle equipped with the lane width measuring system using the camera, A region is extracted.

즉, 영역추출부(200)는 카메라를 이용한 차로폭 측정시스템이 장착된 차량이 주행하는 차로를 기준으로 상기 차선의 좌,우측 차로의 일부를 포함한 영역을 추출한다.That is, the area extracting unit 200 extracts a region including a part of the left and right lanes of the lane on the basis of the lane on which the vehicle equipped with the lane width measuring system using the camera is traveling.

영역추출부(200)가 추출하는 영상 이미지의 영역 모양은 도4에 도시한 것과같이 직사각형 형태로 설정되는 것이 바람직하지만 이에 한정되지는 않는다.The region shape of the image image extracted by the region extracting unit 200 is preferably set to a rectangular shape as shown in FIG. 4, but the present invention is not limited thereto.

본 발명인 카메라를 이용한 차로폭 측정시스템은, 영역추출부(200)가 추출한 영상이미지를 사용하기 때문에, 카메라부(100)가 촬상한 영상이미지 전체를 활용하여 차로폭을 변환하였을 경우, 영상처리 시간의 증가 및 영상처리 프로세스의 부하 증가로 영상처리 에러가 발생하는 현상을 방지할 수 있다.Since the lane width measuring system using the camera according to the present invention uses the image image extracted by the region extracting unit 200, when the lane width is converted using the entire image image captured by the camera unit 100, And an image processing error due to an increase in the load of the image processing process can be prevented.

이하에서는 도5를 참조하여, 좌표부여부(300)에 관해 상세하게 설명하기로 한다. Hereinafter, the coordinate addition unit 300 will be described in detail with reference to FIG.

좌표부여부(300)는, 영역추출부(200)로부터 추출된 영역에 좌표값 부여하는 역할을 수행한다.The coordinate addition unit 300 serves to assign coordinate values to the region extracted from the region extraction unit 200.

좌표부여부(300)는, 측정하려는 차로의 중심을 기준점(310)으로 하여 좌측차선 하단점(320), 좌측차선 상단점(330), 우측차선 하단점(340), 우측차선 상단점(350)을 미리 설정된 프로그램에 입력할 수 있는 좌표입력부(360)를 포함한다.The coordinate assignment unit 300 determines whether the left lane lower end point 320, the left lane upper end point 330, the right lane lower end point 340, the right lane upper end point 350 ) To the preset program.

여기서, 영역추출부(200)를 통해 추출된 영상의 중심을 기준점(310)으로 정하고, 상기 기준점(310)을 좌표계의 원점으로 보았을때 좌측차선 하단점(320), 좌측차선 상단점(330), 우측차선 하단점(340), 우측차선 상단점(350)의 X축, Y축의 좌표값을 각각 구한다.The center of the image extracted through the region extraction unit 200 is defined as a reference point 310. When the reference point 310 is regarded as the origin of the coordinate system, the left lane lower end point 320, the left lane upper point 330, The right lane lower end point 340, and the right lane upper end point 350, respectively.

예를 들어, 기준점(310)의 좌표값은 (0,0)이고, 좌측차선 하단점(320)은 (-142.5,0), 좌측차선 상단점(330)은 (-142.5,1223), 우측차선 하단점(340)은 (142.5,0), 우측차선 상단점(350)은 (142.5,1223)의 좌표값이 측정되었다고 하면, 좌표입력부(360)에 기준점(310), 좌측차선 하단점(320), 좌측차선 상단점(330), 우측차선 하단점(340), 우측차선 상단점(350)인 상기 5개의 좌표값을 입력한다.For example, the coordinate value of the reference point 310 is (0,0), the left lane lower end point 320 is (-142.5,0), the left lane upper point 330 is (-142.5,1223) The lane lower end point 340 is 142.5,0 and the right lane upper end point 350 is a coordinate value of 142.5 and 1223. The coordinate input unit 360 is provided with a reference point 310 and a left lane lower end point 320, a left lane upper end point 330, a right lane lower end point 340, and a right lane upper end point 350 are input.

이때, 기준점(310), 좌측차선 하단점(320), 좌측차선 상단점(330), 우측차선 하단점(340), 우측차선 상단점(350)인 상기 5개의 좌표값의 측정은 작업자에 의해 측정될 수 있고, 기설정된 프로그램에 의해 측정될 수 있다.The five coordinate values of the reference point 310, the left lane lower point 320, the left lane upper point 330, the right lane lower point 340, and the right lane upper point 350 are measured by the operator And can be measured by a predetermined program.

좌표입력부(360)에 기준점(310)을 포함한 5개의 좌표값이 입력되면, 미리 설정된 프로그램에 의해 영역추출부(200)로부터 추출된 영상의 각 픽셀에 물리적인 거리값이 할당된다.When five coordinate values including the reference point 310 are input to the coordinate input unit 360, a physical distance value is assigned to each pixel of the image extracted from the region extraction unit 200 by a preset program.

이것은, 차선인식부(500)를 통해 좌측차선 에지(edge)(530)와 우측차선 에지(edge)(540)가 인식되면, 해당지점 픽셀의 물리적인 거리값을 읽기 위한 것이다.This is for reading the physical distance value of the corresponding point pixel when the left lane edge 530 and the right lane edge 540 are recognized through the lane recognition unit 500. [

이하에서는 도6을 참조하여, 영상변환부(400)에 대해 상세하게 설명하기로 한다.Hereinafter, the image converting unit 400 will be described in detail with reference to FIG.

영상변환부(400)는, 영역추출부(200)로부터 추출된 영역의 영상이미지를 변환하는 역할을 수행한다.The image transforming unit 400 transforms the image of the region extracted from the region extracting unit 200.

영상변환부(400)는, 영역추출부(200)로부터 추출된 영역의 영상이미지를 노면의 상부에서 수직하게 촬영된 이미지형태로 변환시키는 영상교정부(410); 및 상기 영상교정부로부터 변환된 영상이미지를 180도 회전시키는 영상회전부(420)를 포함한다.The image transforming unit 400 includes an image correcting unit 410 for transforming the image of the region extracted from the region extracting unit 200 into an image taken vertically at the top of the road surface; And a video conference unit 420 for rotating the converted video image by 180 degrees from the video image correction unit.

도6을 참조하면, 영역추출부(200)로부터 추출된 영역(S1)은 영상교정부(410)에 의해 노면의 상부에서 수직하게 촬영된 영상이미지(S2) 형태로 변환된다.Referring to FIG. 6, the region S1 extracted from the region extracting unit 200 is transformed into an image S2 captured vertically at the upper portion of the road surface by the image calibrating unit 410. FIG.

이후, 영상교정부(410)에 의해 변환된 영상이미지(S2)는 영상회전부(420)에 의해 180도 회전된 영상이미지(S3)로 변환된다.Thereafter, the image S2 converted by the image calibration unit 410 is converted into a video image S3 rotated 180 degrees by the video conferencing unit 420. [

보다 상세하게는, 영상교정부(410)는 영상이미지(S2)와 같이 영역추출부(200)로부터 추출된 영역(S1)의 영상이미지를 교정하여, 카메라부(100)가 촬상한 영상방향과 180도 반대인 영상이미지 형태로 변환시킨다.More specifically, the image calibrating unit 410 calibrates the image of the region S1 extracted from the region extracting unit 200, such as a video image S2, And converts it into a video image form which is 180 degrees opposite.

이것은, 카메라부(100)가 촬상한 영상이미지를 노면의 상부에서 수직하게 촬영된 영상이미지(S2)로 변환시켜서 원근효과를 제거하기 위함이다.This is to remove the perspective effect by converting a video image captured by the camera unit 100 into a video image S2 vertically photographed at the top of the road surface.

즉, 영역추출부(200)로부터 추출된 영역(S1)의 영상이미지는 차선의 상부로 갈수록 차선 이미지가 좁아지는 원근효과가 나타나는데, 역투영 변환(IPM :Inverse Perspective Mapping) 방법을 활용하여, 영역추출부(200)로부터 추출된 영역(S1)의 차선을 직선화하여 실제 차로와의 오차률을 줄이기 위한 방안이다.In other words, the perspective image in which the lane image is narrowed as the image of the area S1 extracted from the area extracting unit 200 becomes closer to the upper part of the lane appears. By using the inverse perspective mapping (IPM) Is a method for straightening the lane of the area S1 extracted from the extracting unit 200 and reducing the error rate with the actual lane.

영상회전부(420)는, 영상교정부(410)에 의해 변환된 영상이미지(S2)를 180도 회전시켜 주행방향과 일치되는 영상이미지로 변환시킨다.The video conference unit 420 rotates the video image S2 converted by the video calibration unit 410 by 180 degrees and converts the video image S2 into a video image that coincides with the running direction.

이하에서는 도7 및 도8을 참조하여, 차선인식부(500)에 관해 상세하게 설명하기로 한다.Hereinafter, the lane recognition unit 500 will be described in detail with reference to Figs. 7 and 8. Fig.

차선인식부(500)는, 영상변환부(400)로부터 변환된 영상이미지를 분석하여 차선을 인식하는 역할을 수행한다.The lane recognition unit 500 analyzes a converted image from the image conversion unit 400 and recognizes a lane.

차선인식부(500)는, 차선의 에지(edge)를 포함하는 영역을 설정하는 영역설정부(510);를 포함한다.The lane recognition unit 500 includes an area setting unit 510 for setting an area including an edge of a lane.

도7을 참조하면, 영역설정부(510)는, 주행 차로의 좌측차선이 포함된 영역설정(ROI_L)과 주행 차로의 우측차선이 포함된 영역설정(ROI_R)의 두 영역으로 나누어 영역을 설정한다.Referring to FIG. 7, the area setting unit 510 sets an area divided into two areas, an area setting ROI_L including the left lane of the driving lane and an area setting ROI_R including the right lane of the driving lane .

이때, 영역설정부(510)의 영역설정(ROI_L, ROI_R)의 크기는 픽셀을 중심으로 4×4, 5×5 등의 정사각형 뿐만 아니라 도7에 도시된 바와 같이 직사각형의 형태 등 다양하게 설정될 수 있다.At this time, the size of the area setting (ROI_L, ROI_R) of the area setting unit 510 may be variously set, for example, in the form of a rectangle as shown in FIG. 7 as well as a square of 4 × 4 or 5 × 5 around the pixel .

다만, 영역설정부(510)는, 차선 인식을 방해하는 요소가 되는 차선 이외의 노면에 있는 표시인 노이즈를 제거하기 위한 영역설정이 되는 것이 바람직하다.However, it is preferable that the area setting unit 510 be an area setting for removing noise, which is a display on a road surface other than the lane that is an element that interferes with lane recognition.

차선인식부(500)는, 영역설정부(510)에 의해 좌,우측 차선의 영역설정(ROI_L, ROI_R)이 이루어지면, 도7에 화살표 방향이 도시된 바와 같이 좌측차선은 오른쪽에서 왼쪽으로, 우측차선은 왼쪽에서 오른쪽으로 분석을 한다.When the area setting unit 510 sets the left and right lane area settings ROI_L and ROI_R, the lane recognizing unit 500 recognizes that the left lane is from right to left as shown by the arrow direction in Fig. 7, The right lane is analyzed from left to right.

여기서, 차선인식부(500)는, 영역설정부(510)로부터 설정된 영역의 R.G.B 밝기 변화가 가장 큰 지점을 차선의 에지(edge)로 인식한다.Here, the lane recognition unit 500 recognizes the point where the R.G.B brightness change of the set area from the area setting unit 510 is the largest as an edge of the lane.

보다 상세하게는, 차선인식부(500)는, R.G.B 밝기의 상대 평균값으로 강도를 인식하며, 상기 강도의 변화가 가장 큰 지점을 차선의 에지(edge)로 인식한다.More specifically, the lane recognition unit 500 recognizes the intensity as a relative average value of the R, G.B brightness, and recognizes the point where the change in intensity is largest as an edge of the lane.

도8을 참조하면, 좌측 차선의 영역설정(ROI_L)을 오른쪽에서 왼쪽으로 분석을 시작하면 R.G.B 밝기의 상대 평균값은 그래프(a)의 Y값이 가장 큰 지점을 좌측차선 에지(edge)(530)로 인식하고, 우측 차선의 영역설정(ROI_R) 왼쪽에서 오른쪽으로 분석을 시작하면 R.G.B 밝기의 상대 평균값은 그래프(a)의 Y값이 가장 큰 지점을 우측차선 에지(edge)(540)로 인식한다.8, when analyzing the area setting ROI_L of the left lane from right to left, the relative average value of the RGB brightness is determined as the leftmost lane edge 530 at which the Y value of the graph (a) And the analysis is started from the left to the right area setting (ROI_R) of the right lane, the relative average value of the RGB brightness is recognized as the right lane edge 540 at the point where the Y value of the graph (a) is the largest .

즉, 차선인식부(500)는, 주행차로의 좌측차선 에지(edge)(530)와 우측차선 에지(edge)(540)를 각각 인식한다.That is, the lane recognition unit 500 recognizes the left lane edge 530 and the right lane edge 540 of the driving lane, respectively.

이때, 차선인식부(500)가, 좌측차선은 오른쪽에서 왼쪽으로, 우측차선은 왼쪽에서 오른쪽으로 분석을 하는 이유는 차선의 안쪽을 기준으로 차로 폭을 측정하기 위함이다.At this time, the lane recognition unit 500 analyzes the left lane from the right to the left, and the right lane from the left to the right in order to measure the lane width based on the inside of the lane.

그리고, 차선인식부(500)가 R.G.B 밝기 변화를 분석하는 이유는 노란색, 흰색, 파랑색 등의 모든 색깔의 차선을 인식하기 위한 방안이다.The reason why the lane recognizer 500 analyzes the brightness change of R.G.B is a method for recognizing lanes of all colors such as yellow, white, and blue colors.

한편, 차선의 노후화로 차선이 지워진 도로 또는 급격하게 변화되는 도로환경의 차선에 의해 차선인식부(500)의 차선인식 오류를 방지하기 위하여, 미리 설정된 차선인식영역의 범위를 벗어나면, 전단계 차선 인식을 해당 영역의 파라미터로 사용하여 차선인식의 오류를 방지할 수 있다.On the other hand, in order to prevent a lane recognition error of the lane recognition unit 500 from being caused by the lane of the lane of the lane or the lane of the suddenly changing road environment, if the lane recognition area 500 is out of the predetermined lane recognition area, Can be used as a parameter of the corresponding area to prevent errors in lane recognition.

제어부(600)는, 카메라부(100), 영역추출부(200), 좌표부여부(300), 영상변환부(400) 및 차선인식부(500)를 제어하는 역할을 수행한다.The control unit 600 controls the camera unit 100, the area extraction unit 200, the coordinate input unit 300, the image conversion unit 400, and the lane recognition unit 500.

또한, 제어부는(600), 차선인식부(500)가 인식한 좌측차선 에지(edge)(530)에 대응되는 좌표부여부(300)가 부여한 좌표값을 매칭시키고, 차선인식부(500)가 인식한 우측차선 에지(edge)에 대응되는 좌표부여부(300)가 부여한 좌표값을 매칭시키는 역할을 수행한다.The control unit 600 compares coordinate values given by the coordinate assigning unit 300 corresponding to the left lane edge 530 recognized by the lane recognizing unit 500 and determines whether the lane recognizing unit 500 And matches coordinate values given by the coordinate subsystem 300 corresponding to the recognized right lane edge.

또한, 제어부(600)는, 차선인식부(500)가 인식한 좌측차선 에지(edge)(530)의 X좌표값과 차선인식부(500)가 인식한 우측차선 에지(edge)(540)의 X좌표값의 절대값 합산하여 차로폭을 측정한다.The control unit 600 determines whether or not the X coordinate value of the left lane edge 530 recognized by the lane recognition unit 500 and the X coordinate value of the right lane edge 540 recognized by the lane recognition unit 500 The lane width is measured by summing the absolute values of the X coordinate values.

100 : 카메라부
200 : 영역추출부
300 : 좌표부여부
310 : 기준점
320 : 좌측차선 하단점
330 : 좌측차선 상단점
340 : 우측차선 하단점
350 : 우측차선 상단점
360 : 좌표입력부
400 : 영상변환부
410 : 영상교정부
420 : 영상회전부
500 : 차선인식부
510 : 영역설정부
520 : 에지(edge)
530 : 좌측차선 에지(edge)
540 : 우측차선 에지(edge)
600 : 제어부100:
200:
300: Coordinate part availability
310: Reference point
320: Lower left lane point
330: Upper left lane point
340: Lower lane of the right lane
350: Upper right lane point
360: coordinate input unit
400:
410:
420: Video Conference
500: lane recognition section
510: area setting unit
520: edge
530: Left lane edge
540: Right lane edge
600:

Claims (7)

차량의 전방 영상이미지를 촬영하는 카메라부;
상기 카메라부에 의해 획득된 영상이미지를 전송받아 상기 영상이미지의 일정영역만을 추출하는 영역추출부;
상기 영역추출부로부터 추출된 영역에 좌표값 부여하는 좌표부여부;
상기 영역추출부로부터 추출된 영역의 영상이미지를 변환하는 영상변환부;
상기 영상변환부로부터 변환된 영상이미지를 분석하여 차선을 인식하는 차선인식부;
상기 카메라부, 상기 영역추출부, 상기 좌표부여부, 상기 영상변환부 및 상기 차선인식부를 제어하는 제어부; 를 포함하며,
상기 제어부는 차선인식부로부터 인식된 좌,우측 차선의 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 이용하여 차로폭을 측정하도록 마련되며,
상기 영상변환부는, 상기 영역추출부로부터 추출된 영역의 영상이미지를 노면의 상부에서 수직하게 촬영된 이미지형태로 변환시키는 영상교정부; 및 상기 영상교정부로부터 변환된 영상이미지를 180도 회전시키는 영상회전부; 를 포함하는 것을 특징으로 하는
카메라를 이용한 차로폭 측정시스템.A camera unit for photographing a forward video image of the vehicle;
An area extracting unit that receives a video image obtained by the camera unit and extracts only a predetermined area of the video image;
A coordinate unit for giving a coordinate value to the region extracted from the region extracting unit;
An image converting unit for converting a video image of a region extracted from the region extracting unit;
A lane recognition unit for analyzing the image converted from the image conversion unit to recognize a lane;
A control unit for controlling the camera unit, the area extracting unit, the coordinate assigning unit, the image converting unit, and the lane recognizing unit; / RTI >
Wherein the control unit is configured to measure the lane width using coordinate values given by the coordinate giving unit corresponding to the edges of the left and right lane recognized from the lane recognition unit,
The image converting unit may include an image correcting unit for converting the image of the area extracted from the area extracting unit into an image form taken vertically at the top of the road surface; And a video conference unit for rotating the video image converted from the video image correction unit by 180 degrees; ≪ RTI ID = 0.0 >
Camera Lane Width Measurement System. 제1항에 있어서,
상기 좌표부여부는, 측정하려는 차로의 중심을 기준점으로 하여 좌측차선 하단점, 좌측차선 상단점, 우측차선 하단점, 우측차선 상단점을 미리 설정된 프로그램에 입력할 수 있는 좌표입력부;를 더 포함하는 것을 특징으로 하는
카메라를 이용한 차로폭 측정시스템.The method according to claim 1,
The coordinate assigning unit may further include a coordinate input unit for inputting a left lane lower end point, a left lane upper end point, a right lane lower end point, and a right lane upper end point into a preset program with the center of the lane to be measured as a reference point Featured
Camera Lane Width Measurement System. 삭제delete 제1항에 있어서,
상기 차선인식부는 차선의 에지(edge)를 포함하는 영역을 설정하는 영역설정부; 를 더 포함하며, 상기 차선인식부는 상기 영역설정부로부터 설정된 영역의 R.G.B 밝기 변화가 가장 큰 지점을 차선의 에지(edge)로 인식하는 것 것을 특징으로 하는
카메라를 이용한 차로폭 측정시스템.The method according to claim 1,
The lane recognition unit may include an area setting unit for setting an area including an edge of the lane; Wherein the lane recognition unit recognizes a point where the RGB brightness change of the area set by the area setting unit is the largest as an edge of the lane
Camera Lane Width Measurement System. 제4항에 있어서,
상기 차선인식부는, 주행차로의 좌측차선과 우측차선의 에지(edge)를 각각 인식하는 것을 특징으로 하는
카메라를 이용한 차로폭 측정시스템.5. The method of claim 4,
Characterized in that the lane recognizing section recognizes the left lane of the driving lane and the edge of the right lane respectively
Camera Lane Width Measurement System. 제5항에 있어서,
상기 제어부는, 상기 차선인식부가 인식한 좌측차선 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 매칭시키고, 상기 차선인식부가 인식한 우측차선 에지(edge)에 대응되는 상기 좌표부여부가 부여한 좌표값을 매칭시키는 것을 특징으로 하는
카메라를 이용한 차로폭 측정시스템.6. The method of claim 5,
Wherein the control unit matches the coordinate value given by the coordinate giving unit corresponding to the left lane edge recognized by the lane recognizing unit and outputs the coordinate value given by the coordinate giving unit corresponding to the right lane edge recognized by the lane recognizing unit And the coordinate values are matched
Camera Lane Width Measurement System. 제6항에 있어서,
상기 제어부는, 상기 차선인식부가 인식한 좌측차선 에지(edge)의 X좌표값과 상기 차선인식부가 인식한 우측차선 에지(edge)의 X좌표값을 절대값으로 합산하여 차로폭을 산출하는 것을 특징으로 하는
카메라를 이용한 차로폭 측정시스템.The method according to claim 6,
The control unit calculates the lane width by summing the X coordinate value of the left lane edge recognized by the lane recognition unit and the X coordinate value of the right lane edge recognized by the lane recognition unit with an absolute value doing
Camera Lane Width Measurement System.
KR1020120122964A 2012-11-01 2012-11-01 lane wideh measuring system by using cammera KR101396924B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120122964A KR101396924B1 (en) 2012-11-01 2012-11-01 lane wideh measuring system by using cammera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120122964A KR101396924B1 (en) 2012-11-01 2012-11-01 lane wideh measuring system by using cammera

Publications (2)

Publication Number Publication Date
KR20140055726A KR20140055726A (en) 2014-05-09
KR101396924B1 true KR101396924B1 (en) 2014-05-19

Family

ID=50887325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122964A KR101396924B1 (en) 2012-11-01 2012-11-01 lane wideh measuring system by using cammera

Country Status (1)

Country Link
KR (1) KR101396924B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453782B1 (en) * 2016-12-15 2022-10-11 현대자동차주식회사 Method of detecting traffic lane for automated driving
CN111121643B (en) * 2019-12-25 2022-01-04 中公高科养护科技股份有限公司 Road width measuring method and system
CN112149560B (en) * 2020-09-22 2024-03-01 深圳市达程科技开发有限公司 Lane departure detection method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326702B1 (en) * 1999-03-16 2002-03-12 이계안 Method for calculating road width of the alarm device for lane beyond
JP2002197469A (en) * 2000-12-26 2002-07-12 Nissan Motor Co Ltd Device for detecting traffic lane

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326702B1 (en) * 1999-03-16 2002-03-12 이계안 Method for calculating road width of the alarm device for lane beyond
JP2002197469A (en) * 2000-12-26 2002-07-12 Nissan Motor Co Ltd Device for detecting traffic lane

Also Published As

Publication number Publication date
KR20140055726A (en) 2014-05-09

Similar Documents

Publication Publication Date Title
KR101392850B1 (en) Method and system for lane departure warning based on image recognition
EP2919197B1 (en) Object detection device and object detection method
US10033981B2 (en) Image processing apparatus
KR102227843B1 (en) Operating method of lane departure warning system
JP4930046B2 (en) Road surface discrimination method and road surface discrimination device
US9405980B2 (en) Arrow signal recognition device
JP4811201B2 (en) Runway boundary line detection apparatus and runway boundary line detection method
RU2698610C2 (en) Method and processing unit for control over traffic monitoring system
KR101205428B1 (en) Target position identifying apparatus
JP5401257B2 (en) Far-infrared pedestrian detection device
CN109583267A (en) Vehicle object detection method, vehicle object detecting device and vehicle
KR20120077309A (en) Apparatus and method for displaying rear image of vehicle
US20150243169A1 (en) Traffic lane situation determining device and method for determining traffic lane situation
EP2770478A2 (en) Image processing unit, imaging device, and vehicle control system and program
JP5106771B2 (en) Road marking measuring device
JP3328711B2 (en) Vehicle height measuring device and vehicle monitoring system using the same
KR101396924B1 (en) lane wideh measuring system by using cammera
KR101583797B1 (en) Apparatus and method for detecting lane based on top view image transform
KR20150025714A (en) Image recognition apparatus and method thereof
KR20170055738A (en) Apparatus and method for recognize driving lane on image
US11462026B2 (en) Image processing device and method for processing image
US9041778B2 (en) Image processing device and method of processing image
KR20150055652A (en) A Vehicle License Plate Recognition System and Method Thereof
JP2007310591A (en) Image processor and parking space determination method
WO2014050285A1 (en) Stereo camera device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180515

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190513

Year of fee payment: 6