KR20150083545A - 차량용 전방관측시스템 및 방법 - Google Patents

차량용 전방관측시스템 및 방법 Download PDF

Info

Publication number
KR20150083545A
KR20150083545A KR1020140003200A KR20140003200A KR20150083545A KR 20150083545 A KR20150083545 A KR 20150083545A KR 1020140003200 A KR1020140003200 A KR 1020140003200A KR 20140003200 A KR20140003200 A KR 20140003200A KR 20150083545 A KR20150083545 A KR 20150083545A
Authority
KR
South Korea
Prior art keywords
curvature
lane
vehicle
sensor
detecting
Prior art date
Application number
KR1020140003200A
Other languages
English (en)
Other versions
KR101545478B1 (ko
Inventor
김영신
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140003200A priority Critical patent/KR101545478B1/ko
Priority to CN201410400198.2A priority patent/CN104773122B/zh
Priority to US14/552,565 priority patent/US9613280B2/en
Publication of KR20150083545A publication Critical patent/KR20150083545A/ko
Application granted granted Critical
Publication of KR101545478B1 publication Critical patent/KR101545478B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량용 전방관측시스템 및 방법이 개시된다. 본 발명의 일 측면에 따르면, 소정 각도 범위의 화각(FOV)을 가지고 차량의 전방을 감시하는 전방관측센서; 곡선 차로의 곡률을 추정하여 상기 전방관측센서의 회전각을 산출하는 제어부; 및 상기 제어부에 의해 구동 제어되어 상기 전방관측센서를 회전시키는 센서회전부;를 포함하되, 상기 제어부는, 차로변에 설치된 가드레일(guardrail)에 기반하여 곡선 차로의 곡률을 추정하는, 차량용 전방관측시스템이 제공될 수 있다.

Description

차량용 전방관측시스템 및 방법 {SYSYEM AND METHOD FOR FRONT DETECTING OF VEHICLE}
본 발명은 차량용 전방관측시스템 및 방법에 관한 것이다.
차량의 안전 성능에 대한 요구가 증대되면서 최근의 차량에는 다양한 종류의 안전장치가 장착되고 있다. 대표적인 차량용 안전장치 중 하나인 에어백 시스템이나 브레이크 잠금 방지시스템(ABS, Anti-Lock Brake system)뿐만 아니라, 차체자세제어장치(ESP, Electronic Stability Program), 타이어 공기압 경보장치(TPMS, Tire Pressure Monitoring System), 차선 이탈 경고시스템(LDWS, Lane Departure Warning System) 등의 다양한 안전장치가 차량에 장착되고 있다. 이와 같은 차량용 안 장치의 일종으로 자동긴급제동시스템(Autonomous Emergency Braking, AEB) 또한 소개된 바 있다. 자동긴급제동시스템은 급제동 상황을 판단하여 긴급 상황시 차량을 제동시킴으로써, 주행 중 다른 차량, 보행자 등과의 충돌을 방지할 수 있는 시스템으로, 최근 Euro-NCAP(European New Car Assessment Program) 등에서 그 장착을 장려하고 있는 차량용 안전장치의 하나이다.
한편, 상기와 같은 자동긴급제공시스템은 긴급 상황의 발생 여부나 전방의 장애물 존재 여부 등을 판단하기 위해 주행 중 지속적으로 차량의 전방을 감시 또는 관측할 필요가 있게 된다. 그러나 일반적으로 전방관측센서는 일정한 범위의 화각(Field Of View, FOV)을 가지고 있기 때문에, 곡선 차로 등에서는 차량의 주행 방향에 따른 적절한 관측 범위를 유지하기 어렵게 된다. 즉, 일정한 화각을 가진 전방관측용센서는 곡선 차로 구간에서 목표 차량을 놓치거나 옆 차선에 있는 다른 차량 등과 혼동하여 목표를 오인식하거나 잘못된 대상을 추적하는 등의 문제점이 발생될 수 있다. 따라서 곡선 차로에서는 전방관측센서를 소정정도 회전 제어하여 적절한 관측 범위가 유지될 수 있도록 하고 있다.
도 1은 곡선 차로 주행시 전방관측센서의 회전 제어를 보여주는 개략도이다. 도 1을 참고하면, 차량(V0)이 곡선 차로를 따라 주행시에는 주행 방향에 따른 적절한 관측 범위가 유지될 수 있도록 전방관측센서를 소정정도 회전 제어하게 된다. 예건대, 도 1과 같이 제 1 관측 범위(F1)를 가지고 주행 중인 차량(V0)이 곡선 차로에 접어들게 되면, 곡선 차로의 곡률에 따라 전방관측센서를 시계방향으로 소정정도 회전시켜 제 2 관측 범위(F2)를 가지도록 회전 제어함으로써, 전방관측센서의 오인식 등을 방지하게 된다.
상기와 같은 전방관측센서의 회전 제어는 곡선 차로의 곡률을 계산하고 차량의 주행속도 등을 고려하여 전방관측센서를 회전시킴으로써 이뤄지게 된다. 이때, 곡선 차로의 곡률은 차선 정보나 전방 차량(V1)의 자취를 이용하게 산출되게 되는데, 이와 같은 방식은 주행 환경에 따라 그 사용에 한계가 있게 된다. 예컨대, 차선 정보는 차선이 부정확한 경우나 야간인 경우에는 이용할 수 없으며, 전방 차량(V1)의 자취는 전방 차량(V1)이 존재하지 않거나 전방 차량(V1)이 곡선 차로와 상이한 경로로 이동되는 경우에는 이용할 수 없는 기술적 한계가 있게 된다.
본 발명의 실시예들은 차선 또는 전방 차량의 자취를 이용할 수 없는 경우에도 곡선 차로의 곡률 정보를 산출하고 적절한 전방관측센서의 회전 제어가 가능한 차량용 전방관측시스템 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 소정 각도 범위의 화각(FOV)을 가지고 차량의 전방을 감시하는 전방관측센서; 곡선 차로의 곡률을 추정하여 상기 전방관측센서의 회전각을 산출하는 제어부; 및 상기 제어부에 의해 구동 제어되어 상기 전방관측센서를 회전시키는 센서회전부;를 포함하되, 상기 제어부는, 차로변에 설치된 가드레일(guardrail)에 기반하여 곡선 차로의 곡률을 추정하는, 차량용 전방관측시스템이 제공될 수 있다.
본 발명의 다른 측면에 따르면, 카메라 및 LIDAR 센서를 통해 차량 전방의 YUV 영상 및 심도 영상을 취득하는 데이터 취득 단계; 상기 YUV 영상을 통해 차선을 검출하는 차선검출단계; 상기 YUV 영상 및 심도 영상을 통해 전방 차량의 궤적을 검출하는 물체 인식 및 추적 단계; 상기 심도 영상을 통해 가드레일을 검출하는 가드레일 검출단계; 및 상기 검출된 차선에 기반한 제 1 곡률, 상기 검출된 전방 차량의 궤적에 기반한 제 2 곡률, 상기 검출된 가드레일에 기반한 제 3 곡률을 산출하는 곡률산출단계; 상기 제 1 내지 3 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 곡률추정단계; 를 포함하는, 차량용 전방관측방법이 제공될 수 있다.
본 발명의 실시예들에 따른 차량용 전방관측시스템 및 방법은, 차선 및 전방 차량의 궤적 외에 가드레일의 검출을 통해 곡선 차로의 곡률을 추정함으로써, 보다 다양한 환경에서 정확한 곡률의 추정 및 센서의 회전 제어가 가능해진다.
도 1은 곡선 차로 주행시 전방관측센서의 회전각 제어를 보여주는 개략도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 전방관측시스템의 구성도이다.
도 3은 도 2에 도시된 가드레일 검출부의 상세도이다.
도 4 및 5는 가드레일 검출부를 통한 가드레일의 검출 과정을 보여주는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량용 전방관측방법의 순서도이다.
이하, 본 발명의 실시예들을 첨부된 도면을 참조하여 설명하도록 한다. 다만, 이하의 실시예들은 본 발명의 이해를 돕기 위해 제공되는 것이며, 본 발명의 범위가 이하의 실시예들에 한정되는 것은 아님을 알려둔다. 또한, 이하의 실시예들은 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것으로, 불필요하게 본 발명의 기술적 요지를 흐릴 수 있다고 판단되는 공지의 구성에 대해서는 상세한 기술을 생략하기로 한다.
도 2는 본 발명의 일 실시예에 따른 차량용 전방관측시스템의 구성도이다.
도 2를 참고하면, 본 실시예에 따른 차량용 전방관측시스템(이하, '전방관측시스템(S)'으로 지칭함)은 전방관측센서(10), 제어부(20) 및 센서회전부(30)를 포함하여 구성될 수 있다. 전체적으로, 전방관측센서(10)는 소정정도의 화각(Field Of View, FOV)을 가지고 차량 전방을 감지하며, 제어부(20)는 전방관측센서(10)로부터 얻어진 정보를 통해 곡선 차로의 곡률을 산출할 수 있다. 센서회전부(30)는 제어부(20)에 의해 구동 제어될 수 있으며, 산출된 곡률값에 따라 전방관측센서(10)를 회전 구동시키게 된다.
이하, 상기의 각 구성에 대해 보다 상세히 설명하도록 한다.
차량 전방을 관측하기 위한 전방관측센서(10)는 카메라(11) 및 LIDAR(Light Detection and Ranging) 센서(12)를 포함할 수 있다. 카메라(11)는 차량 전방의 YUV 영상(D1)을 생성하고, 이를 제어부(20)로 제공할 수 있다. 카메라(11)로부터 제공되는 YUV 영상(D1)은 영상 처리를 통한 차선의 검출이나 전방 물체의 인식 등에 사용될 수 있다. LIDAR 센서(12)는 차량 전방의 심도(Depth) 영상(D2)을 생성하고, 이를 제어부(20)로 제공할 수 있다. LIDAR 센서(12)로부터 제공되는 심도 영상(D2)은 전방 물체의 인식 및 추적, 가드레일의 검출 등에 사용될 수 있다.
한편, 제어부(20)는 전방관측센서(10)에서 얻어진 정보를 통해 곡선 차로의 곡률을 산출하고 센서회전부(30)의 구동을 제어할 수 있다.
구체적으로, 제어부(20)는 차선검출부(21)를 포함할 수 있다. 차선검출부(21)는 카메라(11)로부터 YUV 영상(D1)을 제공받아 차선(lane)을 검출할 수 있다. 차선 검출은 YUV 영상(D1)의 영상 처리를 통해 이뤄질 수 있다. 예컨대, 차선검출부(21)는 YUV 영상(D1)에서 윤곽선 영상을 생성하고 차선의 명암 특성(통상, 차선은 밝은색으로 표시)이나 기하학적 특성(위치, 두께 등)을 고려하여 YUV 영상(D1)에서 차선을 검출할 수 있다. 또한, 차선검출부(21)는 검출된 차선의 궤적을 통해 제 1 곡률(R1)을 산출하고, 이를 곡률계산부(24)로 제공할 수 있다.
한편, 제어부(20)는 물체 인식 및 추적부(22)를 포함할 수 있다. 물체 인식 및 추적부(22)는 카메라(11)로부터 YUV 영상(D1)을 제공받고, LIDAR 센서(12)로부터 심도 영상(D2)을 제공받을 수 있다. 물체 인식 및 추적부(22)는 YUV 영상(D1) 및 심도 영상(D2)을 통해 전방 물체(특히, 전방에 주행하는 다른 차량)를 인식하고, 이를 추적하여 전방 물체의 이동 궤적을 산출할 수 있다. 또한, 물체 인식 및 추적부(22)는 산출된 이동 궤적을 통해 곡선 차로의 제 2 곡률(R2)을 산출하고, 이를 곡률계산부(24)로 제공할 수 있다.
상기와 같은 차선검출부(21)나 물체 인식 및 추적부(22)에 의한 제 1, 2 곡률(R1, R2)의 산출은, 차선이나 전방 차량의 이동 궤적을 통해 곡선 차로의 곡률을 예측하는 것으로, 종래의 곡률 산출 방식과 유사하게 이뤄질 수 있다.
한편, 제어부(20)는 가드레일 검출부(23)을 포함할 수 있다. 가드레일 검출부(23)는 LIDAR 센서(12)로부터 심도 영상(D2)을 제공받고, 물체 인식 및 추적부(22)로부터 전방 물체의 위치(M1)를 제공받을 수 있다. 가드레일 검출부(23)는 제공된 심도 영상(D2) 및 전방 물체의 위치(M1)를 통해 곡선 차로의 차로변 등에 설치된 가드레일을 검출하게 된다.
도 3은 도 2에 도시된 가드레일 검출부의 상세도이다.
도 3을 참고하면, 가드레일 검출부(23)는 LIDAR 센서(12)에서 제공되는 심도 영상(D2)으로부터 지면 영역을 분리(23a)하고, 가드레일 영역을 추출(23b)하게 된다. 또한, 가드레일 검출부(23)는 추출된 가드레일 영역의 검출 포인트에 대해 3차원 곡선 또는 곡면을 피팅(fitting)시켜 가드레일이 이루는 제 3 곡률(R3)을 산출하게 된다. 이와 같은 제 3 곡률(R3)은 전술한 제 1, 2 곡률(R1, R2)과 마찬가지로 곡률계산부(24)로 제공될 수 있으며, 곡선 차로의 곡률을 추정하는데 사용되게 된다.
도 4 및 5는 가드레일 검출부를 통한 가드레일의 검출 과정을 보여주는 예시도이다.
도 4의 (a)를 참고하면, LIDAR 센서(12)의 3차원 투영 결과 LIDAR 센서(12)로부터 3차원의 심도 영상 또는 정보가 얻어질 수 있다. 이와 같이 LIDAR 센서(12)로부터 얻어진 심도 영상이나 정보는 3차원 공간에 거리값을 나타내는 정보로 표현될 수 있다. 또한, 도 4의 (b)에 도시된 바와 같이, LIDAR 센서(12)로부터 얻어진 심도 영상이나 정보에 3차원 평면 방정식을 피팅(fitting)하여 평면을 구할 수 있으며, 이는 높이별(L1 내지 L3)로 분리되어 각 높이(L1 내지 L3)에 따른 값으로 나타내어 질 수 있다.
한편, 도 5의 (a) 및 (b)를 참고하면, 가드레일 검출부(23)는 각 높이별(L1 내지 L3) 정보 중에서 지면 영역(L1)을 제거하게 된다. 또한, 가드레일 검출부(23)는 전방 물체의 위치 정보를 제공받고, 도 5의 (c)에 도시된 바와 같이 나머지 영역(L2, L3)에서 물체 영역(E1, E2)을 제거하게 된다. 또한, 도 5의 (d)와 같이, 가드레일 검출부(23)는 물체 영역(E1, E2)이 제거된 심도 정보에 대해 3차원 곡선(Q1, Q2) 또는 곡면을 피팅하여 가드레일의 곡률을 산출하게 된다.
필요에 따라 상기와 같은 과정에서 이상값(outlier) 등을 제거하기 위해 RANSAC(RANdon SAmple Consensus) 알고리즘이 적용될 수 있다.
다시 도 2를 참고하면, 가드레일 검출부(23)는 상기와 같은 과정을 거쳐 차로변 등에 설치된 가드레일의 제 3 곡률(R3)을 산출할 수 있으며, 산출된 제 3 곡률(R3)은 곡률계산부(24)로 제공되게 된다.
한편, 제어부(20)는 차선검출부(21), 물체 인식 및 추적부(22), 가드레일 검출부(23)로부터 각각 제 1 내지 3 곡률(R1, R2, R3)을 제공받는 곡률계산부(24)를 포함할 수 있다. 곡률계산부(24)는 제공된 제 1 내지 3 곡률(R1, R2, R3)을 통해 곡선 차량의 최종 곡률(R)을 추정할 수 있다. 예컨대, 곡률계산부(24)는 제 1 내지 3 곡률(R1, R2, R3)의 평균값, 가중치 등에 의한 보정 등에 의해 최종 곡률(R)을 추정할 수 있다.
또는, 곡률계산부(24)는 차량의 주행 환경에 따라 제 1 내지 3 곡률(R1, R2, R3) 중 하나를 최종 곡률(R)로 추정할 수 있다. 예컨대, 차량이 야간 환경에서 주행시, 곡률계산부(24)는 제 2 곡률(R2) 또는 제 3 곡률(R3)을 최종 곡률(R)로 추정할 수 있다. 또한, 해당 차량의 전방에 다른 차량이 존재하지 않는 경우, 곡률계산부(24)는 제 1 곡률(R1) 또는 제 3 곡률(R3)을 최종 곡률(R)로 추정할 수 있다.
특히, 본 실시예에 따른 전방관측시스템(S)의 경우, 차선에 의해 산출된 제 1 곡률(R1) 및 전방 차량의 궤적에 의해 산출된 제 2 곡률(R2)에, 가드레일 검출에 따른 제 3 곡률(R3)을 함께 사용하여 최종 곡률(R)을 산출하게 된다는 점에서 종래의 기술적 문제점들을 해소할 수 있는 이점이 있다. 즉, 주행 환경에 따라 차선 또는 전방 차량의 궤적을 이용할 수 없는 경우에도, 가드레일을 통해 곡선 차로의 곡률을 추정할 수 있게 되어, 보다 다양한 환경에서 전방관측시스템(S)의 적절한 사용이 가능해진다.
부연하면, 일반적으로 곡선 차로의 경우 차로변 등에 가드레일(guardrail)이 설치되게 된다. 이러한 가드레일은 곡선 차로를 따라 설치되어 곡선 차로와 대응되는 곡률을 가지도록 배치되며, 고정된 형태의 구조물로 차선이나 전방 차량의 궤적 등에 비해 검출이 용이한 이점이 있다. 또한, 이러한 가드레일은 전방에 차량이 존재하지 않거나, 차선의 검출이 어려운 경우에도 쉽게 이용이 가능한 이점이 있다. 본 실시예에 따른 전방관측시스템(S)은 이와 같은 점을 고려하여 곡선 차로의 곡률 추정에 가드레일을 이용함으로써 보다 다양환 환경에서 정확한 곡률 추정을 가능하게 할 수 있다.
한편, 제어부(20)는 센서회전부(30)를 구동 제어하는 회전제어부(20)를 포함할 수 있다. 회전제어부(20)는 곡률계산부(24)로부터 최종 곡률(R)을 제공받아 센서회전부(30)의 회전각(C1)을 산출할 수 있다. 필요에 따라 회전제어부(20)는 차량의 주행속도 등을 고려하여 센서회전부(30)의 회전속도 등을 함께 산출할 수 있으며, 산출된 회전각(C1), 회전속도 등은 센서회전부(30)로 제공되어 센서회전부(30)를 구동 제어하게 된다.
또한, 센서회전부(30)는 전방관측센서(10)에 연결되어 회전제어부(20)로부터 제공되는 회전각(C1) 등에 따라 전방관측센서(10)를 회전시키게 된다. 따라서 전방관측센서(10)는 곡선 차로 주행시 적절한 관측 범위를 유지할 수 있도록 회전 구동되게 된다 (도 1 참고). 이와 같은 센서회전부(30)는 모터, 액츄에이터 등의 기계적 수단을 구비하고 전방관측센서(10)를 회전시키도록 구성되거나, 광학적 수단을 통해 전방관측센서(10)의 관측 범위를 회전시키도록 구성될 수 있다.
필요에 따라, 제어부(20)는 조향각검출부(26)를 더 포함할 수 있다. 조향각검출부(26)는 조향휠센서(13)로부터 조향정보(D3)를 제공받아 차량의 조향각(steering angle)을 검출할 수 있다. 또한, 조향각검출부(26)는 검출된 조향각에 기반하여 제 4 곡률(R4)을 산출할 수 있으며, 산출된 제 4 곡률(R4)는 전술한 제 1 내지 3 곡률(R1 내지 R3)과 유사하게 곡선 차로의 최종 곡률(R) 산출을 위해 곡률계산부(24)로 제공될 수 있다. 이와 같은 경우, 곡률계산부(24)는 제 1 내지 4 곡률(R1 내지 R4)에 기반하여 곡선 차로의 최종 곡률(R)을 추정할 수 있다.
이상에서 설명한 바, 본 실시예에 따른 전방관측시스템(S)은 차선 및 전방 차량의 궤적 외에 가드레일의 검출을 통해 곡선 차로의 곡률을 추정함으로써, 보다 다양한 환경에서 정확한 곡률의 추정 및 센서의 회전 제어가 가능해진다. 나아가, 이와 같은 적절한 회전 제어는 비교적 좁은 화각을 가지는 센서의 사용을 가능케 하는 이점이 있다. 즉, 상대적으로 좁은 화각을 가지는 센서를 통해서도 적절한 전방 감시나 인식이 가능하게 되는바, 시스템 구현을 위한 비용을 절감시키길 수 있게 된다. 예컨대, 센서의 적절한 회전 제어는 좁은 화각의 LIDAR 센서를 통한 시스템 구현을 가능케 하는바, 고가의 LIDAR 센서를 채용하는데 따른 설비 비용 증가를 최소화할 수 있게 된다.
이하 본 발명의 일 실시예에 따른 차량용 전방관측방법(이하, '전방관측방법'으로 지칭함)에 대해 설명하도록 한다. 다만, 본 실시예에 따른 전방관측방법은 전술한 실시예의 전방관측시스템(S)에 의해 구현될 수 있으며, 그 기술적 요지는 전술한 바와 유사하다.
도 6은 본 발명의 일 실시예에 따른 차량용 전방관측방법의 순서도이다.
도 6을 참고하면, 본 실시예에 따른 전방관측방법은 카메라 및 LIDAR 센서를 통해 차량 전방의 YUV 영상 및 심도 영상 데이터를 취득하는 데이터취득단계(S10)를 포함할 수 있다. 이와 같은 데이터취득단계(S10)는 전술한 실시예의 전방관측센서(10)에 의해 구현될 수 있다.
또한, 본 실시예에 따른 전방관측방법은 YUV 영상을 통해 차선을 검출하는 차선검출단계(S21)를 포함할 수 있다. 차선검출단계(S21)에서는 YUV 영상의 영상 처리를 통해 차선을 검출하게 되며, 이는 전술한 실시예의 차선검출부(21)를 통해 구현될 수 있다.
또한, 본 실시예에 따른 전방관측방법은 카메라로부터 취득된 YUV 영상 또는 LIDAR 센서의 심도 영상 데이터로부터 전방 차량을 인식하고 이의 이동 궤적을 추적하는 물체 인식 및 추적 단계(S22)를 포함할 수 있다. 이는 전술한 실시예의 물체 인식 및 추적부(22)에 의해 구현될 수 있다.
또한, 본 실시예에 따른 전방관측방법은 LIDAR 센서의 심도 영상을 통해 차로변 등에 설치된 가드레일을 검출하는 가드레일검출단계(S23)를 포함할 수 있다. 가드레일검출단계(S23)에서는 심도 영상 데이터에서 지면 영역이나 전방 물체를 제거하는 과정을 거쳐 가드레일을 추종하는 3차원 곡선이나 곡면을 추출하게 된다. 이는 전술한 실시예의 가드레일 검출부(23)를 통해 구현될 수 있다.
또한, 필요에 따라 본 실시예에 따른 전방관측방법은 조향휠센서를 통해 차량의 조향각을 검출하는 조향각검출단계(S26)를 더 포함할 수 있다. 이는 전술한 실시예의 조향각검출부(26)를 통해 구현될 수 있다.
한편, 본 실시예에 따른 전방관측방법은 차선에 기반한 제 1 곡률, 전방 차량의 이동 궤적에 기반한 제 2 곡률, 가드레일에 기반한 제 3 곡률 및, 조향각에 기반한 제 4 곡률 중 적어도 하나를 산출하는 곡률산출단계(S21a, S22a, S23a, S26a)를 포함할 수 있다. 곡률산출단계(S21a, S22a, S23a, S26a)에서는 차선검출단계(S21)에서 검출된 차선을 이용하여 제 1 곡률을 산출하거나, 물체 인식 및 추적 단계(S22)에서 검출된 전방 차량의 이동 궤적을 이용하여 제 2 곡률을 산출하게 된다. 또한, 곡률산출단계(S21a, S22a, S23a, S26a)에서는 가드레일검출단계(S23)에서 검출된 가드레일을 이용하여 제 3 곡률을 산출하거나, 조향각검출단계(S26)에서 검출된 조향각을 이용하여 제 4 곡률을 산출하게 된다.
한편, 본 실시예에 따른 전방관측방법은 제 1 내지 4 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 곡률추정단계(S24)를 포함할 수 있다. 곡률추정단계(S24)에서는 차량의 주행 환경에 따라 제 1 내지 4 곡률 중 하나를 선택적으로 취득하거나, 제 1 내지 4 곡률을 통한 보정 등을 통해 곡선 차로의 최종 곡률을 추정하게 된다. 이는 전술한 실시예의 곡률계산부(24)에 의해 구현될 수 있다.
또한, 본 실시예에 따른 전방관측방법은 추정된 최종 곡률에 따라 카메라, LIDAR 센서 등의 전방관측센서의 회전각을 결정하고, 센서회전부의 구동 제어를 통해 전방관측센서를 회전 제어하는 센서회전단계(S30)를 포함할 수 있다. 센서회전단계(S30)에서 전방관측센서는 곡선 차로의 곡률을 따라 회전 제어될 수 있으며, 이로 인해, 차량의 주행 방향에 따른 적절한 관측 범위가 유지될 수 있게 된다. 이는 전술한 실시예의 회전제어부(20) 및 센서회전부(30)에 의해 구현될 수 있다.
이상, 본 발명의 실시예들에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
S: 차량용 전방관측시스템 10: 전방관측센서
11: 카메라 12: LIDAR 센서
20: 제어부 21: 차선검출부
22: 물체 인식 및 추적부 23: 가드레일 검출부
24: 곡률계산부 25: 회전제어부
26: 조향각검출부 30: 센서회전부

Claims (15)

  1. 소정 각도 범위의 화각(FOV)을 가지고 차량의 전방을 감시하는 전방관측센서(10);
    곡선 차로의 곡률을 추정하여 상기 전방관측센서(10)의 회전각을 산출하는 제어부(20); 및
    상기 제어부(20)에 의해 구동 제어되어 상기 전방관측센서를 회전시키는 센서회전부(30);를 포함하되,
    상기 제어부(20)는, 차로변에 설치된 가드레일(guardrail)에 기반하여 곡선 차로의 곡률을 추정하는, 차량용 전방관측시스템.
  2. 청구항 1에 있어서,
    상기 제어부(20)는,
    차선(lane)에 기반하여 제 1 곡률을 산출하는 차선검출부(21);
    전방 차량의 궤적에 기반하여 제 2 곡률을 산출하는 물체 인식 및 추적부(22); 및
    차로변의 가드레일에 기반하여 제 3 곡률을 산출하는 가드레일 검출부(23);를 포함하는, 차량용 전방관측시스템.
  3. 청구항 2에 있어서,
    상기 제어부(20)는,
    차량의 조향각에 기반하여 제 4 곡률을 산출하는 조향각검출부(26);를 더 포함하는, 차량용 전방관측시스템.
  4. 청구항 2에 있어서,
    상기 제어부(20)는,
    상기 제 1 내지 3 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 곡률계산부(24); 및
    추정된 최종 곡률에 따라 상기 전방관측센서(10)의 회전각을 산출하는 회전제어부(25);를 포함하는, 차량용 전방관측시스템.
  5. 청구항 3에 있어서,
    상기 제어부(20)는,
    상기 제 1 내지 4 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 곡률계산부(24);를 포함하는, 차량용 전방관측시스템.
  6. 청구항 3에 있어서,
    상기 제어부(20)는,
    상기 제 1 내지 4 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 곡률계산부(24);를 포함하는, 차량용 전방관측시스템.
  7. 청구항 2에 있어서,
    상기 가드레일 검출부(23)는,
    상기 전방관측센서(10)에서 제공되는 심도(depth) 영상을 높이별로 분리하여 지면 영역을 제거하고, 상기 물체 인식 및 추적부(22)에서 제공되는 전방 차량의 위치 정보에 기반하여 물체 영역을 제거하며, 물체 영역이 제거된 심도 영상에 3차원 곡선 또는 곡면을 피팅하여 가드레일의 곡률을 산출하는, 차량용 전방관측시스템.
  8. 청구항 1에 있어서,
    상기 전방관측센서(10)는,
    상기 제어부(20)로 YUV 영상을 제공하는 카메라(11); 및
    상기 제어부(20)로 심도(depth) 영상을 제공하는 LIDAR 센서(12);를 포함하는, 차량용 전방관측시스템.
  9. 청구항 2에 있어서,
    상기 전방관측센서(10)는,
    상기 차선검출부(21) 및 상기 물체 인식 및 추적부(22)로 YUV 영상을 제공하는 카메라(11); 및
    상기 물체 인식 및 추적부(22) 및 상기 가드레일 검출부(23)로 심도(depth) 영상을 제공하는 LIDAR 센서(12);를 포함하는, 차량용 전방관측시스템.
  10. 카메라(11) 및 LIDAR 센서(12)를 통해 차량 전방의 YUV 영상 및 심도 영상을 취득하는 데이터 취득 단계(S10);
    상기 YUV 영상을 통해 차선을 검출하는 차선검출단계(S21);
    상기 YUV 영상 및 심도 영상을 통해 전방 차량의 궤적을 검출하는 물체 인식 및 추적 단계(S22);
    상기 심도 영상을 통해 가드레일을 검출하는 가드레일 검출단계(S23);
    상기 검출된 차선에 기반한 제 1 곡률, 상기 검출된 전방 차량의 궤적에 기반한 제 2 곡률, 상기 검출된 가드레일에 기반한 제 3 곡률을 산출하는 곡률산출단계(S21a, S22a, S23a); 및
    상기 제 1 내지 3 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 곡률추정단계(S24);를 포함하는, 차량용 전방관측방법.
  11. 청구항 10에 있어서,
    상기 추정된 최종 곡률에 따라 상기 카메라(11) 또는 상기 LIDAR 센서(12)의 회전각을 결정하고 상기 카메라(11) 또는 상기 LIDAR 센서(12)를 회전시키는 센서회전단계(S30);를 더 포함하는, 차량용 전방관측방법.
  12. 청구항 10에 있어서,
    상기 차선검출단계(S21), 상기 물체 인식 및 추적 단계(S22), 상기 가드레일 검출단계(S23)와 병행하여 차량의 조향각을 검출하는 조향각검출단계(S26);를 더 포함하되,
    상기 곡률산출단계(S21a, S22a, S23a, S26a)는, 상기 검출된 조향각에 기반하여 제 4 곡률을 산출하며,
    상기 곡률추정단계(S24)는, 상기 제 1 내지 4 곡률을 통해 곡선 차로의 최종 곡률을 추정하는 것인, 차량용 전방관측방법.
  13. 청구항 10에 있어서,
    가드레일 검출단계(S23)는,
    LIDAR 센서(12)에서 제공되는 심도(depth) 영상을 높이별로 분리하여 지면 영역을 제거하는 단계를 포함하는, 차량용 전방관측방법.
  14. 청구항 13에 있어서,
    가드레일 검출단계(S23)는,
    상기 물체 인식 및 추적 단계(S22)에서 검출된 전방 차량의 위치 정보에 기반하여 물체 영역을 제거하며, 물체 영역이 제거된 심도 영상에 3차원 곡선 또는 곡면을 피팅하여 가드레일을 검출하는 단계를 포함하는, 차량용 전방관측방법.
  15. 청구항 10에 있어서,
    상기 곡률추정단계(S24)는,
    차량의 주행 환경에 따라 상기 제 1 내지 3 곡률 중 하나를 최종 곡률로 추정하되, 전방에 다른 차량이 존재하지 않는 경우, 상기 제 1 곡률 또는 제 3 곡률을 최종 곡률로 추정하고, 야간 주행의 경우, 상기 제 2 곡률 또는 제 3 곡률을 최종 곡률로 추정하는, 차량용 전방관측방법.
KR1020140003200A 2014-01-10 2014-01-10 차량용 전방관측시스템 및 방법 KR101545478B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140003200A KR101545478B1 (ko) 2014-01-10 2014-01-10 차량용 전방관측시스템 및 방법
CN201410400198.2A CN104773122B (zh) 2014-01-10 2014-08-14 车辆用前方观测系统及其方法
US14/552,565 US9613280B2 (en) 2014-01-10 2014-11-25 System and method for front detecting of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140003200A KR101545478B1 (ko) 2014-01-10 2014-01-10 차량용 전방관측시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150083545A true KR20150083545A (ko) 2015-07-20
KR101545478B1 KR101545478B1 (ko) 2015-08-19

Family

ID=53521669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140003200A KR101545478B1 (ko) 2014-01-10 2014-01-10 차량용 전방관측시스템 및 방법

Country Status (3)

Country Link
US (1) US9613280B2 (ko)
KR (1) KR101545478B1 (ko)
CN (1) CN104773122B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10676057B2 (en) 2015-10-28 2020-06-09 Lg Innotek Co., Ltd. Optical output module, vehicle including same, and control method therefor
KR20220058794A (ko) * 2020-10-30 2022-05-10 (주) 오토노머스에이투지 자율주행 자동차의 페일 세이프 기능을 수행하는 방법 및 장치
KR102423781B1 (ko) * 2021-08-25 2022-07-22 (주)뷰런테크놀로지 라이다 센서를 이용하여 가드레일을 검출하는 방법 및 상기 방법을 수행하는 가드레일 검출 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101550972B1 (ko) * 2013-09-25 2015-09-07 현대자동차주식회사 레이저 스캐너를 이용하여 장애물을 인식하기 위한 특징점 추출 장치 및 방법
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
CN105389547A (zh) * 2015-10-22 2016-03-09 四川膨旭科技有限公司 基于在夜间对车辆进行识别的系统
KR20180090610A (ko) * 2017-02-03 2018-08-13 삼성전자주식회사 차선 정보를 출력하는 방법 및 장치.
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
TWI689432B (zh) * 2018-12-26 2020-04-01 財團法人工業技術研究院 車用感測器自動調整方法及其系統
CN109541571B (zh) * 2018-12-29 2021-05-07 北京智行者科技有限公司 Eps零偏和多线激光雷达的联合标定方法
US11091132B2 (en) 2019-04-12 2021-08-17 Bendix Commercial Vehicle Systems, Llc Delay autonomous braking activation due to potential forward turning vehicle
KR102208269B1 (ko) * 2019-11-26 2021-01-27 주식회사 만도 차량 안전주행 제어장치 및 방법
KR102673140B1 (ko) * 2019-11-29 2024-06-10 현대모비스 주식회사 주변 차량을 활용한 곡률 정보 보정 시스템 및 방법
KR20210099780A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113466878A (zh) * 2021-06-21 2021-10-01 三一专用汽车有限责任公司 作业机械的定位方法、装置、作业机械及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2671615B2 (ja) * 1991-02-18 1997-10-29 三菱電機株式会社 ガードレール検出装置
JP2000198402A (ja) * 1999-01-05 2000-07-18 Sumitomo Electric Ind Ltd 物体検出装置
JP4793094B2 (ja) * 2006-05-17 2011-10-12 株式会社デンソー 走行環境認識装置
DE102007040539B4 (de) * 2006-09-04 2014-03-27 Denso Corporation Fahrzeugsteuersystem
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP2011065219A (ja) * 2009-09-15 2011-03-31 Toyota Motor Corp 道路曲率推定装置
KR20120041583A (ko) * 2010-10-21 2012-05-02 에스엘 주식회사 곡선로 카메라 제어장치 및 제어방법
KR101833874B1 (ko) * 2011-07-14 2018-03-05 현대모비스 주식회사 가변 곡률을 적용한 지능형 순항제어 시스템 및 그 방법
KR20130125644A (ko) * 2012-05-09 2013-11-19 현대모비스 주식회사 레이더 센서를 이용한 주행 경로 생성 가능한 차선 유지 보조 시스템 및 주행 경로 생성 방법
JP5979259B2 (ja) * 2015-01-20 2016-08-24 トヨタ自動車株式会社 衝突回避制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10676057B2 (en) 2015-10-28 2020-06-09 Lg Innotek Co., Ltd. Optical output module, vehicle including same, and control method therefor
US11390229B2 (en) 2015-10-28 2022-07-19 Lg Innotek Co., Ltd. Optical output module, vehicle including same, and control method therefor
KR20220058794A (ko) * 2020-10-30 2022-05-10 (주) 오토노머스에이투지 자율주행 자동차의 페일 세이프 기능을 수행하는 방법 및 장치
KR102423781B1 (ko) * 2021-08-25 2022-07-22 (주)뷰런테크놀로지 라이다 센서를 이용하여 가드레일을 검출하는 방법 및 상기 방법을 수행하는 가드레일 검출 장치
US11954915B2 (en) 2021-08-25 2024-04-09 Vueron Technology Co., Ltd Method for detecting guard-rail using LIDAR sensor and guard-rail detection device performing the method

Also Published As

Publication number Publication date
CN104773122A (zh) 2015-07-15
US9613280B2 (en) 2017-04-04
KR101545478B1 (ko) 2015-08-19
US20150199577A1 (en) 2015-07-16
CN104773122B (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
KR101545478B1 (ko) 차량용 전방관측시스템 및 방법
EP3161507B1 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US20190172356A1 (en) Lane departure warning device and method
CN108027422A (zh) 借助于汽车传感器自动检测危险偏离车辆
US9643617B2 (en) Friction coefficient estimation from camera and wheel speed data
JP4420011B2 (ja) 物体検知装置
US20200049513A1 (en) Positioning system
JP2013225295A5 (ko)
US20150213719A1 (en) Lateral control apparatus of vehicle and control method of the same
US20080291276A1 (en) Method for Driver Assistance and Driver Assistance Device on the Basis of Lane Information
WO2014024336A1 (ja) 物体検出装置及び運転支援装置
KR20180099280A (ko) 가상 차로 생성 장치 및 방법
CN111661047B (zh) 车辆中的车道位置感测和跟踪
JP2006331219A (ja) 車両逸脱判定装置
US20200307590A1 (en) Highway exit detection and line mirroring for vehicle trajectory determination
JP2020057069A (ja) 区画線認識装置
CN106068215A (zh) 道路偏离保护系统
KR102022539B1 (ko) 차선 이탈 경보 시스템
JP2015221636A (ja) 車線維持支援装置
EP3480075B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
KR20130125644A (ko) 레이더 센서를 이용한 주행 경로 생성 가능한 차선 유지 보조 시스템 및 주행 경로 생성 방법
JP6200780B2 (ja) 車線認識判定装置
CN112519773B (zh) 一种智能驾驶汽车的车道保持方法、装置及汽车
CN116118770A (zh) 面向稳健自动驾驶控制的车辆感知系统的自适应合理化器
KR20190058027A (ko) 차량의 주행지원 제어장치 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 5