KR102257893B1 - 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체 - Google Patents

차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체 Download PDF

Info

Publication number
KR102257893B1
KR102257893B1 KR1020190078602A KR20190078602A KR102257893B1 KR 102257893 B1 KR102257893 B1 KR 102257893B1 KR 1020190078602 A KR1020190078602 A KR 1020190078602A KR 20190078602 A KR20190078602 A KR 20190078602A KR 102257893 B1 KR102257893 B1 KR 102257893B1
Authority
KR
South Korea
Prior art keywords
vehicle
lane change
adjacent vehicle
lane
adjacent
Prior art date
Application number
KR1020190078602A
Other languages
English (en)
Other versions
KR20210003329A (ko
Inventor
한동석
김지훈
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190078602A priority Critical patent/KR102257893B1/ko
Publication of KR20210003329A publication Critical patent/KR20210003329A/ko
Application granted granted Critical
Publication of KR102257893B1 publication Critical patent/KR102257893B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • B60W2420/42
    • B60W2420/52
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체가 개시된다.
차선 변경 정보 제공 장치는 변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 센서부, 상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 차선 변경 시간 예측부 및 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 차선 변경 판단부를 포함한다.

Description

차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체{APPARATUS OF PROVIDING LANE CHANGE INFORMATION, METHOD OF PROVIDING LANE CHANGE INFORMATION AND READABLE MEDIUM FOR PERFORMING THE METHOD}
본 발명은 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체에 관한 것으로, 더욱 상세하게는 적응형 순항 제어 시스템의 일 구성으로 포함되어 차선 변경 가능 시간을 예측하는 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체에 관한 것이다.
최근 차량의 차선 변경 문제는 심각한 수준으로 보복 운전으로 이어져서 인명사고가 발생하기도 한다. 차선 변경으로 인한 가장 큰 문제는 방향 지시등을 조작하지 않고 차선을 변경하는 것이기도 하지만, 차선 변경에 미숙한 운전자로 인한 문제도 많이 있다. 예를 들어 변경할 차선에 차량이 주행중인지를 인지하지 못한 채 차선을 변경하는 것이 이유일 수 있다.
한국공개특허 10-2004-0035142호에 따른 장치는, 주행도로의 전방 영상을 검출하여 영상신호를 출력하는 CCD카메라와, 차량의 측방 하부의 차선을 감지하기 위한 다수개의 포토커플러들과, 상기 CCD카메라로부터 출력된 영상신호를 분석하여 주행도로의 차선을 검출하며 검출된 차선영상으로부터 운행차량이 주행도로를 이탈하였는가 판단할 뿐만 아니라 상기 다수개의 포토커플러들의 출력값을 통해 차선이탈 상태를 판단하는 제어부와, 상기 제어부의 판단결과에 따라 운전자에게 차선이탈 상태를 경고하는 경고부를 포함하여 이루어진다.
이처럼 차량에 장착되는 레이더 센서 및 전/후/좌/우의 카메라를 이용하여 운전자에게 앞 차량의 거리, 차선의 인식, 측/후방의 물체확인 정보를 통하여 경고를 주어 충돌의 위험을 미연에 방지할 수 있도록 할 수 있는 기능이 제안된 바 있다.
그러나 종래의 기술들은 단순히 충돌 경고 정보를 제공하는 데에 그칠 뿐이므로, 적응형 순항 제어 시스템과 같은 자동 주행 시스템에 적용하는 데에는 한계가 있다.
본 발명의 일측면은 차량에 구비된 각종 센서를 이용하여 변경 대상 차량을 주행하는 인접차량에 대한 센서 데이터를 수집하고, 센서 데이터를 분석하여 자차량의 차선 변경 가능 시간 및 차선 변경 가능 시간에 따른 차선 변경 가능 여부를 예측하여 제공하는 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체를 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 차선 변경 정보 제공 장치는 변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 센서부, 상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 차선 변경 시간 예측부 및 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 차선 변경 판단부를 포함한다.
한편, 상기 센서부는, 상기 변경 대상 차선 및 상기 인접차량을 식별할 수 있도록 상기 자차량의 주변 영상을 획득하는 카메라, 상기 인접차량의 상대속도 및 상기 자차량으로부터 상기 인접차량까지의 거리를 감지하는 레이더 센서 및 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 상기 인접차량이 위치하는지 여부를 감지하는 초음파 센서를 포함할 수 있다.
또한, 상기 차선 변경 판단부는, 상기 초음파 센서에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되는 경우, 상기 자차량의 차선 변경이 불가능한 것으로 판단할 수 있다.
또한, 상기 차선 변경 판단부는, 상기 초음파 센서에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되지 않는 경우, 상기 차선 변경 시간 예측부에서 예측하는 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단할 수 있다.
또한, 상기 차선 변경 시간 예측부는, 상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴이 선형 패턴 또는 비선형 패턴에 해당하는지를 판단하는 경로 패턴 분석부, 상기 인접차량의 경로 패턴이 선형 패턴인 것으로 판단되는 경우, 칼만 필터(Kalman filter)를 이용하여 상기 인접차량의 경로를 예측하고, 상기 인접차량의 경로 패턴이 비선형 패턴인 것으로 판단되는 경우, 확장 칼만 필터(Extended Kalman filter)를 이용하여 상기 인접차량의 경로를 예측하는 인접차량 경로 예측부 및 상기 인접차량의 예측 경로와 자차량의 주행 경로를 비교하여 상기 자차량이 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 경로 비교부를 포함할 수 있다.
한편, 본 발명의 차선 변경 정보 제공 방법은 차량에 장착되어 변경 대상 차선이 특정되는 경우, 자차량의 상기 변경 대상 차선으로의 차선 변경 정보를 제공하는 차선 변경 정보 제공 장치에서의 차선 변경 정보 제공 방법에 있어서, 변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 단계, 상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 단계 및 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계를 포함한다.
한편, 변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 단계는, 카메라를 이용하여 상기 변경 대상 차선 및 상기 인접차량을 식별할 수 있도록 상기 자차량의 주변 영상을 획득하는 단계, 레이더 센서를 이용하여 상기 인접차량의 상대속도 및 상기 자차량으로부터 상기 인접차량까지의 거리를 감지하는 단계 및 초음파 센서를 이용하여 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 상기 인접차량이 위치하는지 여부를 감지하는 단계를 포함할 수 있다.
또한, 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계는, 상기 초음파 센서에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되는 경우, 상기 자차량의 차선 변경이 불가능한 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계는, 상기 초음파 센서에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되지 않는 경우, 상기 차선 변경 시간 예측부에서 예측하는 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계를 포함할 수 있다.
또한, 상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 단계는, 상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴이 선형 패턴 또는 비선형 패턴에 해당하는지를 판단하는 단계, 상기 인접차량의 경로 패턴이 선형 패턴인 것으로 판단되는 경우, 칼만 필터(Kalman filter)를 이용하여 상기 인접차량의 경로를 예측하는 단계, 상기 인접차량의 경로 패턴이 비선형 패턴인 것으로 판단되는 경우, 확장 칼만 필터(Extended Kalman filter)를 이용하여 상기 인접차량의 경로를 예측하는 단계 및 상기 인접차량의 예측 경로와 자차량의 주행 경로를 비교하여 상기 자차량이 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 단계를 포함할 수 있다.
또한, 상기 차선 변경 정보 제공 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체일 수 있다.
본 발명에 따르면 차선 변경이 가능한 시간, 차선 변경 가능 여부의 판단 결과 등을 차량 제어 시스템으로 전달하여 안전한 차선 변경을 가능하게 한다. 이에 따라 안전한 차선 변경에 기여할 수 있으며, 특히 완전 자율 주행차 시스템에 도입되는 경우, 주행 안전성을 높일 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치의 블록도이다.
도 2는 도 1에 도시된 차선 변경 정보 제공 장치의 세부 블록도이다.
도 3은 도 1에 도시된 차선 변경 시간 예측부의 세부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 차선 변경 정보 제공 방법의 흐름도이다.
도 5는 도 4에 도시된 차선 변경이 가능한 시간을 예측하는 단계의 세부 흐름도이다.
도 6은 도 4에 도시된 차선 변경 가능 여부를 판단하는 단계의 세부 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 센서부(10), 차선 변경 시간 예측부(30) 및 차선 변경 판단부(50)를 포함할 수 있다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 도 1에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수도 있다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 정보의 입출력이 가능한 장치로, 차선 변경 정보 제공을 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 도 1에 도시된 센서부(10), 차선 변경 시간 예측부(30) 및 차선 변경 판단부(50)는 본 발명의 일 실시예에 따른 장치(1000)에서 실행되는 소프트웨어에 의해 제어될 수 있다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 별도의 모듈로 제조되어 차량에 장착될 수 있는데, 차량의 동작과 관련된 제어 동작을 수행하는 차량 제어 시스템(예컨대, 적응형 순항 제어 시스템, 운전자 보조 시스템 등)과 상호 연동시켜 구성될 수 있다. 이와 같은 경우, 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 인터페이스부, 접속 커네터 등이 마련될 수 있다. 또는, 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 차량 제어 시스템의 일 구성으로 포함될 수도 있음은 물론이다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 변경할 차선이 특정되는 경우, 자차량과 변경할 차선을 주행하는 차량 간의 상대 거리, 상대 속도 등을 감지하여 차선 변경이 가능한 시간을 예측할 수 있다. 이하의 설명에서 변경 대상 차선은 운전자의 조작에 의해 특정되거나, 차량 자동 제어 시스템에 의해 자동으로 특정되는 것으로 간주한다. 일예로, 차량 자동 제어 시스템은 네비게이션의 지시에 따라 변경할 차선을 특정할 수 있다. 또한 이하의 설명에서 변경할 차선을 주행하는 차량을 인접차량이라 칭하기로 한다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 차선 변경이 가능한 시간과 자차량의 현재 속도를 비교하여 차선 변경 가능 여부를 판단할 수 있다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 차선 변경이 가능한 시간, 차선 변경 가능 여부의 판단 결과 등을 차량 제어 시스템으로 전달하여 안전한 차선 변경을 가능하게 한다.
이하 도 1에 도시된 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)의 각 구성요소에 대해 상세히 설명한다.
센서부(10)는 자차량의 주변 환경 정보를 획득할 수 있다. 주변 환경 정보에는 변경 대상 차선, 변경 대상 차선을 주행하는 차량인 인접차량의 유무, 인접차량의 속도, 위치 등이 포함될 수 있다. 이와 관련하여 도 2를 참조하여 설명한다.
도 2는 도 1에 도시된 차선 변경 정보 제공 장치의 세부 블록도이다.
도 2를 참조하면, 센서부(10)는 카메라(11), 레이더 센서(13) 및 초음파 센서(15)를 포함할 수 있다.
카메라(11)는 변경 대상 차선 및 인접차량을 식별할 수 있도록 자차량의 주변 영상을 획득할 수 있다. 예를 들면, 카메라(11)는 차량에 장착되어 있는 후방 카메라로 대체될 수 있다. 또는 카메라(11)는 차량의 전방, 후방, 측방을 촬영할 수 있도록 차량에 별도로 장착되는 모듈일 수 있다. 카메라(11)는 주변 영상을 센서 데이터로 생성할 수 있을 것이다.
레이더 센서(13)는 인접차량의 상대속도 및 자차량으로부터 인접 차량까지의 거리를 감지할 수 있다. 예를 들면, 레이더 센서(13)는 차량의 전방, 후방 및 측방으로 레이더 빔을 조사할 수 있도록 차량에 장착될 수 있다. 레이더 센서(13)는 인접차량으로부터 반사되어 오는 반사파를 이용하여 인접차량의 상대속도 및 자차량으로부터 인접 차량까지의 거리를 센서 데이터로 생성할 수 있을 것이다.
초음파 센서(15)는 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 인접차량이 위치하는지 여부를 감지할 수 있다. 예를 들면, 초음파 센서(15)는 차량의 후방 양측, 전방 양측 등에 미리 장착되어 있는 초음파 센서로 대체될 수 있다. 또는 초음파 센서(15)는 차량의 후방 양측, 전방 양측 등에 별도로 장착되는 모듈일 수 있다.
차선 변경 시간 예측부(30)는 센서부(10)에서의 센서 데이터를 누적하여 인접차량의 경로 패턴을 분석하고, 인접차량의 경로패턴 및 인접차량의 센서 데이터를 반영하여 자차량이 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측할 수 있다. 이와 관련하여 도 3을 참조하여 설명한다.
도 3은 도 1에 도시된 차선 변경 시간 예측부의 세부 블록도이다.
도 3을 참조하면, 차선 변경 시간 예측부(30)는 경로 패턴 분석부(31), 인접차량 경로 예측부(33) 및 경로 비교부(35)를 포함할 수 있다.
경로 패턴 분석부(31)는 인접차량의 센서 데이터를 누적하여 인접차량의 경로 패턴이 선형 또는 비선형에 해당하는지를 분석할 수 있다.
경로 패턴 분석부(31)는 카메라(11)에서 생성하는 센서 데이터를 이용하여 인접차량을 검출할 수 있다. 경로 패턴 분석부(31)는 카메라(11)에서 실시간으로 획득하는 주변 영상에 일련의 영상 처리 단계를 거쳐 인접차량을 검출할 수 있다.
경로 패턴 분석부(31)는 카메라(11)에서 실시간으로 획득하는 주변 영상에서의 인접차량 검출을 누적하여 인접차량의 경로 패턴이 선형 또는 비선형에 해당하는지를 확인할 수 있다. 예컨대, 경로 패턴 분석부(31)는 카메라(11)에서 실시간으로 획득하는 주변 영상으로부터 인접차량이 연속하여 검출되는 경우, 인접차량이 선형 경로 패턴을 갖는 것으로 예측할 수 있다. 이와 반대로 경로 패턴 분석부(31)는 카메라(11)에서 실시간으로 획득하는 주변 영상으로부터 인접차량이 연속하여 검출되지 않는 경우, 인접차량이 비선형 경로 패턴을 갖는 것으로 예측할 수 있다.
인접차량 경로 예측부(33)는 인접차량의 경로 패턴, 인접차량의 현재 속도 및 위치를 이용하여 인접차량의 경로를 예측할 수 있다.
인접차량 경로 예측부(33)는 레이더 센서(13)에서 생성하는 센서 데이터를 이용하여 인접차량의 상대속도 및 자차량으로부터 인접차량까지의 거리를 획득할 수 있다. 여기서 인접차량 경로 예측부(33)는 자차량의 현재 위치 좌표를 차량 내 구비된 GPS 센서 등을 이용하여 획득할 수 있으며, 자차량의 현재 위치 좌표 및 자차량으로부터 인접차량까지의 거리를 이용하여 인접차량의 현재 위치 좌표 또한 획득할 수 있을 것이다.
인접차량 경로 예측부(33)는 인접차량의 경로 패턴이 선형 패턴을 갖는 경우, 칼만 필터(Kalman filter)를 이용하여 인접차량의 경로를 예측할 수 있다.
Figure 112019066985008-pat00001
Figure 112019066985008-pat00002
수학식 1은 초기 칼만 필터의 일 예이다. 수학식 1에서
Figure 112019066985008-pat00003
는 입력되는 데이터의 인덱스를 의미하며
Figure 112019066985008-pat00004
는 객체의 종, 횡방향 거리 정보이다. 수학식 1에서
Figure 112019066985008-pat00005
는 시스템 특성 변수,
Figure 112019066985008-pat00006
는 보정을 위한 변수이다.
Figure 112019066985008-pat00007
Figure 112019066985008-pat00008
는 시스템 잡음을 의미한다.
예를 들면, 인접차량 경로 예측부(33)는 인접차량이 선형 경로 패턴을 가지며, 인접차량의 현재 위치 좌표를 x=(X, Y, 1)로 획득하는 경우, 아래 수학식 2와 같이 수학식 1의 칼만 필터를 이용하여 인접차량의 경로 예측에 따른 위치 좌표를 예측할 수 있다.
Figure 112019066985008-pat00009
Figure 112019066985008-pat00010
수학식 2에서
Figure 112019066985008-pat00011
는 예측 되는 객체의 종, 횡방향 거리 정보이며
Figure 112019066985008-pat00012
Figure 112019066985008-pat00013
는 센서 시스템 잡음,
Figure 112019066985008-pat00014
는 오차 공분산 행렬을 의미한다.
수학식 2에서 칼만 변수 A, B는 아래 수학식 3과 같다.
Figure 112019066985008-pat00015
수학식 3은 레이더 센서(13)의 특성에 의해 정의되는 칼만 변수의 일 예이다.
인접차량 경로 예측부(33)는 아래 수학식 4와 같은 경로 보정 단계를 거쳐 인접차량의 위치 좌표를 최종 예측할 수 있다.
Figure 112019066985008-pat00016
Figure 112019066985008-pat00017
Figure 112019066985008-pat00018
수학식 4에서
Figure 112019066985008-pat00019
는 칼만 이득,
Figure 112019066985008-pat00020
는 예측값의 보정된 결과,
Figure 112019066985008-pat00021
는 오차 공분산의 보정 값이다.
Figure 112019066985008-pat00022
Figure 112019066985008-pat00023
은 시스템 변수이다.
Figure 112019066985008-pat00024
수학식 5는 레이더 센서(13)의 특성에 의해 정의되는 보정 변수의 일 예이다.
인접차량 경로 예측부(33)는 인접차량의 경로 패턴이 비선형 패턴을 갖는 경우, 확장 칼만 필터(Extended Kalman filter)를 이용하여 인접차량의 경로를 예측할 수 있다.
Figure 112019066985008-pat00025
Figure 112019066985008-pat00026
수학식 6은 초기 확장 칼만 필터의 일 예이다. 수학식 6에서
Figure 112019066985008-pat00027
는 입력되는 데이터의 인덱스를 의미하며
Figure 112019066985008-pat00028
는 객체의 종, 횡방향 거리 정보이다.
Figure 112019066985008-pat00029
Figure 112019066985008-pat00030
는 기존 선형 모델을 비선형 함수 형태로 표현한 것이다.
Figure 112019066985008-pat00031
Figure 112019066985008-pat00032
는 시스템 잡음을 의미한다.
예를 들면, 인접차량 경로 예측부(33)는 인접차량이 비선형 경로 패턴을 가지며, 인접차량의 현재 위치 좌표를 x=(X, Y, 1)로 획득하는 경우, 아래 수학식 7와 같이 수학식 6의 확장 칼만 필터를 이용하여 인접차량의 경로 예측에 따른 위치 좌표를 예측할 수 있다.
Figure 112019066985008-pat00033
Figure 112019066985008-pat00034
수학식 7에서
Figure 112019066985008-pat00035
는 비선형 모델을 통해 예측된 인접 차량의 위치 정보이다.
Figure 112019066985008-pat00036
Figure 112019066985008-pat00037
는 센서 시스템 잡음을 의미한다.
Figure 112019066985008-pat00038
는 오차 공분산 행렬이다.
수학식 7에서 비선형 칼만 변수 J(F)는 레이더 센서(13)의 특성에 의해 정의될 수 있으며, 아래 수학식 8과 같이 선형 칼만 필터의 변수를 자코비안 행렬 변환하여 적용할 수 있다.
Figure 112019066985008-pat00039
인접차량 경로 예측부(33)는 아래 수학식 9와 같은 경로 보정 단계를 거쳐 인접차량의 위치 좌표를 최종 예측할 수 있다.
Figure 112019066985008-pat00040
Figure 112019066985008-pat00041
Figure 112019066985008-pat00042
수학식 9에서
Figure 112019066985008-pat00043
는 칼만 이득,
Figure 112019066985008-pat00044
는 예측값의 보정된 결과,
Figure 112019066985008-pat00045
는 오차 공분산의 보정 값이다.
Figure 112019066985008-pat00046
Figure 112019066985008-pat00047
은 시스템 변수이다.
수학식 9에서 보정 변수 J(H)는 레이더 센서(13)의 특성에 의해 정의될 수 있으며, 선형 칼만 필터의 보정 변수를 자코비안 행렬 변환하여 적용할 수 있다.
경로 비교부(35)는 인접차량의 예측 경로와 자차량의 주행 경로를 비교하여 자차량이 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측할 수 있다.
예를 들면, 경로 비교부(35)는 레이더 센서(13)에서 생성하는 센서 데이터를 이용하여 자차량으로부터 인접차량까지의 거리를 획득할 수 있다.
경로 비교부(35)는 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상인 경우, 차선 변경이 가능한 시간을 현재 시간으로 예측할 수 있다.
경로 비교부(35)는 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 미만인 경우, 자차량의 현재 속도를 획득할 수 있다. 경로 비교부(35)는 자차량이 현재 속도로 현재 차선을 주행하고, 인접차량이 인접차량 경로 예측부(33)에서 예측한 주행 경로로 주행하는 경우, 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상으로 벌어지는 시간을 산출할 수 있다. 경로 비교부(35)는 차선 변경이 가능한 시간을 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상으로 벌어지는 시간으로 예측할 수 있다.
이와 같이 차선 변경 시간 예측부(30)는 인접차량의 센서 데이터를 누적하여 인접차량의 경로 패턴을 분석하고, 인접차량의 경로패턴 및 인접차량의 센서 데이터를 반영하여 자차량이 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측할 수 있다.
차선 변경 판단부(50)는 차선 변경이 가능한 시간 및 자차량의 현재속도에 따라 자차량의 차선 변경 가능 여부를 판단할 수 있다.
예를 들면, 차선 변경 판단부(50)는 차선 변경이 가능한 시간이 미리 설정된 차선 변경 제한 시간 이내인 경우, 자차량의 차선 변경이 가능한 것으로 판단할 수 있다.
차선 변경 판단부(50)는 차선 변경 가능한 시간이 미리 설정된 차선 변경 제한 시간 또는 그 이후인 경우, 자차량의 현재 속도에 따라 차선 변경 가능 여부를 판단할 수 있다.
차선 변경 판단부(50)는 차선 변경이 가능한 시간과 차선 변경 제한 시간 간의 차이를 산출할 수 있다. 차선 변경 판단부(50)는 자차량의 현재 속도를 획득하고, 차선 변경이 가능한 시간과 차선 변경 제한 시간 간의 차이를 보상하기 위해 필요한 자차량의 속도 증감량을 산출할 수 있다.
차선 변경 판단부(50)는 속도 증감량이 미리 설정된 제한 속도 이하인 경우, 차선 변경이 가능한 것으로 판단할 수 있다. 반대로 차선 변경 판단부(50)는 속도 증감량이 미리 설정된 제한 속도를 초과하는 경우, 차선 변경이 불가능한 것으로 판단할 수 있다.
한편 차선 변경 판단부(50)는 초음파 센서(15)의 센서 데이터에 따라 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 인접차량이 위치하는 것으로 확인되는 경우, 차선 변경이 불가능한 것으로 판단할 수 있다.
차선 변경 판단부(50)는 이러한 차선 변경 가능 또는 불가능의 판단 결과를 운전자에게 알리거나 차량 제어 시스템으로 알릴 수 있다. 이를 위해 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)는 차선 변경 가능 또는 불가능의 판단 결과를 운전자에게 알리기 위한 출력 모듈을 더 포함할 수도 있다. 차선 변경 판단부(50)는 차선 변경 가능 결과를 알리는 경우, 차선 변경이 가능한 시간 및 차선 변경을 위해 필요한 속도 증감량 등의 정보를 함께 제공할 수 있다.
이와 같은 본 발명의 일 실시예에 다른 차선 변경 정보 제공 장치(1000)는 자차량에 구비되는 각종 센서를 이용하여 인접차량을 감지하고, 인접차량의 경로를 예측하여 자차량의 차선 변경 가능 시간을 산출할 수 있으며, 자차량의 차선 변경 가능 시간에 따른 차선 변경 가능 여부를 판단하여 제공할 수 있다.
이에 따라 안전한 차선 변경에 기여할 수 있으며, 특히 완전 자율 주행차 시스템에 도입되는 경우, 주행 안전성을 높일 수 있을 것이다.
이하에서는 본 발명의 일 실시예에 따른 차선 변경 정보 제공 방법에 대해 설명한다.
본 발명의 일 실시예에 따른 차선 변경 정보 제공 방법은 도 1에 도시된 본 발명의 일 실시예에 따른 차선 변경 정보 제공 장치(1000)와 실질적으로 동일한 구성 하에서 진행될 수 있다. 따라서 도 1의 장치(1)와 동일한 구성요소는 동일한 도면부호를 부여하고 반복되는 설명은 생략한다.
도 4는 본 발명의 일 실시예에 따른 차선 변경 정보 제공 방법의 흐름도이다.
도 4를 참조하면, 센서부(10)는 자차량의 주변 환경 정보를 획득하여 센서 데이터를 생성할 수 있다(S100).
센서부(10)는 카메라(11), 레이더 센서(13) 및 초음파 센서(15)를 포함할 수 있다. 주변 환경 정보에는 변경 대상 차선, 변경 대상 차선을 주행하는 차량인 인접차량의 유무, 인접차량의 속도, 위치 등이 포함될 수 있다.
카메라(11)는 변경 대상 차선 및 인접차량을 식별할 수 있도록 자차량의 주변 영상을 획득할 수 있다. 레이더 센서(13)는 인접차량의 상대속도 및 자차량으로부터 인접 차량까지의 거리를 감지할 수 있다. 초음파 센서(15)는 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 인접차량이 위치하는지 여부를 감지할 수 있다.
차선 변경 시간 예측부(30)는 센서 데이터를 누적하여 인접차량의 경로 패턴을 분석할 수 있다(S200).
차선 변경 시간 예측부(30)는 인접차량의 센서 데이터를 누적하여 인접차량의 경로 패턴이 선형 또는 비선형에 해당하는지를 분석할 수 있다.
차선 변경 시간 예측부(30)는 카메라(11)에서 생성하는 센서 데이터를 이용하여 인접차량을 검출할 수 있다. 차선 변경 시간 예측부(30)는 카메라(11)에서 실시간으로 획득하는 주변 영상에서의 인접차량 검출을 누적하여 인접차량의 경로 패턴이 선형 또는 비선형에 해당하는지를 확인할 수 있다. 예컨대, 차선 변경 시간 예측부(30)는 카메라(11)에서 실시간으로 획득하는 주변 영상으로부터 인접차량이 연속하여 검출되는 경우, 인접차량이 선형 경로 패턴을 갖는 것으로 예측할 수 있다. 이와 반대로 차선 변경 시간 예측부(30)는 카메라(11)에서 실시간으로 획득하는 주변 영상으로부터 인접차량이 연속하여 검출되지 않는 경우, 인접차량이 비선형 경로 패턴을 갖는 것으로 예측할 수 있다.
차선 변경 시간 예측부(30)는 인접차량의 경로 패턴, 인접차량의 현재 속도 및 위치를 이용하여 인접차량의 경로를 예측할 수 있다. 차선 변경 시간 예측부(30)는 인접차량의 경로 패턴이 선형 패턴을 갖는 경우, 칼만 필터(Kalman filter)를 이용하여 인접차량의 경로를 예측할 수 있다. 차선 변경 시간 예측부(30)는 인접차량의 경로 패턴이 비선형 패턴을 갖는 경우, 확장 칼만 필터(Extended Kalman filter)를 이용하여 인접차량의 경로를 예측할 수 있다.
차선 변경 시간 예측부(30)는 인접차량의 경로패턴 및 인접차량의 센서 데이터를 반영하여 차선 변경이 가능한 시간을 예측할 수 있다(S300). 이와 관련하여 구체적인 설명은 도 5를 참조하여 후술한다.
차선 변경 판단부(50)는 차선 변경이 가능한 시간 및 자차량의 현재속도에 따라 자차량의 차선 변경 가능 여부를 판단할 수 있다(S400). 이와 관련하여 구체적인 설명은 도 6을 참조하여 후술한다.
도 5는 도 4에 도시된 차선 변경이 가능한 시간을 예측하는 단계의 세부 흐름도이다.
도 5를 참조하면, 차선 변경 시간 예측부(30)는 레이더 센서(13)에서 생성하는 센서 데이터를 이용하여 자차량으로부터 인접차량까지의 거리를 획득할 수 있다(S310).
차선 변경 시간 예측부(30)는 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상인 경우(S320), 차선 변경이 가능한 시간을 현재 시간으로 예측할 수 있다(S330).
차선 변경 시간 예측부(30)는 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 미만인 경우(S320), 자차량의 현재 속도 및 인접차량의 경로패턴을 이용하여 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상으로 벌어지는 시간을 산출하고(S340), 차선 변경이 가능한 시간을 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상으로 벌어지는 시간으로 예측할 수 있다(S350).
차선 변경 시간 예측부(30)는 자차량의 현재 속도를 획득할 수 있다. 차선 변경 시간 예측부(30)는 자차량이 현재 속도로 현재 차선을 주행하고, 인접차량이 인접차량 경로 예측부(33)에서 예측한 주행 경로로 주행하는 경우, 자차량으로부터 인접차량까지의 거리가 미리 설정된 차선 변경 가능 거리 이상으로 벌어지는 시간을 산출할 수 있다.
도 6은 도 4에 도시된 차선 변경 가능 여부를 판단하는 단계의 세부 흐름도이다.
도 6을 참조하면, 차선 변경 판단부(50)는 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 인접차량이 위치하는 것으로 확인되는 경우(S410), 차선 변경이 불가능한 것으로 판단할 수 있다(S420).
차선 변경 판단부(50)는 초음파 센서(15)의 센서 데이터에 따라 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 인접차량이 위치하는 것으로 확인되는 경우, 차선 변경이 불가능한 것으로 판단할 수 있다.
차선 변경 판단부(50)는 차선 변경이 가능한 시간이 미리 설정된 차선 변경 제한 시간 이내인 경우(S430), 자차량의 차선 변경이 가능한 것으로 판단할 수 있다(S440).
차선 변경 판단부(50)는 차선 변경 가능한 시간이 미리 설정된 차선 변경 제한 시간 또는 그 이후인 경우(S430), 차선 변경이 가능한 시간과 차선 변경 제한 시간 간의 차이를 보상하기 위해 필요한 자차량의 속도 증감량을 산출할 수 있다(S450).
차선 변경 판단부(50)는 차선 변경이 가능한 시간과 차선 변경 제한 시간 간의 차이를 산출할 수 있다. 차선 변경 판단부(50)는 자차량의 현재 속도를 획득하고, 차선 변경이 가능한 시간과 차선 변경 제한 시간 간의 차이를 보상하기 위해 필요한 자차량의 속도 증감량을 산출할 수 있다.
차선 변경 판단부(50)는 속도 증감량이 미리 설정된 제한 속도 이하인 경우(S460), 차선 변경이 가능한 것으로 판단할 수 있다(S440). 반대로 차선 변경 판단부(50)는 속도 증감량이 미리 설정된 제한 속도를 초과하는 경우(S460), 차선 변경이 불가능한 것으로 판단할 수 있다(S420).
차선 변경 판단부(50)는 차선 변경 가능 또는 불가능의 판단 결과를 운전자에게 알리거나 차량 제어 시스템으로 알릴 수 있다(S470).
이와 같은, 본 발명의 차선 변경 정보 제공 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 차선 변경 정보 제공 장치
10: 센서부
30: 차선 변경 시간 예측부
50: 차선 변경 판단부

Claims (11)

  1. 변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 센서부;
    상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 차선 변경 시간 예측부; 및
    상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 차선 변경 판단부를 포함하며,
    상기 차선 변경 판단부는, 상기 센서 데이터에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되는 경우, 상기 자차량의 차선 변경이 불가능한 것으로 판단하고,
    상기 센서 데이터에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되지 않는 경우, 상기 차선 변경 시간 예측부에서 예측하는 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 것으로서,
    상기 차선 변경 판단부는, 상기 차선 변경이 가능한 시간이 미리 설정된 차선 변경 제한 시간 이내인 경우, 상기 자차량의 차선 변경이 가능한 것으로 판단하고,
    상기 차선 변경이 가능한 시간이 상기 미리 설정된 차선 변경 제한 시간이거나 미리 설정된 차선 변경 제한 시간 이후인 경우, 상기 자차량의 현재속도에 따라 상기 자차량의 속도 증감량을 산출하되,
    상기 속도 증감량이 미리 설정된 제한 속도 이하이면 상기 자차량의 차선 변경이 가능한 것으로 판단하고, 상기 속도 증감량이 미리 설정된 제한 속도를 초과하면 상기 자차량의 차선 변경이 불가능한 것으로 판단하고,
    상기 차선 변경 시간 예측부는,
    상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴이 선형 패턴 또는 비선형 패턴에 해당하는지를 판단하는 경로 패턴 분석부;
    상기 인접차량의 경로 패턴이 선형 패턴인 것으로 판단되는 경우, 하기 [수학식 1]의 칼만 필터(Kalman filter)를 이용하여 상기 인접차량의 경로를 예측한 후 하기 [수학식 2]를 통해 상기 예측된 경로를 보정하여 상기 인접차량의 경로를 최종 예측하고, 상기 인접차량의 경로 패턴이 비선형 패턴인 것으로 판단되는 경우, 하기 [수학식 3]의 확장 칼만 필터(Extended Kalman filter)를 이용하여 상기 인접차량의 경로를 예측한 후 하기 [수학식 4]를 통해 상기 예측된 경로를 보정하여 상기 인접 차량의 경로를 최종 예측하는 인접차량 경로 예측부; 및
    상기 인접차량의 최종 예측 경로와 자차량의 주행 경로를 비교하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 경로 비교부를 포함하는, 차선 변경 정보 제공 장치.
    [수학식 1]
    Figure 112021006515723-pat00054

    Figure 112021006515723-pat00055

    여기서,
    Figure 112021006515723-pat00056
    는 입력되는 데이터의 인덱스를 의미하며
    Figure 112021006515723-pat00057
    는 객체의 종, 횡방향 거리 정보이고,
    Figure 112021006515723-pat00058
    는 시스템 특성 변수,
    Figure 112021006515723-pat00059
    는 보정을 위한 변수이다.
    Figure 112021006515723-pat00060
    Figure 112021006515723-pat00061
    는 시스템 잡음을 의미한다.
    [수학식 2]
    Figure 112021006515723-pat00062

    Figure 112021006515723-pat00063

    Figure 112021006515723-pat00064

    여기서
    Figure 112021006515723-pat00065
    는 칼만 이득,
    Figure 112021006515723-pat00066
    는 예측값의 보정된 결과,
    Figure 112021006515723-pat00067
    는 오차 공분산의 보정 값이다.
    Figure 112021006515723-pat00068
    Figure 112021006515723-pat00069
    은 시스템 변수이다.
    [수학식 3]
    Figure 112021006515723-pat00070

    Figure 112021006515723-pat00071

    여기서
    Figure 112021006515723-pat00072
    는 입력되는 데이터의 인덱스를 의미하며
    Figure 112021006515723-pat00073
    는 객체의 종, 횡방향 거리 정보이다.
    Figure 112021006515723-pat00074
    Figure 112021006515723-pat00075
    는 기존 선형 모델을 비선형 함수 형태로 표현한 것이고,
    Figure 112021006515723-pat00076
    Figure 112021006515723-pat00077
    는 시스템 잡음을 의미한다.
    [수학식 4]
    Figure 112021006515723-pat00078

    Figure 112021006515723-pat00079

    Figure 112021006515723-pat00080

    여기서
    Figure 112021006515723-pat00081
    는 칼만 이득,
    Figure 112021006515723-pat00082
    는 예측값의 보정된 결과,
    Figure 112021006515723-pat00083
    는 오차 공분산의 보정 값이다.
    Figure 112021006515723-pat00084
    Figure 112021006515723-pat00085
    은 시스템 변수이다. J(H)는 상기 레이더 센서의 특성에 의해 정의되는 보정 변수이다.
  2. 제1항에 있어서,
    상기 센서부는,
    상기 변경 대상 차선 및 상기 인접차량을 식별할 수 있도록 상기 자차량의 주변 영상을 획득하는 카메라;
    상기 인접차량의 상대속도 및 상기 자차량으로부터 상기 인접차량까지의 거리를 감지하는 레이더 센서; 및
    상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 상기 인접차량이 위치하는지 여부를 감지하는 초음파 센서를 포함하는 차선 변경 정보 제공 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 차량에 장착되어 변경 대상 차선이 특정되는 경우, 자차량의 상기 변경 대상 차선으로의 차선 변경 정보를 제공하는 차선 변경 정보 제공 장치에서의 차선 변경 정보 제공 방법에 있어서,
    변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 단계;
    상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 단계; 및
    상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계를 포함하며,
    상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계는,
    상기 센서 데이터에 의해 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되는 경우, 상기 자차량의 차선 변경이 불가능한 것으로 판단하는 단계; 및
    상기 센서 데이터를 생성하는 단계에서 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되지 않는 경우, 예측되는 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계를 포함하며,
    상기 센서 데이터를 생성하는 단계에서 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 위치하는 상기 인접차량이 감지되지 않는 경우, 예측되는 상기 차선 변경이 가능한 시간 및 상기 자차량의 현재속도에 따라 상기 자차량의 차선 변경 가능 여부를 판단하는 단계는,
    상기 차선 변경이 가능한 시간이 미리 설정된 차선 변경 제한 시간 이내인 경우, 상기 자차량의 차선 변경이 가능한 것으로 판단하고,
    상기 차선 변경이 가능한 시간이 미리 설정된 차선 변경 제한 시간이거나 미리 설정된 차선 변경 제한 시간 이후인 경우, 상기 자차량의 현재속도에 따라 상기 자차량의 속도 증감량을 산출하되,
    상기 속도 증감량이 미리 설정된 제한 속도 이하이면 상기 자차량의 차선 변경이 가능한 것으로 판단하고, 상기 속도 증감량이 미리 설정된 제한 속도를 초과하면 상기 자차량의 차선 변경이 불가능한 것으로 판단하고,
    상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴을 분석하고, 상기 인접차량의 경로패턴 및 상기 인접차량의 센서 데이터를 반영하여 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 단계는,
    상기 인접차량의 센서 데이터를 누적하여 상기 인접차량의 경로 패턴이 선형 패턴 또는 비선형 패턴에 해당하는지를 판단하는 단계;
    상기 인접차량의 경로 패턴이 선형 패턴인 것으로 판단되는 경우, 하기 [수학식 5]의 칼만 필터(Kalman filter)를 이용하여 상기 인접차량의 경로를 예측한 후 하기 [수학식 6]을 통해 상기 예측된 경로를 보정하여 상기 인접차량의 경로를 최종 예측하는 단계;
    상기 인접차량의 경로 패턴이 비선형 패턴인 것으로 판단되는 경우, 하기 [수학식 7]의 확장 칼만 필터(Extended Kalman filter)를 이용하여 상기 인접차량의 경로를 예측한 후 하기 [수학식 8]을 통해 상기 예측된 경로를 보정하여 상기 인접 차량의 경로를 최종 예측하는 단계; 및
    상기 인접차량의 최종 예측 경로와 자차량의 주행 경로를 비교하여 상기 자차량이 상기 자차량이 상기 변경 대상 차선으로의 차선 변경이 가능한 시간을 예측하는 단계를 포함하는, 차선 변경 정보 제공 방법.
    [수학식 5]
    Figure 112021006515723-pat00086

    Figure 112021006515723-pat00087

    여기서,
    Figure 112021006515723-pat00088
    는 입력되는 데이터의 인덱스를 의미하며
    Figure 112021006515723-pat00089
    는 객체의 종, 횡방향 거리 정보이고,
    Figure 112021006515723-pat00090
    는 시스템 특성 변수,
    Figure 112021006515723-pat00091
    는 보정을 위한 변수이다.
    Figure 112021006515723-pat00092
    Figure 112021006515723-pat00093
    는 시스템 잡음을 의미한다.
    [수학식 6]
    Figure 112021006515723-pat00094

    Figure 112021006515723-pat00095

    Figure 112021006515723-pat00096

    여기서
    Figure 112021006515723-pat00097
    는 칼만 이득,
    Figure 112021006515723-pat00098
    는 예측값의 보정된 결과,
    Figure 112021006515723-pat00099
    는 오차 공분산의 보정 값이다.
    Figure 112021006515723-pat00100
    Figure 112021006515723-pat00101
    은 시스템 변수이다.
    [수학식 7]
    Figure 112021006515723-pat00102

    Figure 112021006515723-pat00103

    여기서
    Figure 112021006515723-pat00104
    는 입력되는 데이터의 인덱스를 의미하며
    Figure 112021006515723-pat00105
    는 객체의 종, 횡방향 거리 정보이다.
    Figure 112021006515723-pat00106
    Figure 112021006515723-pat00107
    는 기존 선형 모델을 비선형 함수 형태로 표현한 것이고,
    Figure 112021006515723-pat00108
    Figure 112021006515723-pat00109
    는 시스템 잡음을 의미한다.
    [수학식 8]
    Figure 112021006515723-pat00110

    Figure 112021006515723-pat00111

    Figure 112021006515723-pat00112

    여기서
    Figure 112021006515723-pat00113
    는 칼만 이득,
    Figure 112021006515723-pat00114
    는 예측값의 보정된 결과,
    Figure 112021006515723-pat00115
    는 오차 공분산의 보정 값이다.
    Figure 112021006515723-pat00116
    Figure 112021006515723-pat00117
    은 시스템 변수이다. J(H)는 상기 레이더 센서의 특성에 의해 정의되는 보정 변수이다.
  7. 제6항에 있어서,
    변경 대상 차선을 주행하는 차량인 인접차량을 식별하고, 상기 인접차량의 상대속도 및 자차량으로부터 상기 인접차량까지의 거리를 감지하여 센서 데이터를 생성하는 단계는,
    카메라를 이용하여 상기 변경 대상 차선 및 상기 인접차량을 식별할 수 있도록 상기 자차량의 주변 영상을 획득하는 단계;
    레이더 센서를 이용하여 상기 인접차량의 상대속도 및 상기 자차량으로부터 상기 인접차량까지의 거리를 감지하는 단계; 및
    초음파 센서를 이용하여 상기 자차량의 적어도 일측으로부터 미리 정해진 거리 이내에 상기 인접차량이 위치하는지 여부를 감지하는 단계를 포함하는 차선 변경 정보 제공 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제6항 및 제7항 중 어느 하나의 항에 따른 차선 변경 정보 제공 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020190078602A 2019-07-01 2019-07-01 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체 KR102257893B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190078602A KR102257893B1 (ko) 2019-07-01 2019-07-01 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078602A KR102257893B1 (ko) 2019-07-01 2019-07-01 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체

Publications (2)

Publication Number Publication Date
KR20210003329A KR20210003329A (ko) 2021-01-12
KR102257893B1 true KR102257893B1 (ko) 2021-05-31

Family

ID=74129594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078602A KR102257893B1 (ko) 2019-07-01 2019-07-01 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체

Country Status (1)

Country Link
KR (1) KR102257893B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080393A1 (ko) * 2021-11-04 2023-05-11 한국과학기술원 자율주행 자동차의 차선 변경 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123606A (ja) * 2010-12-08 2012-06-28 Nissan Motor Co Ltd 車線変更制御装置および車線変更ストレス評価方法
KR101345209B1 (ko) * 2009-03-02 2013-12-27 주식회사 만도 적응 순항 제어시스템 및 그 차선 변경방법
WO2017141788A1 (ja) * 2016-02-18 2017-08-24 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
JP2018112461A (ja) * 2017-01-11 2018-07-19 いすゞ自動車株式会社 確率算出装置及び確率算出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345209B1 (ko) * 2009-03-02 2013-12-27 주식회사 만도 적응 순항 제어시스템 및 그 차선 변경방법
JP2012123606A (ja) * 2010-12-08 2012-06-28 Nissan Motor Co Ltd 車線変更制御装置および車線変更ストレス評価方法
WO2017141788A1 (ja) * 2016-02-18 2017-08-24 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
JP2018112461A (ja) * 2017-01-11 2018-07-19 いすゞ自動車株式会社 確率算出装置及び確率算出方法

Also Published As

Publication number Publication date
KR20210003329A (ko) 2021-01-12

Similar Documents

Publication Publication Date Title
KR101866014B1 (ko) 차량의 측면충돌 회피 시스템 및 그 방법
US9595197B2 (en) Lateral control apparatus of vehicle and control method of the same
US9457809B2 (en) Collision possibility determination apparatus, drive assist apparatus, collision possibility determination method, and collision possibility determination program
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
US9400897B2 (en) Method for classifying parking scenarios for a system for parking a motor vehicle
KR101428674B1 (ko) 선행 차량 식별 장치 및 추종 거리 제어 장치
KR100854766B1 (ko) 거리 센서를 이용한 주차 공간 검출 방법
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
EP3319065A1 (en) Route prediction device
CN107209998B (zh) 车道线识别装置以及车道线识别方法
KR101436624B1 (ko) 차선 유지 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN107004367B (zh) 车辆的行驶控制装置以及行驶控制方法
JP2004531424A (ja) 車用の感知装置
KR20130036431A (ko) 주차 제어 방법, 장치 및 시스템
CN104773177A (zh) 辅助驾驶方法和装置
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
JP2022502642A (ja) 移動手段周辺の物体が移動手段の運転操作に及ぼす影響を評価する方法
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
CN113504782B (zh) 障碍物防撞方法、装置、系统和移动工具
KR102257893B1 (ko) 차선 변경 정보 제공 장치, 이의 차선 변경 정보 제공 방법 및 이를 수행하기 위한 기록매체
KR20170070580A (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 차선 변경 제어 방법
JP4683910B2 (ja) 衝突防止支援装置
JP2010072947A (ja) 障害物検出装置
KR20220137216A (ko) 차량 후방 경고 시스템 및 그 제어 방법
CN113424242B (zh) 信息处理装置、计算机可读取的记录介质及信息处理方法

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant