KR102460085B1 - 환경센서 융합 기반 종방향 응답성 개선 시스템 - Google Patents

환경센서 융합 기반 종방향 응답성 개선 시스템 Download PDF

Info

Publication number
KR102460085B1
KR102460085B1 KR1020200146627A KR20200146627A KR102460085B1 KR 102460085 B1 KR102460085 B1 KR 102460085B1 KR 1020200146627 A KR1020200146627 A KR 1020200146627A KR 20200146627 A KR20200146627 A KR 20200146627A KR 102460085 B1 KR102460085 B1 KR 102460085B1
Authority
KR
South Korea
Prior art keywords
lane
contour
vehicle
information
point
Prior art date
Application number
KR1020200146627A
Other languages
English (en)
Other versions
KR20220061298A (ko
Inventor
박만복
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020200146627A priority Critical patent/KR102460085B1/ko
Publication of KR20220061298A publication Critical patent/KR20220061298A/ko
Application granted granted Critical
Publication of KR102460085B1 publication Critical patent/KR102460085B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 환경센서 융합 기반 종방향 응답성 개선 시스템에 대한 것으로, 본 발명에 따르면 카메라를 통해 촬영된 영상을 통해 차선 정보를 생성하고, 라이다의 스캔데이터를 통해 특징점을 추출하여 전방 객체의 자세 변경을 확인하며, 차로 이탈량 또는 침범량을 통해 가속 또는 감속 시점을 결정한 후, 즉시 가속 응답 정보 또는 감속 응답 정보를 생성할 수 있다. 이에 따라 전방 차량이 자기 차로에서 이탈할 경우 가속 시점을 앞당겨 실제 운전자가 운전하는 것과 같은 느낌을 줄 수 있고, 옆 차로를 달리던 전방 차량이 자기 차로로 진입하는 경우에는 감속 시점을 앞당겨 추돌 사고를 예방할 수 있다.

Description

환경센서 융합 기반 종방향 응답성 개선 시스템{System for improving longitudinal response}
본 발명은 환경센서 융합 기반 종방향 응답성 개선 시스템에 관한 것으로, 더욱 구체적으로는 카메라와 라이다를 통해 인식한 차선 정보와 객체 정보를 이용하여 전방 차량의 차선 변경 여부를 예측한 후 가속 또는 감속 시점을 결정함으로써 보다 원활한 주행 제어가 이루어질 수 있도록 하는 기술에 대한 것이다.
스마트 자동차나 자율주행 자동차 분야에서 차선 인식과 객체 인식은 가장 기초적이면서도 안전을 위해 반드시 필요한 기술적 요소이다.
차선 및 객체를 탐지하기 위해서는 카메라나 라이다 등의 환경센서를 이용한다. 하지만 카메라에서 촬영된 영상을 분석하는 경우 전방에 차량이 존재한다는 정도만 알 수 있을 뿐, 상대 거리를 정확하게 알 수 없다는 문제가 있다. 반면 라이다를 이용한다면 주변 객체의 상대거리나 좌표를 비교적 정확하게 파악 할 수는 있으나, 해당 객체의 돌발적인 움직임을 예측하는 데에는 한계가 있다.
물론 라이다를 통해 인식된 객체와의 거리나 방향을 통해 주행 제어를 하는 것도 가능하지만, 기존에는 객체에서 추출된 대표점 하나만을 추적하여 주행 제어가 이루어지는 것이어서, 사람의 운전 패턴과는 확연한 차이를 보이고 있다. 즉 전방 차량이 옆 차로로 이동한다면, 실제 운전자의 경우 옆 차로로 이동하려는 모습이 보이는 순간부터 가속을 준비하지만, 라이다의 스캔데이터에서 대표적인 한 점만을 추적하는 경우에는 대표점이 차로를 완전히 벗어난 것을 확인한 이후에야 가속 여부를 결정하기 때문에, 답답한 주행 제어라 여겨질 수 있다.
한편, 객체 분석을 통해 자율주행 차량의 가감속을 제어하는 종래기술로는 대한민국공개특허 제10-2004-0091788호(2004.11.02. '고속도로 자율주행 시스템 및 그의 제어방법') 등이 있다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 카메라와 라이다를 이용하여 전방 차량의 특징점을 추출한 후 자세 변화를 탐지하여 가속이나 감속 시점을 앞당길 수 있도록 함으로써, 실제 사람이 운전하는 것과 같은 응답성을 보이도록 하는 기술을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 종방향 응답성 개선 시스템은, 카메라를 통해 촬영된 영상을 분석하여 자기 차로의 좌측 차선 및 우측 차선에 대한 차선 정보를 생성하는 차선정보생성부; 라이다를 통해 획득한 스캔데이터에서 객체를 인식하는 객체인식부; 상기 객체인식부에서 인식된 객체에서 특징점을 추출하는 특징점추출부; 상기 특징점추출부에서 추출된 특징점을 통해 해당 객체의 윤곽 정보를 생성하는 윤곽정보생성부; 및 상기 차선정보생성부에서 생성된 차선 정보, 상기 특징점추출부에서 추출된 특징점, 상기 윤곽정보생성부에서 생성된 윤곽 정보를 통해 전방 차량의 차로 변경 여부를 판단한 후 가속 응답 정보 또는 감속 응답 정보를 생성하여 출력하는 응답정보생성부;를 포함한다.
여기서, 상기 특징점추출부는 인식된 객체의 스캔데이터 중 시작점과 종료점을 특징점으로 추출하고, 상기 윤곽정보생성부는 상기 시작점과 종료점을 잇는 가상의 기준선에서 가장 거리가 먼 스캔데이터를 중간점으로 추출한 후, 시작점과 중간점을 이어주는 제1윤곽선, 중간점과 종료점을 이어주는 제2윤곽선을 윤곽선 정보로 생성할 수 있다.
또한, 상기 응답정보생성부는 상기 윤곽정보생성부에서 생성된 제1윤곽선과 제2윤곽선 중 짧은 윤곽선을 전방 차량의 후면이라 분류하고, 나머지 윤곽선이 후면으로 분류된 윤곽선에 대응하여 어느 위치에 존재하는지에 따라 전방 차량의 좌측면과 우측면으로 분류함으로써 차량의 자세를 판단할 수 있다.
또, 상기 응답정보생성부는 자기 차로에서 주행 중이던 전방 차량의 좌측면 또는 우측면으로 분류된 윤곽선과, 상기 차선정보생성부에서 생성된 차선 정보 중 상기 전방 차량의 좌측면 또는 우측면과 가까운 쪽의 차선(이하 '침범 차선'이라 함)이 이루는 사잇각을 산출하며, 산출된 사잇각이 기 설정된 각도를 초과하면 차로 변경이라 판단하고, 상기 전방 차량의 특징점 중 상기 침범 차선과 가장 멀리 위치하는 특징점이 상기 침범 차선과 일정 거리 이내로 가까워 진 것이 확인되면 가속 응답 정보를 생성할 수 있다.
또, 상기 응답정보생성부는 옆 차로에서 주행 중이던 전방 차량의 좌측면 또는 우측면으로 분류된 윤곽선과, 상기 차선정보생성부에서 생성된 차선 정보 중 상기 전방 차량의 좌측면 또는 우측면과 가까운 쪽의 차선(이하 '침범 차선'이라 함)이 이루는 사잇각을 산출하며, 산출된 사잇각이 기 설정된 각도를 초과하면 차로 변경이라 판단하고, 상기 전방 차량의 특징점 중 상기 침범 차선과 가장 가까운 위치의 특징점이 상기 침범 차선을 침범한 후 일정 거리 이상 멀어진 것이 확인되면 감속 응답 정보를 생성할 수 있다.
본 발명에 따른 종방향 응답성 개선 시스템은 카메라를 통해 촬영된 영상을 통해 차선 정보를 생성하고, 라이다의 스캔데이터를 통해 특징점을 추출하여 전방 객체의 자세 변경을 확인하며, 차로 이탈량 또는 침범량을 통해 가속 또는 감속 시점을 결정한 후, 즉시 가속 응답 정보 또는 감속 응답 정보를 생성할 수 있다.
이러한 응답 정보는 주행 제어를 담당하는 외부 장치에 전달되어 가속 또는 감속이 즉시 이루어지도록 하게 되며, 이를 통해 전방 차량이 자기 차로에서 이탈할 경우 가속 시점을 앞당겨 실제 운전자가 운전하는 것과 같은 느낌을 줄 수 있고, 옆 차로를 달리던 전방 차량이 자기 차로로 진입하는 경우에는 감속 시점을 앞당겨 추돌 사고를 예방할 수 있게 된다.
도1은 본 발명의 실시예에 따른 종방향 응답성 개선 시스템을 설명하기 위한 블록도.
도2는 도1에 도시된 종방향 응답성 개선 시스템을 통해 응답 정보를 생성하는 과정을 설명하기 위한 흐름도.
도3은 도1에 도시된 종방향 응답성 개선 시스템에서 카메라에서 촬영된 영상을 통해 생성되는 차선 정보를 설명하기 위한 개념도.
도4는 라이다의 스캔 데이터를 통해 객체의 특징점을 추출하는 하나의 예시를 설명하기 위한 개념도.
도5는 라이다의 스캔 데이터를 통해 객체의 특징점을 추출하는 다른 예시를 설명하기 위한 개념도.
도6은 전방 차량이 주행 차로에서 이탈하는 것을 예측한 후 가속 시점을 앞당기는 원리를 설명하기 위한 개념도.
도7은 전방 차량이 주행 차로로 진입하는 것을 예측한 후 감속 시점을 앞당기는 원리를 설명하기 위한 개념도.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.
도1은 본 발명의 실시예에 따른 종방향 응답성 개선 시스템을 설명하기 위한 블록도이다. 도1에 도시된 바와 같이 본 발명의 실시예에 따른 종방향 응답성 개선 시스템(100)은 차선정보생성부(110), 객체인식부(120), 특징점추출부(130), 윤곽정보생성부(140) 및 응답정보생성부(150)를 포함한다.
이러한 종방향 응답성 개선 시스템(100)은 카메라(10)의 촬영 영상을 통해 차선 정보를 생성하여 주행 경로를 예측하거나, 라이다(20)의 스캔 데이터를 통해 주변 객체를 인식하는 등 자율주행을 위해 필요한 다양한 기능을 수행할 수 있다. 그러나 도1에서는 전방 객체의 움직임에 따라 가감속 시점을 결정하는 응답 정보를 생성하여 주행을 제어하는 외부 장치로 제공하는 기능 구성들만을 도시한 것이다
또한 종방향 응답성 개선 시스템(100), 카메라(10) 및 라이다(20)는 차량(200)에 탑재되어 있으며, 각각의 구성이 하나의 하드웨어 구성으로 통합되어 있을 수도 있고, 개별 하드웨어로 구성되어 서로 연동될 수도 있다. 또 종방향 응답성 개선 시스템(100)의 각 구성들은 소프트웨어적으로 설계되어 기능 구현이 이루어질 수도 있다. 더불어 이하에서는 카메라(10) 및 라이다(20)가 종방향 응답성 개선 시스템(100)과 별도의 구성이라고 도시하고 설명하겠지만, 실시하기에 따라 종방향 응답성 개선 시스템(100)이 카메라(10)와 라이다(20)를 포함할 수도 있다.
차선정보생성부(110)는 카메라(10)에서 획득한 영상 정보를 분석하여 차선 정보(차선 방정식)를 생성하기 위해 마련된다. 차선정보생성부(110)에서 생성된 차선 정보는 주행 제어를 위한 외부 장치로 보내어져 차선 중앙을 따라 안정적인 주행이 이루어지도록 하는 기초 정보로 활용된다.
여기서 카메라(10)는 차량(200) 주변을 촬영하여 영상 정보를 획득하는 구성이며, 예컨대 카메라(10)는 차량(200)의 전방, 후방, 측방 영상을 촬영하는 복수개의 카메라(10)를 포함할 수 있으나, 본 발명에서는 전방 영상을 촬영하는 카메라(10)에 대해서만 설명토록 한다.
객체인식부(120)는 라이다(20)의 스캔데이터(BP)에서 각각의 객체들을 인식하고 분리하기 위해 마련된다.
특징점추출부(130)는 객체인식부(120)에서 객체를 인식하면, 해당 객체를 이루고 있는 수 많은 점군 데이터에서 특징점을 추출하기 위해 마련된다. 예컨대 특징점추출부(130)는 라이다(20)의 스캔 방향에 따라 해당 객체의 점군 데이터에서 시작점(SP)과 종료점(FP)을 특징점으로 추출해 낼 수 있다.
윤곽정보생성부(140)는 특징점추출부(130)에서 추출된 특징점을 이용하여 소정의 알고리즘을 통해 객체의 윤곽 정보를 생성하기 위해 마련된다.
응답정보생성부(150)는 차선정보생성부(110)에서 생성된 차선 정보와, 윤곽정보생성부(140)에서 생성된 윤곽 정보를 통해 전방 차량의 자세를 판단한 후 가속이 필요한 시점일 경우 가속 응답 정보를 생성하고, 감속이 필요한 시점일 경우 감속 응답 정보를 생성하기 위해 마련된다. 응답정보생성부(150)에서 생성된 응답 정보는 차량 제어를 위한 외부 장치로 보내어져 가속 또는 감속 제어를 위해 활용된다.
이상에서 설명한 종방향 응답성 개선 시스템(100)에 대해서는 도2 내지 도7을 통해 설명하게 되는 응답 정보 생성 방법의 설명을 통해 더욱 구체화될 것이다.
도2는 도1에 도시된 종방향 응답성 개선 시스템을 통해 응답 정보를 생성하는 과정을 설명하기 위한 흐름도이다.
먼저 카메라(10)는 차량(200) 전방을 촬영하여 꾸준하게 영상 정보를 획득<S205>한다. 이후 차선정보생성부(110)는 카메라(10)의 촬영 영상을 분석하여 차선 정보를 생성<S210>한다. 즉, 도3에 도시된 바와 같이 차량(200)이 진행해야 할 전방의 차로 형태를 식으로 표현한 차선 정보를 획득하는 것이다. 이러한 차선 정보는 자기 차량(200)을 원점으로 하는 상대 좌표계 상에 표시되는 3차 방정식으로 표현된다. 또한 차선정보생성부(110)에서 생성된 차선 정보는 차량을 제어하는 외부 장치로 보내어지며, 주행 제어 수단이 차선 정보를 기초로 하여 차량(200)이 차선 중앙을 따라 안정적인 주행이 이루어지도록 한다.
한편 카메라(10)의 영상 촬영<S205>과 별개로 객체 탐지를 위해 라이다(20)에서는 차량(200) 주변을 스캔<S215>하여 스캔데이터(BP)를 획득한다. 라이다(Lidar)(20)는 전파 대신 직진성이 강한 고출력 펄스 레이저를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 대상 물체까지의 거리, 방향을 정밀하게 측정할 수 있는 장치를 말한다.
라이다(20)는 렌즈 등 광학부와 레이저 발광/수광부, 레이저 구동부, 레이저 신호를 처리하는 프로세서 등을 포함할 수 있다. 라이다(20)를 이용하면 점의 집합인 점구름(점군, Point cloud) 형태의 고정밀 데이터(점군데이터, Point Cloud Data, PCD)를 확보할 수가 있다.
이렇게 라이다(20)의 스캔 작업을 통해 스캔데이터(BP)를 확보하면, 객체인식부(120)는 스캔데이터(BP)에서 객체를 인식<S220>하고 객체별 스캔데이터(BP)를 분리한다. 라이다(20)의 스캔데이터(BP)에서 객체를 인식하고 객체별 스캔데이터(BP)를 분리하는 기술은 공지된 기술이기 때문에 자세한 설명은 생략토록 한다.
객체인식부(120)에서 객체를 인식하고 해당 객체에 대한 스캔데이터(BP)를 분리한 이후 특징점추출부(130)는 객체 탐지를 위해 객체의 특징점을 추출<S225>한다. 본 실시예에서는 특징점추출부(130)가 객체의 스캔데이터(BP)에서 시작점(SP)과 종료점(FP)을 특징점으로 추출한다. 즉 라이다(20)는 차량(200) 주변을 360도 회전하면서 스캔데이터(BP)를 취득하게 되는데, 차량(200)을 위에서 바라보았을 시 라이다(20)가 시계 방향으로 회전하며 스캔데이터(BP)를 취득한다면 전방에 위치한 객체의 경우 좌측 끝의 스캔데이터(BP)가 시작점(SP)이 되고 우측 끝의 스캔데이터(BP)가 종료점(FP)이 될 것이다.
이렇게 특징점추출부(130)에서 인식된 객체의 스캔데이터(BP)에서 특징점인 시작점(SP)과 종료점(FP)을 추출하면, 윤곽정보생성부(140)에서 추출된 특징점을 이용하여 객체의 윤곽 정보를 생성한다.
먼저 윤곽정보생성부(140)는 특징점추출부(130)에서 추출된 시작점(SP)과 종료점(FP)을 이어주는 가상의 기준선(BL)을 생성<S230>한다. 라이다(20)의 각 스캔데이터(BP)는 자기 차량(200)을 원점으로 하는 3차원의 상대좌표로 나타낼 수 있으며, 이러한 상대좌표계 상의 두 개 점인 시작점(SP)과 종료점(FP)을 이어주는 가상의 기준선(BL) 역시 상대좌표계 상에서 직선의 방정식으로 생성될 수 있다.
이후 윤곽정보생성부(140)는 가상의 기준선(BL)과 해당 객체의 스캔데이터(BP)들을 통해 중간점(CP)을 추출<S235>한다. 중간점(CP)이란 시작점(SP)과 종료점(FP) 사이에 위치하는 스캔데이터(BP) 중 가상의 기준선(BL)과 가장 멀리 떨어져 있는 점을 말한다. 이러한 중간점(CP)은 시작점(SP) 및 종료점(FP)과 함께 객체의 개략적인 윤곽을 알아내기 위한 기준점으로 활용되며, 스캔데이터(BP)들은 좌표 정보를 가지고 있기 때문에, 이들 스캔데이터(BP)에 포함된 점들과 가상의 기준선(BL) 사이의 직선 거리를 소정의 산술식을 통해 산출함으로써 가장 거리가 먼 점을 찾아낼 수 있고, 이렇게 찾아낸 가장 멀리 떨어진 점을 중간점(CP)으로 삼는 것이다.
다만 윤곽정보생성부(140)는 가상의 기준선(BL)에서 가장 멀리 떨어져 있는 중간점(CP)을 추출하되, 기준선(BL)과 중간점(CP) 사이의 거리가 미리 설정한 임계치 이상일 경우에는 중간점(CP)으로 추출하고, 임계치 미만일 경우에는 따로 중간점(CP)을 추출하지 아니한다.
임계치 미만일 경우 중간점(CP)을 추출하지 않는 것은 중간점(CP)을 추출하는 이유에서 연장된다. 즉 시작점(SP)과 종료점(FP) 사이에 위치한 스캔데이터(BP)에서 중간점(CP)을 추출하는 이유는 객체의 입체적인 형상을 파악하기 위함인데, 중간점(CP)이 기준선(BL)으로부터 임계치 미만으로 가까운 상태라면 해당 객체의 입체적인 형태에 크게 의미를 두지 않아도 된다는 의미이다. 따라서 기준선(BL)과 중간점(CP) 사이의 거리가 임계치 미만일 경우 따로 중간점(CP)을 추출하지 않는 것이다.
이렇게 라이다(20)의 스캔데이터(BP)에서 시작점(SP)과 종료점(FP)이라는 특징점을 추출하고, 시작점(SP)과 종료점(FP)을 잇는 가상의 기준선(BL)으로부터 가장 멀리 떨어진 위치의 중간점(CP)을 추출하고 나면, 윤곽정보생성부(140)는 시작점(SP), 중간점(CP) 및 종료점(FP)을 이용하여 윤곽 정보를 생성<S240>한다.
본 실시예에서 윤곽정보생성부(140)가 생성하는 윤곽 정보는 직선 형태의 윤곽선 정보가 된다. 여기서 윤곽선 정보는 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과, 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)으로 구분되는데, 만약 중간점(CP)이 기준선(BL)으로부터 임계치 미만으로 가깝기 때문에 따로 추출되지 아니하였을 경우 윤곽정보생성부(140)는 시작점(SP)과 종료점(FP)을 이어주는 제1윤곽선(C1)만 생성한다.
윤곽선(C1,C2)은 객체의 크기와 형태를 알려주는 정보가 되며, 만약 중간점(CP)이 추출되어 제1윤곽선(C1)과 제2윤곽선(C2)이 생성된다면 해당 객체의 대략적인 넓이까지 알 수 있게 된다.
윤곽정보생성부(140)에서 윤곽 정보를 생성하면, 응답정보생성부(150)에서는 차선정보 생성부(110)에서 생성된 차선 정보와, 특징점추출부(130)에서 추출된 특징점과, 윤곽정보생성부(140)에서 생성된 윤곽 정보를 이용하여 자기 차량(200)의 가감속을 위한 응답 정보를 생성<S245>한다. 가감속을 위한 응답 정보에 대해서는 이하에서 자세히 설명토록 한다.
한편, 응답정보생성부(150)는 해당 객체에 대한 대표점(RP)을 정해준다. 대표점(RP)이란 해당 객체의 위치 등을 대표하기 위한 점을 말하며, 이러한 대표점(RP)은 상대 차량의 위치에 따른 자기 차량(200)의 제어나 신호처리 등을 위해 활용된다. 또한 본 실시예에서 대표점(RP)은 차량(200)으로 판단된 객체의 후면 중간 지점에 위치한 스캔데이터(BP)를 사용하였다.
응답정보생성부(150)에서 가감속 제어를 위한 응답 정보를 생성하는 구체적인 예시를 도4 내지 도7을 통해 설명하면 다음과 같다.
먼저 도4와 도5는 전방 차량(300)의 서로 다른 상태를 판단하는 과정을 설명하기 위한 개념도이다.
도4의 (a)를 참조하면 라이다(20)의 스캔을 통해 객체인식부(120)에서 전방 차량(300)이 인식되고, 전방 차량(300)에 대한 스캔데이터(BP)가 도3의 (b)와 같이 추출된다. 이후 특징점추출부(130)에서는 전방 차량(300)의 스캔데이터(BP)에서 좌측 끝의 시작점(SP)과 우측 끝의 종료점(FP)을 특징점으로 추출한다.
이후 윤곽정보생성부(140)는 시작점(SP)과 종료점(FP)을 이어주는 가상의 기준선(BL)을 생성하고, 기준선(BL)으로부터 가장 멀리 떨어져 있는 중간점을 추출한다. 단, 도4에 도시된 예시에서는 스캔데이터(BP)가 모두 기준선(BL)으로부터 임계치 미만으로 가깝기 때문에 중간점이 따로 추출되지 않았다.
중간점이 추출되지 않았기 때문에 윤곽정보생성부(140)는 시작점(SP)과 종료점(FP)을 이어주는 제1윤곽선(C1)만 생성하였고, 생성된 윤곽 정보를 통해 응답정보생성부(150)는 인식된 객체가 차량이고, 제1윤곽선(C1)은 차량의 후면이라고 분류한다. 또한 제1윤곽선(C1)의 중간 지점에 위치한 스캔데이터(BP)를 대표점(RP)으로 추출한다.
도4에서 응답정보생성부(150)가 인식된 객체를 차량이라고 분류한 이유는 제1윤곽선(C1)의 길이가 일정 기준 이상이기 때문이고, 제1윤곽선(C1)이 차량의 후면이라고 분류할 수 있는 이유는 중간점이 추출되지 않아 제2윤곽선(C2)에 대한 정보가 생성되지 않았기 때문이다.
반면 도5에 도시된 바와 같이 전방 차량이 주행 방향을 우측으로 틀었다면 종방향 응답성 개선 시스템(100)에서도 다른 결과가 도출된다.
즉 도5의 (a)에 도시된 바와 같이 객체인식부(120)에서 라이다(20)의 스캔데이터(BP)로부터 객체를 인식하고 특징점추출부(130)에서 시작점(SP), 종료점(FP)을 추출하였으며, 윤곽정보생성부(140)에서 시작점(SP)과 종료점(FP)을 이어주는 기준선(BL)을 생성한 후, 나머지 스캔데이터(BP) 중 기준선(BL)으로부터 가장 멀리 떨어져 있고, 그 거리가 임계치 이상으로 판단된 중간점(CP)까지 추출하였다면, 이 경우 도5의 (b)에 도시된 바와 같이 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과, 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)이 생성된다.
이에 따라 응답정보생성부(150)는 생성된 윤곽 정보를 통해 인식된 객체가 차량이고, 제1윤곽선(C1)은 차량의 후면이며, 그 우측에 위치한 제2윤곽선(C2)을 차량의 우측면이라고 분류한다. 또한 제1윤곽선(C1)의 중간 지점에 위치한 스캔데이터(BP)를 대표점(RP)으로 추출한다.
도5에서는 가장 짧은 윤곽선인 제1윤곽선(C1)이 일정 기준 이상이기 때문에 응답정보생성부(150)가 인식된 객체를 차량이라고 분류한 것이고, 제1윤곽선(C1)이 제2윤곽선(C2)보다 짧기 때문에 제1윤곽선(C1)을 후면으로 분류한 것이며, 그 우측에 위치한 제2윤곽선(C2)을 우측면으로 분류한 것이다. 따라서 후면으로 분류된 제1윤곽선(C1)의 중간지점에 위치한 스캔데이터(BP)를 대표점(RP)으로 삼은 것이다.
한편 도5의 예시와 달리 전방 차량이 좌측으로 방향을 틀었다면, 전방 차량의 좌측 전방이 시작점(SP)으로 추출되고, 좌측 후방이 중간점(CP)으로 추출되며, 우측 후방이 종료점(FP)으로 추출될 것이다. 따라서 이 경우에는 좌측 전방의 시작점(SP)과 좌측 후방의 중간점(CP)을 이어주는 제1윤곽선(C1)과, 좌측 후방의 중간점(CP)과 우측 후방의 종료점(FP)을 이어주는 제2윤곽선(C2)이 생성되고, 제2윤곽선(C2)이 더 짧기 때문에 제2윤곽선(C2)을 차량의 후면이라 분류하고, 제1윤곽선(C2)의 좌측에 위치한 제1윤곽선(C1)을 차량의 좌측면이라 분류하며, 제2윤곽선(C2)의 중간에 위치한 스캔데이터를 대표점으로 지정하게 된다.
한편 이상의 알고리즘을 이용할 경우 응답정보생성부(150)는 인식된 객체를 차량과 보행자로 구분해줄 수도 있다.
즉 응답정보생성부(150)는 제1윤곽선(C1)과 제2윤곽선(C2) 중 짧은 윤곽선의 길이가 일정 기준 이상인지 여부에 따라 차량(200)이라고 분류한다고 설명한 바 있다. 따라서 스캔데이터(BP)를 분석한 결과 중간점이 추출되지 않아 제1윤곽선(C1)만 생성되었고, 제1윤곽선(C1)의 길이가 일정 기준 미만인 경우라면 보행자라고 분류할 수 있다.
이렇게 응답정보생성부(150)에서 각각의 객체(20,30)에 대한 분류가 이루어지고 나면, 그 결과 정보가 외부 장치로 보내어져 객체에 따른 차량 제어나 객체의 정밀 추적을 위해 활용될 수 있다. 더불어 응답정보생성부(150)는 이렇게 분류된 결과에 따라 전방 차량의 차선 변경을 예측한 후 가속 또는 감속을 위한 응답 정보를 생성할 수 있다.
도6은 자기 차량과 전방 차량이 같은 차로에서 나란하게 주행하고 있는 상태에서 전방 차량이 우측 차로로 이동하기 위해 방향을 전환하였을 시 가속 응답 정보를 생성하는 과정을 설명하기 위한 개념도이다.
일반적으로 사람이 운전을 하는 경우 자기 차량(200)과 전방 차량(300)이 같은 차로에서 주행 중이라면, 전방 차량(300)과 적절한 안전 거리를 유지한 채로 정속 주행을 하게 된다. 그러나 전방 차량(300)이 자기 차로를 이탈하여 옆 차로로 이동한다면, 가속 페달을 밟아 속도를 높이는 것이 일반적이다. 특히 운전자는 전방 차량(300)이 차로 변경을 위해 주행 방향을 변환하는 것을 확인한 시점부터 가속 페달을 밟기 시작한다.
그러나 자율 주행 차량에서는 전방 차량의 대표점이 여전히 자기 차로 내에 위치하고 있는 것이 확인되면 가속 제어를 하지 않는다. 따라서 자율 주행 차량의 가속 제어는 사람에 의한 운전 패턴과 다를 수 밖에 없다.
이를 위해 본 발명의 실시예에 따른 종방향 응답성 개선 시스템(100)에서는 응답정보생성부(150)에서 전방 차량(300)의 자세 변화를 판단한 후, 자기 차로에 있던 전방 차량(300)이 옆 차로로 이동하려는 것이 예측 되면, 가속 응답 정보를 생성하여 출력함으로써 가속 제어가 더 빨리 이루어지도록 할 수 있다.
즉, 도6을 참조하면 차선정보생성부(110)에서는 카메라(10)의 촬영 영상을 통해 좌측 차선(LL)과 우측 차선(RL)에 대한 차선 정보(차선 방정식)를 생성하고, 객체인식부(120)에서는 라이다(20)의 스캔데이터(BP)를 통해 객체, 즉 전방 차량(300)을 인식한다. 이후 특징점추출부(130)에서 전방 차량(300)의 좌측 후방을 시작점(SP)으로, 우측 전방을 종료점(FP)으로 추출한다. 그리고 윤곽정보생성부(140)는 우측 후방을 중간점(CP)으로 추출하고, 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)을 생성한다.
이를 통해 응답정보생성부(150)는 제2윤곽선(C2)이 전방 차량(300)의 우측면이라고 분류할 수 있다. 물론 제2윤곽선(C2)이 생성되었다는 것은 전방 차량(300)가 주행 방향을 전환하였다는 것을 의미하는 것이기는 하나, 그 움직임이 차로 변경을 위한 것인지 정확히 파악하기 위해 응답정보생성부(150)는 제2윤곽선(C2)과, 이에 가까운 우측 차선(RL)이 이루는 각도(θ)를 산출한다. 여기에서 우측 차선(RL)은 전방 차량(300)이 차선 변경시 침범하게 되는 침범 차선이 된다.
차선 정보는 자기 차량을 원점으로 하는 상대좌표계 상에서 곡선의 식으로 표현되고, 제2윤곽선(C2) 역시 자기 차량을 원점으로 하는 상대좌표계 상에서 직선의 식으로 표현 가능하다. 물론 도6과 같이 우측 차선(RL)이 직선 형태라면, 우측 차선(RL)과 제2윤곽선(C2)이 만나는 지점의 사잇각을 추출하면 된다. 반면 우측 차선(RL)이 곡선 형태라면, 제2윤곽선(C2)이 만나는 지점에서의 접선과 제2윤곽선(C2)의 사잇각을 추출하면 된다. 동일 좌표계 상에서 두 개의 직선이 이루는 각도를 산출하는 과정은 기 공지된 기술이기 때문에 자세한 설명은 생략토록 한다.
이렇게 응답정보생성부(150)에서 전방 차량(300)의 우측면인 제2윤곽선(C2)이 우측 차선(RL)과 이루는 사잇각(θ)를 산출하면, 사잇각(θ)이 기 설정된 각도를 초과하는지 판단한다. 만약 사잇각(θ)이 기 설정된 각도 이하라면 차로 변경이라 판단하지 아니한다. 반면 사잇각(θ)이 기 설정된 각도를 초과한다면 차로 변경이라 확정한다.
이렇게 전방 차량(300)이 차로 변경을 시도하는 것이라 판단되고 나면, 응답정보생성부(150)는 전방 차량(300)의 특징점 중 시작점(SP)을 시점참고용 특징점으로 지정한다. 여기에서 다루어지는 시점참고용 특징점이란 가속 시점을 결정하기 위해 추적하는 점을 말하며, 도6의 예시에서는 우측 차선(RL)에서 가장 멀리 위치하여 자기 차로에서 가장 늦게 벗어나게 되는 시작점(SP)이 지정된다.
즉 응답정보생성부(150)는 시점참고용 특징점으로 지정된 시작점(SP)이 우측 차선(RL)과 이루는 직선 거리를 산출하고, 시점참고용 특징점과 우측 차선(RL)이 이루는 직선 거리가 기 설정된 거리 이하로 떨어지는 것이 확인되면 비로소 가속 응답 정보를 생성하여 출력한다. 즉 시점참고용 특징점인 시작점(SP)이 우측 차선(RL)과 가까워졌다는 것은 전방 차량(300)이 우측 차선 너머로 충분하게 이탈한 것이고 이 시점에서 가속을 시작하더라도 안전한 앞지르기가 가능하다는 것이다.
이렇게 전방 차량(300)이 옆 차로로 이동하려는 것이 탐지되고, 시점참고용 특징점인 시작점(SP)이 이동하려는 방향의 차선과 충분히 가까워진 것이 확인되어 즉시 가속이 이루어지도록 한다면, 실제 운전자의 운전 패턴과 유사하여 자연스러운 주행이 가능하게 된다.
도7은 전방 차량이 옆차로에서 자기 차로로 진입하는 것을 파악한 후 감속 응답 정보를 생성하는 과정을 설명하기 위한 개념도이다.
일반적으로 사람이 운전을 하는 경우 자기 차량(200)보다 앞서서 주행하고 있는 옆차로의 전방 차량(300)이 자기 차로로 진입하려는 것이 확인되면, 즉시 감속을 하여 추돌 사고를 방지하게 된다.
그러나 자율 주행 차량에서는 전방 차량의 대표점이 여전히 옆 차로 내에 위치하고 있는 것이 확인되면 감속 제어를 하지 않는다. 따라서 감속 제어가 늦어 추돌 사고의 위험이 존재한다.
이를 위해 본 발명의 실시예에 따른 종방향 응답성 개선 시스템(100)에서는 응답정보생성부(150)에서 옆차로에서 주행 중인 전방 차량(300)의 자세 변화를 판단한 후, 자기 차로로 진입하려는 것이 예측 되면, 감속 응답 정보를 생성하여 출력함으로써 감속이 보다 빨리 이루어지도록 할 수 있다.
즉, 도7을 참조하면 차선정보생성부(110)에서는 카메라(10)의 촬영 영상을 통해 좌측 차선(LL)과 우측 차선(RL)에 대한 차선 정보(차선 방정식)를 생성하고, 객체인식부(120)에서는 라이다(20)의 스캔데이터(BP)를 통해 객체, 즉 도7에서는 우측 차로의 전방 차량(300)을 인식한다. 이후 특징점추출부(130)에서 전방 차량(300)의 좌측 전방을 시작점(SP)으로, 우측 후방을 종료점(FP)으로 추출한다. 그리고 윤곽정보생성부(140)는 좌측 후방을 중간점(CP)으로 추출하고, 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)을 생성한다.
이를 통해 응답정보생성부(150)는 제1윤곽선(C1)이 전방 차량(300)의 좌측면이라고 분류할 수 있다. 이후 응답정보생성부(150)는 제1윤곽선(C1)과 이에 가까운 우측 차선(RL)이 이루는 각도(θ)를 산출한다. 여기에서 우측 차선(RL)은 전방 차량(300)이 자기 차로 진입시 침범하게 되는 침범 차선이 된다.
응답정보생성부(150)에서 전방 차량(300)의 우측면인 제2윤곽선(C2)이 우측 차선(RL)과 이루는 사잇각(θ)를 산출하면, 사잇각(θ)이 기 설정된 각도를 초과하는지 판단한다. 만약 사잇각(θ)이 기 설정된 각도 이하라면 우측 차로에서 계속 주행하는 것이다. 반면 사잇각(θ)이 기 설정된 각도를 초과한다면 자기 차로로 진입하는 것이라고 확정한다.
이렇게 전방 차량(300)이 자기 차로로 진입을 시도하는 것이라 판단되고 나면, 응답정보생성부(150)는 전방 차량(300)의 특징점 중 시작점(SP)을 시점참고용 특징점으로 지정한다. 여기에서 다루어지는 시점참고용 특징점이란 감속 시점을 결정하기 위해 추적하는 점을 말하며, 도7의 예시에서는 우측 차선(RL)에서 가장 가까이 위치하여 자기 차로에 가장 먼저 진입하게 되는 시작점(SP)이 지정된다.
즉 응답정보생성부(150)는 시점참고용 특징점으로 지정된 시작점(SP)이 우측 차선(RL)과 이루는 직선 거리를 산출하고, 시점참고용 특징점이 우측 차선(RL)를 침범한 이후 기 설정된 거리 이상 도달한 것이 확인되면, 비로소 감속 응답 정보를 생성하여 출력한다. 즉 시점참고용 특징점인 시작점(SP)이 우측 차선(RL)을 일정 거리 이상 침범하였다는 것은 전방 차량(300)이 자기 차로로 충분하게 진입하여 추돌 위험이 있다는 것이고, 이 시점에서 즉시 감속 제어가 이루어지도록 하면 안전 거리를 충분하게 유지하여 사고를 미연에 방지할 수 있다는 것이다.
만약 전방 차량의 대표점만 추적하여 감속 제어가 이루어지도록 한다면, 전방 차량의 좌측 전방은 자기 차로로 충분히 들어왔음에도 불구하고 대표점은 여전히 우측 차로 바깥에 위치하게 되어 감속이 이루어지지 않음으로써 추돌 사고의 위험이 있게 된다.
이상에서 상세히 설명한 바와 같이 본 발명에 따른 종방향 응답성 개선 시스템(100)은 카메라(10)를 통해 촬영된 영상을 통해 차선 정보를 생성하고, 라이다(20)의 스캔데이터(BP)를 통해 특징점을 추출하여 전방 객체의 자세 변경을 확인하며, 차로 이탈량 또는 침범량을 통해 가속 또는 감속 시점을 결정한 후, 즉시 가속 응답 정보 또는 감속 응답 정보를 생성할 수 있다.
이러한 응답 정보는 주행 제어를 담당하는 외부 장치에 전달되어 가속 또는 감속이 즉시 이루어지도록 하게 되며, 이를 통해 전방 차량(300)이 자기 차로에서 이탈할 경우 가속 시점을 앞당겨 실제 운전자가 운전하는 것과 같은 느낌을 줄 수 있고, 옆 차로를 달리던 전방 차량(300)이 자기 차로로 진입하는 경우에는 감속 시점을 앞당겨 추돌 사고를 예방할 수 있게 된다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.
10 : 카메라
20 : 라이다
100 : 종방향 응답성 개선 시스템
110 : 차선정보생성부
120 : 객체인식부
130 : 특징점추출부
140 : 윤곽정보생성부
150 : 응답정보생성부
200 : 자기 차량
300 : 전방 차량

Claims (5)

  1. 카메라를 통해 촬영된 영상을 분석하여 자기 차로의 좌측 차선 및 우측 차선에 대한 차선 정보를 생성하는 차선정보생성부;
    라이다를 통해 획득한 스캔데이터에서 객체를 인식하는 객체인식부;
    상기 객체인식부에서 인식된 객체에서 특징점을 추출하는 특징점추출부;
    상기 특징점추출부에서 추출된 특징점을 통해 해당 객체의 윤곽 정보를 생성하는 윤곽정보생성부; 및
    상기 차선정보생성부에서 생성된 차선 정보, 상기 특징점추출부에서 추출된 특징점, 상기 윤곽정보생성부에서 생성된 윤곽 정보를 통해 전방 차량의 차로 변경 여부를 판단한 후 가속 응답 정보 또는 감속 응답 정보를 생성하여 출력하는 응답정보생성부;를 포함하되,
    상기 특징점추출부는 인식된 객체의 스캔데이터 중 시작점과 종료점을 특징점으로 추출하고,
    상기 윤곽정보생성부는 상기 시작점과 종료점을 잇는 가상의 기준선에서 가장 거리가 먼 스캔데이터를 중간점으로 추출한 후, 시작점과 중간점을 이어주는 제1윤곽선, 중간점과 종료점을 이어주는 제2윤곽선을 윤곽선 정보로 생성하며,
    상기 응답정보생성부는 상기 윤곽정보생성부에서 생성된 제1윤곽선과 제2윤곽선 중 짧은 윤곽선을 전방 차량의 후면이라 분류하고, 나머지 윤곽선이 후면으로 분류된 윤곽선에 대응하여 어느 위치에 존재하는지에 따라 전방 차량의 좌측면과 우측면으로 분류함으로써 차량의 자세를 판단하고,
    상기 응답정보생성부는 자기 차로에서 주행 중이던 전방 차량의 좌측면 또는 우측면으로 분류된 윤곽선과, 상기 차선정보생성부에서 생성된 차선 정보 중 상기 전방 차량의 좌측면 또는 우측면과 가까운 쪽의 차선(이하 '침범 차선'이라 함)이 이루는 사잇각을 산출하며, 산출된 사잇각이 기 설정된 각도를 초과하면 차로 변경이라 판단하고, 상기 전방 차량의 특징점 중 상기 침범 차선과 가장 멀리 위치하는 특징점이 상기 침범 차선과 일정 거리 이내로 가까워 진 것이 확인되면 가속 응답 정보를 생성하는 것을 특징으로 하는 종방향 응답성 개선 시스템.
  2. 카메라를 통해 촬영된 영상을 분석하여 자기 차로의 좌측 차선 및 우측 차선에 대한 차선 정보를 생성하는 차선정보생성부;
    라이다를 통해 획득한 스캔데이터에서 객체를 인식하는 객체인식부;
    상기 객체인식부에서 인식된 객체에서 특징점을 추출하는 특징점추출부;
    상기 특징점추출부에서 추출된 특징점을 통해 해당 객체의 윤곽 정보를 생성하는 윤곽정보생성부; 및
    상기 차선정보생성부에서 생성된 차선 정보, 상기 특징점추출부에서 추출된 특징점, 상기 윤곽정보생성부에서 생성된 윤곽 정보를 통해 전방 차량의 차로 변경 여부를 판단한 후 가속 응답 정보 또는 감속 응답 정보를 생성하여 출력하는 응답정보생성부;를 포함하되,
    상기 특징점추출부는 인식된 객체의 스캔데이터 중 시작점과 종료점을 특징점으로 추출하고,
    상기 윤곽정보생성부는 상기 시작점과 종료점을 잇는 가상의 기준선에서 가장 거리가 먼 스캔데이터를 중간점으로 추출한 후, 시작점과 중간점을 이어주는 제1윤곽선, 중간점과 종료점을 이어주는 제2윤곽선을 윤곽선 정보로 생성하며,
    상기 응답정보생성부는 상기 윤곽정보생성부에서 생성된 제1윤곽선과 제2윤곽선 중 짧은 윤곽선을 전방 차량의 후면이라 분류하고, 나머지 윤곽선이 후면으로 분류된 윤곽선에 대응하여 어느 위치에 존재하는지에 따라 전방 차량의 좌측면과 우측면으로 분류함으로써 차량의 자세를 판단하고,
    상기 응답정보생성부는 옆 차로에서 주행 중이던 전방 차량의 좌측면 또는 우측면으로 분류된 윤곽선과, 상기 차선정보생성부에서 생성된 차선 정보 중 상기 전방 차량의 좌측면 또는 우측면과 가까운 쪽의 차선(이하 '침범 차선'이라 함)이 이루는 사잇각을 산출하며, 산출된 사잇각이 기 설정된 각도를 초과하면 차로 변경이라 판단하고, 상기 전방 차량의 특징점 중 상기 침범 차선과 가장 가까운 위치의 특징점이 상기 침범 차선을 침범한 후 일정 거리 이상 멀어진 것이 확인되면 감속 응답 정보를 생성하는 것을 특징으로 하는 종방향 응답성 개선 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
KR1020200146627A 2020-11-05 2020-11-05 환경센서 융합 기반 종방향 응답성 개선 시스템 KR102460085B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146627A KR102460085B1 (ko) 2020-11-05 2020-11-05 환경센서 융합 기반 종방향 응답성 개선 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146627A KR102460085B1 (ko) 2020-11-05 2020-11-05 환경센서 융합 기반 종방향 응답성 개선 시스템

Publications (2)

Publication Number Publication Date
KR20220061298A KR20220061298A (ko) 2022-05-13
KR102460085B1 true KR102460085B1 (ko) 2022-10-28

Family

ID=81583298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146627A KR102460085B1 (ko) 2020-11-05 2020-11-05 환경센서 융합 기반 종방향 응답성 개선 시스템

Country Status (1)

Country Link
KR (1) KR102460085B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174016A (ja) 2016-03-22 2017-09-28 株式会社デンソー 車両検知装置
JP2018097644A (ja) * 2016-12-14 2018-06-21 日立オートモティブシステムズ株式会社 先行車両の走行軌跡予測装置及びその搭載車両
JP2018206234A (ja) * 2017-06-08 2018-12-27 トヨタ自動車株式会社 運転支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3747599B2 (ja) * 1997-11-20 2006-02-22 日産自動車株式会社 車両用障害物検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174016A (ja) 2016-03-22 2017-09-28 株式会社デンソー 車両検知装置
JP2018097644A (ja) * 2016-12-14 2018-06-21 日立オートモティブシステムズ株式会社 先行車両の走行軌跡予測装置及びその搭載車両
JP2018206234A (ja) * 2017-06-08 2018-12-27 トヨタ自動車株式会社 運転支援システム

Also Published As

Publication number Publication date
KR20220061298A (ko) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109074651B (zh) 移动体的周围环境识别装置
KR101276871B1 (ko) 차량 충돌 방지 장치 및 방법
US9499171B2 (en) Driving support apparatus for vehicle
EP2559016B1 (en) Video based intelligent vehicle control system
CN109562761B (zh) 车辆控制装置以及车辆控制方法
US10935976B2 (en) Blinker judgment device and autonomous driving system
US20190146519A1 (en) Vehicle control device, vehicle control method, and storage medium
CN111223315B (zh) 交通引导物识别装置、交通引导物识别方法及存储介质
JP6453490B2 (ja) 路面反射を認識し評価するための方法及び装置
JP5036611B2 (ja) 画像認識装置
CN109204311A (zh) 一种汽车速度控制方法和装置
CN110341704B (zh) 车辆控制装置、车辆控制方法及存储介质
JP2018516799A5 (ko)
US20190310631A1 (en) Vehicle control device, vehicle control method, and storage medium
JP4937844B2 (ja) 歩行者検出装置
US20220266855A1 (en) Determination device, vehicle control device, determination method, and storage medium
Hofmann et al. EMS-vision: Application to hybrid adaptive cruise control
KR102460085B1 (ko) 환경센서 융합 기반 종방향 응답성 개선 시스템
US11230283B2 (en) Vehicle control system, vehicle control method, and storage medium
JP2021064056A (ja) ゼブラゾーン認識装置、車両制御装置、ゼブラゾーン認識方法、およびプログラム
US20220176956A1 (en) Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
EP4060643B1 (en) Traffic signal recognition method and traffic signal recognition device
KR102370976B1 (ko) 객체 특징점을 이용한 차선 변경 지원 시스템
JP2005284797A (ja) 走行安全装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant