KR102480023B1 - 차선 검출 방법 및 이를 이용하는 차량 - Google Patents

차선 검출 방법 및 이를 이용하는 차량 Download PDF

Info

Publication number
KR102480023B1
KR102480023B1 KR1020210109680A KR20210109680A KR102480023B1 KR 102480023 B1 KR102480023 B1 KR 102480023B1 KR 1020210109680 A KR1020210109680 A KR 1020210109680A KR 20210109680 A KR20210109680 A KR 20210109680A KR 102480023 B1 KR102480023 B1 KR 102480023B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
angle
image frame
straight line
Prior art date
Application number
KR1020210109680A
Other languages
English (en)
Inventor
최성곤
최원석
박용희
이래엽
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020210109680A priority Critical patent/KR102480023B1/ko
Application granted granted Critical
Publication of KR102480023B1 publication Critical patent/KR102480023B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0059—Signal noise suppression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량에 배치되어 차량이 진행하는 방향의 영상을 수집하는 영상 데이터 수집부, 상기 차량에 배치되어 차량이 진행하는 각도를 수집하는 Heading 데이터 수집부, 상기 영상 데이터 수집부가 수집한 영상 프레임들 중 이전 영상 프레임에서 검출된 차선과 현재 영상 프레임에서 검출된 차선을 비교한 편차각과, 상기 Heading 데이터 수집부가 수집한 차량의 진행 각도 정보를 기반으로 차량의 현재 진행 중인 예상 각도를 산출하는 프로세서를 포함하는 차선 검출 시스템 및 이의 운용 방법을 개시한다.

Description

차선 검출 방법 및 이를 이용하는 차량{Integrated Hybrid Autonomous Charging System and Operating Method using the same}
본 발명은 자율 주행에 관한 것으로, 더욱 상세하게는 이전 프레임 및 방위각을 활용한 차선 검출을 수행하는 방법 및 이를 이용하는 차량에 관한 것이다.
차선 검출은 자율주행에서 사용되는 방법으로, 영상 데이터를 통해 차선을 감지하여 특정 차선을 벗어나지 않도록 주행하거나 차선을 변경하는데 사용된다. 차선을 감지할 때 주로 사용되는 방법으로는 영상에서 차선을 감지하는 방법이 있다. 차선을 감지하기 위한 여러 가지 방법이 존재한다. 이 중 가장 필요한 부분은 영상을 특수한 색상 범위로 나누어 픽셀을 흰색 또는 검은색으로 표현하는 영상 이진화 방법과, 이진화 된 영상에서 엣지를 추출하는 방법, 추출된 엣지에서 차선을 검출하는 방법이 있다. 영상 이진화는 BRG, HSV 등의 색상 채널에 Threshold를 설정하여 이진화를 할 수 있다. 엣지를 추출하는 방법 중 대표적인 방법은 Canny edge가 있다. 차선을 감지하기 위한 방법으로는 Hough detection이 있다. 또한 차선의 차선을 직관적으로 분석하기 위해 bird view 형태로 영상을 변환하는 투영변환 기법이 있다.
한편, 위에서 언급한 방법으로 검출된 차선을 통해 실제 차선을 검출할 수 있지만, 그림자, 다른 차량 등 기타 요소들로 인해 관계없는 차선이 추가로 감지될 수 있다. 이를 최소화하기 위해 색상 채널을 차선에 가깝게 제한하는 방법이 있지만 날씨에 따라 실제 차선 색상이 달라져 지정된 범위를 벗어날 수 있고, 비슷한 색상의 잡음이 나타날 경우 이를 제거할 수 없는 문제가 있다.
본 발명은 상술한 종래 문제점들 예컨대, 본 발명은 자율주행을 위한 차선 검출에서 잡음을 제거하기 위한 방법 및 이를 지원하는 시스템을 제공한다. 이와 관련하여, 본 발명은 이전 영상 프레임과 방위각을 사용하여 잡음을 제거하는 기준 각도를 동적으로 변경하여 적용할 수 있다.
본 발명의 실시 예에 따른 자율 주행 차량의 차선 검출을 지원하는 차선 검출 시스템은 차량에 배치되어 차량이 진행하는 방향의 영상을 수집하는 영상 데이터 수집부, 상기 차량에 배치되어 차량이 진행하는 각도를 수집하는 Heading 데이터 수집부, 상기 영상 데이터 수집부가 수집한 영상 프레임들 중 이전 영상 프레임에서 검출된 차선과 현재 영상 프레임에서 검출된 차선을 비교한 편차각과, 상기 Heading 데이터 수집부가 수집한 차량의 진행 각도 정보를 기반으로 차량의 현재 진행 중인 예상 각도를 산출하는 프로세서를 포함하는 것을 특징으로 한다.
여기서, 상기 프로세서는 상기 영상 데이터 수집부가 전달한 현재 영상 프레임들에서 복수의 차선을 검출하여 차선 리스트를 출력하는 차선 데이터 산출부, 상기 이전 영상 프레임에서 검출된 차선 및 상기 차량의 진행 각도 정보를 이용하여 상기 차선 데이터 산출부가 출력한 차선 리스트에서 잡음을 제거하여 현재 차량이 진행 중인 차선을 검출하는 차선 데이터 필터링부, 상기 차선 데이터 필터링부가 전달한 차선을 기반으로 상기 차량의 주행각을 결정하는 주행각 제어부를 포함하는 것을 특징으로 한다.
추가로, 상기 차선 데이터 필터링부는 상기 차선 리스트에 곡선 영역이 있는지 확인하고, 상기 곡선 영역이 있는 경우, 상기 곡선 영역의 처음 일부 영역을 직선 좌표로 변환한 후, 변환된 상기 직선 좌표를 기반으로 직선 편차각을 산출하고, 상기 차선 리스트에 곡선 영역이 없는 경우, 상기 차선 리스트의 직선 좌표를 그대로 이용하여 직선 편차각을 산출하는 것을 특징으로 한다.
한편, 상기 차선 데이터 필터링부는 상기 차량이 회전할 때, 이전 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 이전 Heading 데이터와 현재 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 현재 Heading 데이터 간의 편차각을 산출하여 상기 차량 진행 각도 정보를 산출하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 자율 주행 차량의 차선 검출 방법은 차량에 배치되어 차량이 진행하는 방향의 영상을 수집하면서, 상기 차량에 배치되어 차량이 진행하는 각도를 수집하는 단계, 상기 영상의 프레임들 중 이전 영상 프레임에서 검출된 차선과 현재 영상 프레임에서 검출된 차선을 비교한 편차각과, 상기 차량의 진행 각도 정보를 기반으로 차량의 현재 진행 중인 예상 각도를 산출하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 산출하는 단계는 상기 이전 영상 프레임에서 검출된 차선 및 상기 차량의 진행 각도 정보를 이용하여 상기 현재 영상 프레임에서 획득한 차선 리스트의 잡음을 제거하여 현재 차량이 진행 중인 차선을 검출하는 단계, 상기 검출된 차선을 기반으로 상기 차량의 주행각을 결정하는 단계를 포함하는 것을 특징으로 한다.
특히, 상기 차선을 검출하는 단계는 상기 차선 리스트에 곡선 영역이 있는지 확인하고, 상기 곡선 영역이 있는 경우, 상기 곡선 영역의 처음 일부 영역을 직선 좌표로 변환한 후, 변환된 상기 직선 좌표를 기반으로 직선 편차각을 산출하는 단계 또는 상기 차선 리스트에 곡선 영역이 없는 경우, 상기 차선 리스트의 직선 좌표를 그대로 이용하여 직선 편차각을 산출하는 단계를 포함하는 것을 특징으로 한다.
한편, 상기 산출하는 단계는 상기 차량이 회전할 때, 이전 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 이전 Heading 데이터와 현재 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 현재 Heading 데이터 간의 편차각을 산출하는 단계, 상기 편차각을 이용하여 상기 차량 진행 각도 정보를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 차선 검출 방법 및 이를 지원하는 차량에 따르면, 본 발명은 차량 운행 중 커브 구간 등에서 실제 차선을 감지 못하는 현상을 완화시킬 수 있다.
또한, 본 발명은 차선 검출에서의 잡음 제거 성능을 개선할 수 있다.
도 1a는 본 발명의 실시 예에 따른 차선 검출 방법이 적용되는 환경의 한 예를 나타낸 도면이다.
도 1b는 본 발명의 실시 예에 따른 차선 검출 기능을 지원하는 차선 검출 시스템 구성의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 차선 검출 시스템 구성 중 차선 데이터 필터링부의 세부 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 여러 차선이 이어진 형태로 곡선을 표현하는 경우의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 직선 차선 주행 및 곡선 주행의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 Heading 편차 검출과 관련한 이전 차선 라인 및 현재 차선 라인의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 차선 검출 방법의 한 예를 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하에서 설명한 본 발명은 이전 영상에서 검출된 차선을 기준선으로 하여 차선 잡음을 제거하기 위한 각도를 동적으로 제공하기 위해, 이전 영상 프레임과 Heading (방위각) 데이터를 사용하는 방식을 제공한다. 이를 통하여, 본 발명은 보다 높은 잡음 개선 성능을 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.
도 1a는 본 발명의 실시 예에 따른 차선 검출 방법이 적용되는 환경의 한 예를 나타낸 도면이며, 도 1b는 본 발명의 실시 예에 따른 차선 검출 기능을 지원하는 차선 검출 시스템 구성의 한 예를 나타낸 도면이다.
도 1a 및 도 1b를 참조하면, 차선 검출 방법이 적용되는 환경(10)은 예컨대, 적어도 하나의 차선(12)이 배치된 도로(11) 상에 자율 주행 차량(13)이 주행을 수행하며, 상기 자율 주행 차량(13)은 적어도 주행하는 방향에 대한 영상을 촬영할 수 있는 촬영 수단 예컨대, 카메라를 포함할 수 있다. 이러한 환경에 차선 검출 시스템(100)이 적어도 자율 주행 차량(13)에 적용될 수 있다. 또는, 본 발명의 차선 검출 시스템(100)의 적어도 일부(예컨대, 차선 데이터 필터링부)는 자율 주행을 수행하는 차량(13) 외에 차량 내에 배치되는 사용자 단말기에 장착되거나, 차량(13)과 통신을 수행하는 서버 장치에 장착될 수 있다. 상기 차선 검출 시스템(100)이 상기 사용자 단말기에 적용되는 경우, 상기 사용자 단말기는 차량(13)이 주행하는 도로의 차선을 포함하는 일정 영역을 촬영할 수 있는 카메라를 포함할 수 있다. 또는, 상기 차량(13) 또는 사용자 단말기는 촬영한 전방 영상을 서버 장치에 전송할 수 있도록 구성될 수 있다.
한편, 도 1b를 참조하면, 한 실시 예에 따른, 상기 차선 검출 시스템(100)은 영상 데이터 수집부(110), Heading 데이터 수집부(120), 프로세서(200), 메모리(160)를 포함할 수 있다.
상기 영상 데이터 수집부(110)는 예컨대, 카메라 센서를 포함할 수 있다. 한 예로서, 상기 영상 데이터 수집부(110)는 차량의 전방에 배치되는 적어도 하나의 카메라 센서를 포함할 수 있다 다른 예로서, 상기 영상 데이터 수집부(110)는 차량의 전방뿐만 아니라, 차량의 우측방 또는 좌측방에 대한 영상을 수집할 수도 있다. 상기 영상 데이터 수집부(110)는 차량이 진행하는 방향에 배치된 차량을 포함한 영상 프레임들을 실시간 또는 일정 주기로 프로세서(200)에 전달할 수 있다.
상기 Heading 데이터 수집부(120)는 차량의 방향을 나타내는 Heading 데이터를 수집할 수 있다. 이러한 Heading 데이터 수집부(120)는 적어도 하나의 지자기 센서를 포함할 수 있다. 상기 Heading 데이터 수집부(120)는 지자기 센서가 수집한 센싱 정보를 기반으로 북위에 해당하는 정보를 생성하고, 이를 기반으로 차량의 각도를 산출할 수 있다. 상기 Heading 데이터 수집부(120)는 산출된 차량의 진행 각도 정보를 프로세서(200)에 전달할 수 있다.
상기 메모리(160)는 상기 영상 데이터 수집부(110)가 수집한 영상의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다. 또는, 상기 메모리(160)는 Heading 데이터 수집부(120)가 수집한 차량의 각도 정보를 임시 또는 반영구적으로 저장할 수 있다. 상기 메모리(160)에 저장된 차선 포함 영상 데이터 및 차량 각도 정보는 프로세서(200)에 전달될 수 있다.
상기 프로세서(200)는 상기 차선 검출 시스템(100) 운용에 필요한 신호의 처리와 전달을 수행할 수 있다. 이와 관련하여, 프로세서(200)는 차선 데이터 산출부(130), 차선 데이터 필터링부(140), 주행각 제어부(150)를 포함할 수 있다.
상기 차선 데이터 산출부(130)는 영상 데이터 수집부(110)로부터 수집한 영상 프레임에서 차선을 감지하고, 감지된 차선에 대한 정보를 차선 데이터 필터링부(140)에 전달할 수 있다. 이와 관련하여, 차선 데이터 산출부(130)는 차선 검출을 위한 알고리즘을 운용할 수 있다. 상기 차선 데이터 산출부(130)가 운용하는 알고리즘은 차선을 검출하기 위한 RGB to HSV 색상 채널 변환 기법, 영상 이진화 기법, Canny edge 처리, Hough Line 기법 중 적어도 하나를 처리할 수 있는 알고리즘을 포함할 수 있다. 상기 차선 검출을 위한 알고리즘은 상기 메모리(160)에 저장되고, 영상 데이터 수집부(110)가 차선을 포함하는 영상을 수집하기 위해 활성화되면, 차선 데이터 산출부(130)에 로딩되어, 차선 검출에 이용될 수 있다. 상기 차선 데이터 산출부(130)는 영상 프레임에서 복수개의 차선을 감지할 수 있다. 이때, 상기 차선 데이터 산출부(130)는 적어도 하나의 시작점과 끝점의 좌표를 수집하고, 수집된 좌표를 차선 데이터 필터링부(140)에 전달할 수 있다.
상기 차선 데이터 필터링부(140)는 차선 데이터 산출부(130)로부터 전달된 차선들에 관한 정보에서, 차량이 진행하는 방향에 위치한 차선을 검출하기 위하여, 잡음에 해당하는 차선을 결정하고, 결정된 차선을 제거할 수 있다. 이 동작에서, 차선 데이터 필터링부(140)는 잡음을 제거하기 위해 이전 영상 프레임에서 감지된 차선과 Heading 정보(또는 차량 진행 각도 정보)를 활용할 수 있다. 상기 차선 데이터 필터링부(140)는 잡음이 필터링된 후의 차선을 주행각 제어부(150)에 전달할 수 있다.
상기 주행각 제어부(150)는 차선 데이터 필터링부(140)로부터 전달된 필터링된 차선 정보를 토대로, 차량의 주행각을 제어할 수 있다. 추가적으로, 상기 주행각 제어부(150)는 상기 차량의 주행각이 지정된 각도 이상인 경우, 차량의 속도를 조절할 수 있다. 예컨대, 상기 주행각 제어부(150)는 차량 주행각이 제1 각도보다 작은 경우 또는 직선 차선인 경우 차량의 속도를 해당 도로의 제한 속도까지 점진적으로 증가시키거나 유지시키도록 제어할 수 있다. 상기 주행각 제어부(150)는 차량 주행각이 제2 각도보다 큰 경우 또는 커브 각도가 점진적으로 커지는 경우 차량의 속도를 점진적으로 감속시키도록 제어할 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 차선 검출 시스템(100)은 차량의 자율 주행에 있어서, 이전 획득된 차선 포함 영상 프레임 및 차량의 주행각도 정보를 바탕으로 차선의 잡음을 제거하고, 잡음이 제거된 차선을 이용하여 차량의 주행 각도를 결정함으로써, 보다 정확한 차량 주행을 지원할 수 있다.
도 2는 본 발명의 실시 예에 따른 차선 검출 시스템 구성 중 차선 데이터 필터링부의 세부 구성의 한 예를 나타낸 도면이다.
도 2를 참조하면, 한 실시 예에 따른 차선 데이터 필터링부(140)는 곡선 검출부(141), 차선 편차각 산출부(143), Heading 편차각 산출부(147) 및 차선 검출부(149)를 포함할 수 있다. 여기서, 상기 차선 데이터 필터링부(140)는 각 검출부들이 검출한 데이터를 임시 또는 반영구적으로 저장하는 메모리(145) 구성을 더 포함할 수 있다. 상기 메모리(145)는 앞서 도 1에서 설명한 차선 검출 시스템(100)의 메모리(160) 구성과 동일한 구성이거나 또는 차선 데이터 필터링부(140) 운용을 위해 별도로 마련된 메모리 구성일 수 있다.
상기 곡선 검출부(141)는 차선 데이터 산출부(130)로부터 수신된 N개의 직선 배열들을 포함하는 검출된 차선 리스트에서 곡선에 해당하는 차선들을 검출할 수 있다. 상기 곡선 검출부(141)의 곡선 차선 검출 방법은 구분구적법 등의 방법으로 검출할 수 있으나 그 방법이 본 발명을 제한하는 것은 아니다. 상기 곡선 검출부(141)는 차선 데이터 산출부(130)가 전달한 차선 리스트에 포함된 차선들이 곡선으로 판별되지 않는 경우 입력된 차선에 해당하는 좌표를 그대로 차선 검출부(149)를 통해 주행각 제어부(150)에 전달할 수 있다.
한편, 곡선 검출부(141)는 차선 데이터 산출부(130)가 전달한 차선 리스트에 포함된 차선들 중 적어도 하나의 차선이 곡선으로 판별되는 경우, 곡선에 해당하는 차선에서 최하단의 시작점에 해당하는 차선을 차선 편차각 산출부(143)에 전달할 수 있다. 예컨대, 곡선 검출부(141)는 곡선 검출 시, 도 3에 나타낸 바와 같이, 여러 개의 차선이 이어진 형태로 곡선을 표현하고, 시스템은 제1 부분 영역(310)에 해당하는 차선의 좌표를 출력할 수 있다. 도 3은 본 발명의 실시 예에 따른 여러 차선이 이어진 형태로 곡선을 표현하는 경우의 예를 설명하기 위한 도면이다.
상기 차선 편차각 산출부(143)는 차선을 포함하는 이전 영상 프레임에서 확인된 차선과 현재 영상 프레임에서 검출된 차선들을 비교하고, 그 편차각을 출력할 수 있다. 예컨대, 도 4를 참조하면, 제1 라인 영역(410)은 이전 차선을 나타내며, 제2 라인 영역(420)은 현재 차선을 나타내며, 제3 라인 영역(430)은 잡음을 나타낼 수 있다. 도 4에 나타낸 도면은 차선 편차각 산출에 관한 것으로, 위쪽 도면은 직선 차선 주행을 나타낸 것이고, 아래쪽 도면은 곡선 주행을 나타낸 것이다.
도시된 도면을 참조하면, 이전 영상 프레임의 차선 각도와 현재 영상 프레임에서 검출된 차선들의 편차는 다음 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure 112021095787283-pat00001
상기 Heading 편차각 산출부(147)는 차량의 Heading 편차를 산출할 수 있다. Heading 편차는 차량이 회전(또는 차량이 커브를 주행)할 때, 이전 영상 프레임에서 검출된 차선이 현재 영상 프레임에서 어느 정도 회전할지를 의미할 수 있다. 상기 Heading 편차각 산출부(147)는 이전 영상 프레임의 시간(t-1)과 현재 프레임 시간(t)에 해당하는 Heading에 대한 편차각을 산출할 수 있다. 도 5는 본 발명의 실시 예에 따른 Heading 편차 검출과 관련한 이전 차선 라인 및 현재 차선 라인의 한 예를 나타낸 도면이다. 이전 차선 라인(510) 및 현재 차선 라인(520)의 비교를 통해, Heading 편차각 산출부(147)는 Heading 편차각을 산출할 수 있다. 도 5에서 오른쪽의 그림은 실제 Heading 변화 시 투영변환 된 영상에서의 차선 변화를 나타낸 것이다.
상기 차선 검출부(149)는 이전 영상 프레임의 차선의 각도, 현재 영상 프레임에서 검출된 차선의 각도, Heading 편차각을 활용하여 각 차선에 대한 편차각과 그 집합들을 산출할 수 있다. 예컨대, 다음 수학식 2에 나타낸 바와 같이, 편차각에 대한 집합을 표현할 수 있다.
[수학식 2]
Figure 112021095787283-pat00002
Figure 112021095787283-pat00003
위 수식에서
Figure 112021095787283-pat00004
가 0에 가까울수록 기준점이 되는 차선과 각도가 유사함을 의미할 수 있다. 여기서, 최적 차선을 찾는 식은 다음 수학식 3과 같은 수 있다.
[수학식 3]
Figure 112021095787283-pat00005
상기 차선 데이터 필터링부(140)는 위 수학식 3에서 탐색한 최적 차선을 주행각 제어부(150)에 반환하고, 주행각 제어부(150)는 그 차선을 통해 주행각을 제어할 수 있다.
도 6은 본 발명의 실시 예에 따른 차선 검출 방법의 한 예를 나타낸 도면이다.
도 6을 참조하면, 한 실시 예에 따른 차선 검출 방법과 관련하여, 차선 검출 시스템(100)의 프로세서(200)는 직선 데이터 필터링 시작에 관한 입력 이벤트가 발생하면, 601 단계에서 차선 리스트를 입력 받을 수 있다. 상기 차선 리스트는 차선 데이터 산출부(130)로부터 전달받을 수 있다. 상기 차선 데이터 산출부(130)는 영상 데이터 수집부(110)가 전달한 현재 영상 프레임에서 차선으로 판별되는 적어도 하나의 차선들을 리스트로 차선 데이터 필터링부(140)에 전달할 수 있다.
차선 리스트를 수신한 프로세서(200)(예: 차선 데이터 필터링부(140))는 603 단계에서 곡선 검출 여부를 확인할 수 있다. 이와 관련하여, 프로세서(200)는 차선 리스트 중 일정 곡률을 가지는 차선이 있는지 검출할 수 있다. 곡선 검출과 관련하여, 프로세서(200)는 구분구적법 등을 이용할 수 있다.
603 단계에서 곡선이 검출되면, 프로세서(200)는 605 단계에서 해당 곡선의 첫 직선 좌표 변환을 수행할 수 있다. 즉, 프로세서(200)는 곡선이 시작되기 직전 직선 좌표를 검출하고, 해당 좌표를 기준을 일정 영역만큼의 직선 좌표 변환을 처리할 수 있다.
603 단계에서 곡선 검출이 되지 않으면, 프로세서(200)는 607 단계에서 직선 좌표를 그대로 반환(예: 곡선 검출부(141)가 직선 좌표를 차선 검출부(149)에 반환)할 수 있다.
다음으로, 609 단계에서 프로세서(200)는 직선 편차각 산출을 수행할 수 있다. 예컨대, 프로세서(200)는 직선 구간 기준으로 차선의 편차각을 산출할 수 있다.
한편, 601 단계에서 609 단계를 수행하는 과정에서 병렬적으로, 또는 순차적으로 다음 611 단계 및 613 단계를 수행할 수 있다.
611 단계에서, 프로세서(200)는 heading 데이터 입력을 받을 수 있다. 이와 관련하여, 프로세서(200)는 Heading 데이터 수집부(120)를 활성화하고, Heading 데이터 수집부(120)가 수집하는 센싱 정보를 토대로 Heading 데이터를 수신할 수 있다.
Heading 데이터가 입력되면, 프로세서(200)는 613 단계에서 Heading 편차각 산출을 수행할 수 있다. 즉, 프로세서(200)는 현재 전달된 영상 프레임에 대응하는 Heading 데이터에 대한 편차각을 산출할 수 있다.
609 단계 및 613 단계 이후, 615 단계에서, 프로세서(200)는 이전 직선 및 Heading 데이터를 통해 현재 차량의 예상 각도를 계산할 수 있다. 예컨대, 상기 프로세서(200)는 직선 편차각 산출에 있어서, 차선 관련 이전 영상 프레임에서 획득한 직선과 605 단계 또는 607 단계에서 산출한 직선 좌표를 비교하고, 비교 값을 기준으로 예상되는 직선 편차각을 산출할 수 있다. 또한, 프로세서(200)는 이전 영상 프레임에 매칭된 Heading 데이터와 현재 Heading 데이터를 교차 비교하여 현재 차량의 Heading에 대한 편차각을 산출할 수 있다. 이를 위하여, 프로세서(200)는 영상 데이터 수집부(110)와 Heading 데이터 수집부(120) 간의 데이터 동기화를 수행하여, 동일한 동기 신호를 기준으로 Heading 편차각 산출을 수행할 수 있다.
다음으로, 617 단계에서, 프로세서(200)는 최적 직선 계산을 수행할 수 있다. 이와 관련하여 프로세서(200)는 이전 영상 프레임의 차선의 각도, 현재 영상 프레임에서 검출된 차선의 각도, Heading 편차각을 활용하여 각 차선에 대한 편차각과 그 집합들을 산출할 수 있다. 예컨대, 프로세서(200)는 사전 정의된 일정 개수의 영상 프레임들에 대하여 이전 영상 프레임과 현재 영상 프레임들 간의 차선의 각도 변화를 집합으로 구성하여, 추세를 산출하여, 이를 기반으로, 최적 직선 차선에 대한 계산을 수행할 수 있다.
마지막으로, 619 단계에서, 프로세서(200)는 계산된 최적 직선을 반환할 수 있다. 예를 들어, 차선 검출부(149)는 최적으로 계산된 직선을 주행각 제어부(150)에 전달할 수 있다.
상술한 동작은, 상기 차량이 자율 주행 중일 동안 지속적으로 실시간 수행될 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 차선 검출 시스템(100)은 이전 영상 프레임을 활용한 차선 잡음 제거의 기준점을 동적을 설정함으로써, 차선 잡음 제거 성능을 개선하고, 방위각 데이터를 통해 이전 프레임에서 차량이 회전할 경우 각도 변화 고려하여, 차량의 주행 변화 각도를 정확히 추정할 수 있도록 지원할 수 있다. 결과적으로, 본 발명은 이전에 검출된 차선과 방위각 및 편차각을 통한 차선 잡음 제거 성능을 개선할 수 있다.
한편, 본 명세서와 도면에 개시된 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
10: 차량 주행 환경
11: 도로
12: 차선
13: 차량
100: 차선 검출 시스템
110: 영상 데이터 수집부
120: Heading 데이터 수집부
130: 차선 데이터 산출부
140: 차선 데이터 필터링부
150: 주행각 제어부
160: 메모리

Claims (8)

  1. 차량에 배치되어 차량이 진행하는 방향의 영상을 수집하는 영상 데이터 수집부;
    상기 차량에 배치되어 차량이 진행하는 각도를 수집하는 Heading 데이터 수집부;
    상기 영상 데이터 수집부가 수집한 영상 프레임들 중 이전 영상 프레임에서 검출된 차선과 현재 영상 프레임에서 검출된 차선을 비교한 편차각과, 상기 Heading 데이터 수집부가 수집한 차량의 진행 각도 정보를 기반으로 차량의 현재 진행 중인 예상 각도를 산출하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 영상 데이터 수집부가 전달한 현재 영상 프레임들에서 복수의 차선을 검출하여 차선 리스트를 출력하는 차선 데이터 산출부;
    상기 이전 영상 프레임에서 검출된 차선 및 상기 차량의 진행 각도 정보를 이용하여 상기 차선 데이터 산출부가 출력한 차선 리스트에서 잡음을 제거하여 현재 차량이 진행 중인 차선을 검출하는 차선 데이터 필터링부;를 포함하는 것을 특징으로 하는 자율 주행 차량의 차선 검출을 지원하는 차선 검출 시스템.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 차선 데이터 필터링부가 전달한 차선을 기반으로 상기 차량의 주행각을 결정하는 주행각 제어부;를 더 포함하는 것을 특징으로 하는 자율 주행 차량의 차선 검출을 지원하는 차선 검출 시스템.
  3. 제1항에 있어서,
    상기 차선 데이터 필터링부는
    상기 차선 리스트에 곡선 영역이 있는지 확인하고, 상기 곡선 영역이 있는 경우, 상기 곡선 영역의 처음 일부 영역을 직선 좌표로 변환한 후, 변환된 상기 직선 좌표를 기반으로 직선 편차각을 산출하고,
    상기 차선 리스트에 곡선 영역이 없는 경우, 상기 차선 리스트의 직선 좌표를 그대로 이용하여 직선 편차각을 산출하는 것을 특징으로 하는 자율 주행 차량의 차선 검출을 지원하는 차선 검출 시스템.
  4. 제1항에 있어서,
    상기 차선 데이터 필터링부는
    상기 차량이 회전할 때, 이전 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 이전 Heading 데이터와 현재 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 현재 Heading 데이터 간의 편차각을 산출하여 상기 차량 진행 각도 정보를 산출하는 것을 특징으로 하는 자율 주행 차량의 차선 검출을 지원하는 차선 검출 시스템.
  5. 차량에 배치되어 차량이 진행하는 방향의 영상을 수집하면서, 상기 차량에 배치되어 차량이 진행하는 각도를 수집하는 단계;
    상기 영상의 프레임들 중 이전 영상 프레임에서 검출된 차선과 현재 영상 프레임에서 검출된 차선을 비교한 편차각과, 상기 차량의 진행 각도 정보를 기반으로 차량의 현재 진행 중인 예상 각도를 산출하는 단계;를 포함하고,
    상기 산출하는 단계는,
    상기 이전 영상 프레임에서 검출된 차선 및 상기 차량의 진행 각도 정보를 이용하여, 상기 현재 영상 프레임에서 복수의 차선을 검출하여 획득한 차선 리스트의 잡음을 제거하여 현재 차량이 진행 중인 차선을 검출하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 차선 검출 방법.
  6. 제5항에 있어서,
    상기 산출하는 단계는,
    상기 검출된 차선을 기반으로 상기 차량의 주행각을 결정하는 단계;를 더 포함하는 것을 특징으로 하는 자율 주행 차량의 차선 검출 방법.
  7. 제5항에 있어서,
    상기 차선을 검출하는 단계는
    상기 차선 리스트에 곡선 영역이 있는지 확인하고, 상기 곡선 영역이 있는 경우, 상기 곡선 영역의 처음 일부 영역을 직선 좌표로 변환한 후, 변환된 상기 직선 좌표를 기반으로 직선 편차각을 산출하는 단계; 또는
    상기 차선 리스트에 곡선 영역이 없는 경우, 상기 차선 리스트의 직선 좌표를 그대로 이용하여 직선 편차각을 산출하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 차선 검출 방법.
  8. 제5항에 있어서,
    상기 산출하는 단계는
    상기 차량이 회전할 때, 이전 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 이전 Heading 데이터와 현재 영상 프레임이 획득된 시점과 동기화된 시점에 획득된 현재 Heading 데이터 간의 편차각을 산출하는 단계;
    상기 편차각을 이용하여 상기 차량 진행 각도 정보를 산출하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 차선 검출 방법.
KR1020210109680A 2021-08-19 2021-08-19 차선 검출 방법 및 이를 이용하는 차량 KR102480023B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210109680A KR102480023B1 (ko) 2021-08-19 2021-08-19 차선 검출 방법 및 이를 이용하는 차량

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210109680A KR102480023B1 (ko) 2021-08-19 2021-08-19 차선 검출 방법 및 이를 이용하는 차량

Publications (1)

Publication Number Publication Date
KR102480023B1 true KR102480023B1 (ko) 2022-12-21

Family

ID=84536698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210109680A KR102480023B1 (ko) 2021-08-19 2021-08-19 차선 검출 방법 및 이를 이용하는 차량

Country Status (1)

Country Link
KR (1) KR102480023B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060102018A (ko) * 2005-03-22 2006-09-27 현대자동차주식회사 차량의 굴곡로 주행장치 및 그 방법
KR20130074300A (ko) * 2011-12-26 2013-07-04 자동차부품연구원 타이어 감응형 차선유지지원장치 및 그 제어방법
KR20130130951A (ko) * 2012-05-23 2013-12-03 현대모비스 주식회사 차선 유지 보조 시스템 및 방법
JP2017043279A (ja) * 2015-08-28 2017-03-02 株式会社デンソー 車両制御装置、及び走路信頼度判定方法
KR20180024783A (ko) * 2016-08-31 2018-03-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060102018A (ko) * 2005-03-22 2006-09-27 현대자동차주식회사 차량의 굴곡로 주행장치 및 그 방법
KR20130074300A (ko) * 2011-12-26 2013-07-04 자동차부품연구원 타이어 감응형 차선유지지원장치 및 그 제어방법
KR20130130951A (ko) * 2012-05-23 2013-12-03 현대모비스 주식회사 차선 유지 보조 시스템 및 방법
JP2017043279A (ja) * 2015-08-28 2017-03-02 株式会社デンソー 車両制御装置、及び走路信頼度判定方法
KR20180024783A (ko) * 2016-08-31 2018-03-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Similar Documents

Publication Publication Date Title
JP7221089B2 (ja) 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
US9984303B2 (en) Object detection system, object detection method, POI information creation system, warning system, and guidance system
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US8184859B2 (en) Road marking recognition apparatus and method
US9898677B1 (en) Object-level grouping and identification for tracking objects in a video
KR101083394B1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN106709895A (zh) 图像生成方法和设备
US9310908B2 (en) Color sampling method and touch control device thereof
CN103366155B (zh) 通畅路径检测中的时间相干性
JP2007179386A (ja) 白線認識方法及び白線認識装置
JPH11351862A (ja) 前方車両検出方法及び装置
CN101383005A (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
US11062174B2 (en) Mobile entity detection apparatus, mobile entity detection method, and computer-readable recording medium
JP4128837B2 (ja) 路面走行レーン検出装置
KR20160129402A (ko) 열화상 카메라를 이용한 객체의 실신 상황 감지 방법 및 장치
KR20170055738A (ko) 영상 기반 주행 차로 판단 장치 및 방법
KR101333459B1 (ko) 차선 인식 방법 및 장치
WO2019001698A1 (en) ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD
KR102480023B1 (ko) 차선 검출 방법 및 이를 이용하는 차량
CN210256167U (zh) 智能避障系统及机器人
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
KR20060121503A (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
KR20150146374A (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant