KR102370976B1 - 객체 특징점을 이용한 차선 변경 지원 시스템 - Google Patents

Abstract

본 발명은 객체 특징점을 이용한 차선 변경 지원 시스템에 대한 것으로, 본 발명에 따르면 카메라를 통해 촬영된 영상을 통해 차선 정보 및 차선폭을 생성하고, 라이다의 스캔데이터를 통해 특징점을 추출하여 전방 객체의 형태, 자세, 차간 거리 등을 확인 한 후, 차선 변경 시점과 복귀 시점을 결정할 수 있고, 추월을 위한 차선 변경 시 안정적인 추월이 가능하도록 차선변경폭을 결정할 수 있다.

Description

객체 특징점을 이용한 차선 변경 지원 시스템{Lane change assist system using object characteristic point}

본 발명은 객체 특징점을 이용한 차선 변경 지원 시스템에 관한 것으로, 더욱 구체적으로는 라이다를 통해 인식된 객체의 특징점을 통해 자세를 판단하고 차선 변경 시점과 복귀 시점, 그리고 차선 변경 폭 등을 판단할 수 있도록 하는 기술에 대한 것이다.

스마트 자동차나 자율주행 자동차 분야에서 객체 인식은 가장 기초적이면서도 안전을 위해 반드시 필요한 기술적 요소이다. 특히 안전하게 주행 차로를 변경하기 위해서는 전방에 위치한 차량이나 장애물의 상태를 정확하게 판단한 후 차선 변경을 위한 주행 제어가 이루어져야 한다.

전반 차량을 탐지하기 위해서는 카메라나 라이다 등의 환경센서를 이용한다. 하지만 카메라에서 촬영된 영상을 분석하는 경우 전방에 차량이 존재한다는 정도만 알 수 있을 뿐, 상대 거리를 정확하게 알 수 없어서 차선 변경 시점이나 복귀 시점을 예측하는 데 한계가 있다.

또한 라이다를 이용하는 경우 전방 차량을 스캔한 데이터에서 대표점을 지정한 후 대표점의 상대 위치에 따라 차선 변경 시점이나 복귀 시점을 예측하고 차선 변경 폭을 결정하였다. 그러나 차량의 종류마다 폭과 길이가 다르고, 차량의 자세에 따라서도 차선 변경 방법이 유연하게 변경되어야 하는데, 대표점만을 이용하여 차선 변경/복귀 시점을 판단하고 차선 변경 폭을 결정하는 것은 위험할 수 있다.

한편, 자율주행 차량에서 차선 변경을 지원하는 종래기술로는 대한민국공개특허 제10-2019-0083317호(2019.07.11. '차량의 차선 변경에 관련된 알림을 제공하는 인공 지능 장치 및 그 방법') 등이 있다.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 카메라와 라이다를 이용하여 전방 차량이나 장애물의 특징점을 추출한 후 객체의 크기, 자세 등을 판단하여 차선 변경 시점, 복귀 시점 및 차선변경 폭 등을 결정할 수 있도록 지원 정보를 생성하는 기술을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 차선 변경 지원 시스템은, 카메라를 통해 촬영된 영상에서 차선폭 정보를 추출하는 차선정보생성부; 라이다를 통해 획득한 스캔데이터에서 객체를 인식하는 객체인식부; 상기 객체인식부에서 인식된 객체에서 특징점을 추출하는 특징점추출부; 상기 특징점추출부에서 추출된 특징점을 통해 해당 객체의 윤곽 정보를 생성하는 윤곽정보생성부; 및 상기 차선정보생성부에서 생성된 차선폭 정보, 상기 특징점추출부에서 추출된 특징점, 상기 윤곽정보생성부에서 생성된 윤곽 정보를 통해 차선 변경 시점, 차선변경폭 및 차선 복귀 시점을 결정하는 지원 정보를 생성하는 지원정보생성부;를 포함한다.

여기서, 상기 특징점추출부는 인식된 객체의 스캔데이터 중 시작점과 종료점을 특징점으로 추출하고, 상기 윤곽정보생성부는 상기 시작점과 종료점을 잇는 가상의 기준선에서 가장 거리가 먼 스캔데이터를 중간점으로 추출한 후, 시작점과 중간점을 이어주는 제1윤곽선, 중간점과 종료점을 이어주는 제2윤곽선을 윤곽선 정보로 생성할 수 있다.

또한, 상기 지원정보생성부는 상기 윤곽정보생성부에서 생성된 제1윤곽선과 제2윤곽선 중 짧은 윤곽선을 전방 차량의 후면이라 분류하고, 나머지 윤곽선이 후면으로 분류된 윤곽선에 대응하여 어느 위치에 존재하는지에 따라 전방 차량의 좌측면과 우측면으로 분류함으로써 차량의 자세를 판단할 수 있다.

또, 상기 지원정보생성부는 상기 시작점, 중간점 및 종료점 중 자기 차량과 가장 가까운 점이 기준값 이하로 줄어든 것이 확인되면 차선 변경 시점이 도래하였다는 지원 정보를 생성하여 출력하고, 상기 시작점, 중간점 및 종료점 중 차선을 변경하고자 하는 방향에 위치한 점을 통해 차선변경폭을 결정하여 지원 정보를 생성하며, 차선 변경이 이루어진 이후 상기 라이다를 통해 새롭게 스캔되어 추출된 시작점, 중간점 및 종료점 중 자기 차량에서 가장 전방에 위치한 점이 자기 차량의 후방으로 일정 기준 이상 후퇴한 것이 확인되면 차선 복귀 시점이 도래하였다는 지원 정보를 생성하여 출력할 수 있다.

또, 상기 지원정보생성부는 상기 제1윤곽선 및 제2윤곽선을 통해 전방 차량이 차선을 변경하고자 하는 방향으로 자세를 전환한 것이 확인되고, 상기 시작점, 중간점 및 종료점 중 차선을 변경하고자 하는 방향에 위치한 점의 횡방향 절대치가 증가하는 것이 확인되면, 차선 변경 금지에 대한 지원 정보를 생성하여 출력할 수 있다.

본 발명에 따른 차선 변경 지원 시스템은 카메라를 통해 촬영된 영상을 통해 차선 정보 및 차선폭을 생성하고, 라이다의 스캔데이터를 통해 특징점을 추출하여 전방 객체의 형태, 자세, 차간 거리 등을 확인 한 후, 차선 변경 시점과 복귀 시점을 결정할 수 있고, 추월을 위한 차선 변경 시 안정적인 추월이 가능하도록 차선변경폭을 결정할 수 있게 된다.

또한 전방 차량의 자세와 차폭참고용 특징점을 추적하여 전방 차량이 좌측 차로로 이동 중인 것이 확인된다면, 차선 변경 결정이 철회되도록 함으로써 동시 차선 변경에 따른 불의의 사고를 막아줄 수 있다.

도1은 본 발명의 실시예에 따른 차선 변경 지원 시스템을 설명하기 위한 블록도.
도2는 도1에 도시된 차선 변경 지원 시스템을 통해 차선 변경 지원 정보를 생성하는 과정을 설명하기 위한 흐름도.
도3은 도1에 도시된 차선 변경 지원 시스템에서 카메라에서 촬영된 영상을 통해 생성되는 차선 정보를 설명하기 위한 개념도.
도4는 라이다의 스캔 데이터를 통해 객체의 특징점을 추출하는 하나의 예시를 설명하기 위한 개념도.
도5는 라이다의 스캔 데이터를 통해 객체의 특징점을 추출하는 다른 예시를 설명하기 위한 개념도.
도6 및 도7은 전방 차량이 주행 차로와 평행한 상태일 때 차선 변경 지원 정보를 생성하는 원리를 설명하기 위한 개념도.
도8 및 도9는 전방 차량이 주행 차로 우측으로 방향 전환이 이루어진 상태일 때 차선 변경 지원 정보를 생성하는 원리를 설명하기 위한 개념도.
도10은 전방 차량이 주행 차로 좌측으로 방향 전환이 이루어진 상태일 때 차선 변경 지원 정보를 생성하는 원리를 설명하기 위한 개념도.

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.

도1은 본 발명의 실시예에 따른 차선 변경 지원 시스템을 설명하기 위한 블록도이다. 도1에 도시된 바와 같이 본 발명의 실시예에 따른 차선 변경 지원 시스템(100)은 차선정보생성부(110), 객체인식부(120), 특징점추출부(130), 윤곽정보생성부(140) 및 지원정보생성부(150)를 포함한다.

이러한 차선 변경 지원 시스템(100)은 카메라(10)의 촬영 영상을 통해 차선 정보를 생성하여 주행 경로를 예측하거나, 라이다(20)의 스캔 데이터를 통해 주변 객체를 인식하는 등 자율주행을 위해 필요한 다양한 기능을 수행할 수 있다. 그러나 도1에서는 차선 변경 지원에 필요한 정보를 생성하여 주행을 제어하는 외부 장치로 제공하는 기능 구성들만을 도시한 것이다

또한 차선 변경 지원 시스템(100), 카메라(10) 및 라이다(20)는 차량(200)에 탑재되어 있으며, 각각의 구성이 하나의 하드웨어 구성으로 통합되어 있을 수도 있고, 개별 하드웨어로 구성되어 서로 연동될 수도 있다. 또 차선 변경 지원 시스템(100)의 각 구성들은 소프트웨어적으로 설계되어 기능 구현이 이루어질 수도 있다. 더불어 이하에서는 카메라(10) 및 라이다(20)가 차선 변경 지원 시스템(100)과 별도의 구성이라고 도시하고 설명하겠지만, 실시하기에 따라 차선 변경 지원 시스템(100)이 카메라(10)와 라이다(20)를 포함할 수도 있다.

차선정보생성부(110)는 카메라(10)에서 획득한 영상 정보를 분석하여 차선 정보(차선 방정식)를 생성하고, 차선폭 등의 필요한 정보를 추출하기 위해 마련된다. 차선정보생성부(110)에서 생성된 차선 정보는 주행 제어를 위한 외부 장치로 보내어져 차선 중앙을 따라 안정적인 주행이 이루어지도록 하는 기초 정보로 활용된다.

여기서 카메라(10)는 차량(200) 주변을 촬영하여 영상 정보를 획득하는 구성이며, 예컨대 카메라(10)는 차량(200)의 전방, 후방, 측방 영상을 촬영하는 복수개의 카메라(10)를 포함할 수 있으나, 본 발명에서는 전방 영상을 촬영하는 카메라(10)에 대해서만 설명토록 한다.

객체인식부(120)는 라이다(20)의 스캔데이터(BP)에서 각각의 객체들을 인식하고 분리하기 위해 마련된다.

특징점추출부(130)는 객체인식부(120)에서 객체를 인식하면, 해당 객체를 이루고 있는 수 많은 점군 데이터에서 특징점을 추출하기 위해 마련된다. 예컨대 특징점추출부(130)는 라이다(20)의 스캔 방향에 따라 해당 객체의 점군 데이터에서 시작점(SP)과 종료점(FP)을 특징점으로 추출해 낼 수 있다.

윤곽정보생성부(140)는 특징점추출부(130)에서 추출된 특징점을 이용하여 소정의 알고리즘을 통해 객체의 윤곽 정보를 생성하기 위해 마련된다.

지원정보생성부(150)는 차선정보생성부(110)에서 생성된 차선 정보와, 윤곽정보생성부(140)에서 생성된 윤곽 정보를 통해 안정적인 차선 변경을 위해 필요한 차선 변경 지원 정보를 생성하기 위해 마련된다. 지원정보생성부(150)에서 생성된 차선 변경 지원 정보는 차량 제어를 위한 외부 장치로 보내어져 활용된다.

이상에서 설명한 차선 변경 지원 시스템(100)에 대해서는 도2 내지 도10을 통해 설명하게 되는 차선 변경 지원 방법의 설명을 통해 더욱 구체화될 것이다.

도2는 도1에 도시된 차선 변경 지원 시스템을 통해 차선 변경 지원 정보를 생성하는 과정을 설명하기 위한 흐름도이다.

먼저 카메라(10)는 차량(200) 전방 촬영하여 꾸준하게 영상 정보를 획득<S205>한다. 이후 차선정보생성부(110)는 카메라(10)의 촬영 영상을 분석하여 차선 정보를 생성<S210>한다. 즉, 도3에 도시된 바와 같이 차량(200)이 진행해야 할 전방의 차로 형태를 식으로 표현한 차선 정보를 획득하는 것이다. 이러한 차선 정보는 자기 차량(200)을 원점으로 하는 상대 좌표계 상에 표시되는 3차 방정식으로 표현되는데, 이를 통해 현재 주행 중인 차로의 좌측 차선(LL)과 우측 차선(RL) 사이의 거리, 즉 차선폭(W)을 알 수 있다. 또한 차선정보생성부(110)에서 생성된 차선 정보는 차량을 제어하는 외부 장치로 보내어지며, 주행 제어 수단이 차선 정보를 기초로 하여 차량(200)이 차선 중앙을 따라 안정적인 주행이 이루어지도록 한다.

한편 카메라(10)의 영상 촬영<S205>과 별개로 객체 탐지를 위해 라이다(20)에서는 차량(200) 주변을 스캔<S215>하여 스캔데이터(BP)를 획득한다. 라이다(Lidar)(20)는 전파 대신 직진성이 강한 고출력 펄스 레이저를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 대상 물체까지의 거리, 방향을 정밀하게 측정할 수 있는 장치를 말한다.

라이다(20)는 렌즈 등 광학부와 레이저 발광/수광부, 레이저 구동부, 레이저 신호를 처리하는 프로세서 등을 포함할 수 있다. 라이다(20)를 이용하면 점의 집합인 점구름(점군, Point cloud) 형태의 고정밀 데이터(점군데이터, Point Cloud Data, PCD)를 확보할 수가 있다.

이렇게 라이다(20)의 스캔 작업을 통해 스캔데이터(BP)를 확보하면, 객체인식부(120)는 스캔데이터(BP)에서 객체를 인식<S220>하고 객체별 스캔데이터(BP)를 분리한다. 라이다(20)의 스캔데이터(BP)에서 객체를 인식하고 객체별 스캔데이터(BP)를 분리하는 기술은 공지된 기술이기 때문에 자세한 설명은 생략토록 한다.

객체인식부(120)에서 객체를 인식하고 해당 객체에 대한 스캔데이터(BP)를 분리한 이후 특징점추출부(130)는 객체 탐지를 위해 객체의 특징점을 추출<S225>한다. 본 실시예에서는 특징점추출부(130)가 객체의 스캔데이터(BP)에서 시작점(SP)과 종료점(FP)을 특징점으로 추출한다. 즉 라이다(20)는 차량(200) 주변을 360도 회전하면서 스캔데이터(BP)를 취득하게 되는데, 차량(200)을 위에서 바라보았을 시 라이다(20)가 시계 방향으로 회전하며 스캔데이터(BP)를 취득한다면 전방에 위치한 객체의 경우 좌측 끝의 스캔데이터(BP)가 시작점(SP)이 되고 우측 끝의 스캔데이터(BP)가 종료점(FP)이 될 것이다.

이렇게 특징점추출부(130)에서 인식된 객체의 스캔데이터(BP)에서 특징점인 시작점(SP)과 종료점(FP)을 추출하면, 윤곽정보생성부(140)에서 추출된 특징점을 이용하여 객체의 윤곽 정보를 생성한다.

먼저 윤곽정보생성부(140)는 특징점추출부(130)에서 추출된 시작점(SP)과 종료점(FP)을 이어주는 가상의 기준선(BL)을 생성<S230>한다. 라이다(20)의 각 스캔데이터(BP)는 자기 차량(200)을 원점으로 하는 3차원의 상대좌표로 나타낼 수 있으며, 이러한 상대좌표계 상의 두 개 점인 시작점(SP)과 종료점(FP)을 이어주는 가상의 기준선(BL) 역시 상대좌표계 상에서 직선의 방정식으로 생성될 수 있다.

이후 윤곽정보생성부(140)는 가상의 기준선(BL)과 해당 객체의 스캔데이터(BP)들을 통해 중간점(CP)을 추출<S235>한다. 중간점(CP)이란 시작점(SP)과 종료점(FP) 사이에 위치하는 스캔데이터(BP) 중 가상의 기준선(BL)과 가장 멀리 떨어져 있는 점을 말한다. 이러한 중간점(CP)은 시작점(SP) 및 종료점(FP)과 함께 객체의 개략적인 윤곽을 알아내기 위한 기준점으로 활용되며, 스캔데이터(BP)들은 좌표 정보를 가지고 있기 때문에, 이들 스캔데이터(BP)에 포함된 점들과 가상의 기준선(BL) 사이의 직선 거리를 소정의 산술식을 통해 산출함으로써 가장 거리가 먼 점을 찾아낼 수 있고, 이렇게 찾아낸 가장 멀리 떨어진 점을 중간점(CP)으로 삼는 것이다.

다만 윤곽정보생성부(140)는 가상의 기준선(BL)에서 가장 멀리 떨어져 있는 중간점(CP)을 추출하되, 기준선(BL)과 중간점(CP) 사이의 거리가 미리 설정한 임계치 이상일 경우에는 중간점(CP)으로 추출하고, 임계치 미만일 경우에는 따로 중간점(CP)을 추출하지 아니한다.

임계치 미만일 경우 중간점(CP)을 추출하지 않는 것은 중간점(CP)을 추출하는 이유에서 연장된다. 즉 시작점(SP)과 종료점(FP) 사이에 위치한 스캔데이터(BP)에서 중간점(CP)을 추출하는 이유는 객체의 입체적인 형상을 파악하기 위함인데, 중간점(CP)이 기준선(BL)으로부터 임계치 미만으로 가까운 상태라면 해당 객체의 입체적인 형태에 크게 의미를 두지 않아도 된다는 의미이다. 따라서 기준선(BL)과 중간점(CP) 사이의 거리가 임계치 미만일 경우 따로 중간점(CP)을 추출하지 않는 것이다.

이렇게 라이다(20)의 스캔데이터(BP)에서 시작점(SP)과 종료점(FP)이라는 특징점을 추출하고, 시작점(SP)과 종료점(FP)을 잇는 가상의 기준선(BL)으로부터 가장 멀리 떨어진 위치의 중간점(CP)을 추출하고 나면, 윤곽정보생성부(140)는 시작점(SP), 중간점(CP) 및 종료점(FP)을 이용하여 윤곽 정보를 생성<S240>한다.

본 실시예에서 윤곽정보생성부(140)가 생성하는 윤곽 정보는 직선 형태의 윤곽선 정보가 된다. 여기서 윤곽선 정보는 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과, 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)으로 구분되는데, 만약 중간점(CP)이 기준선(BL)으로부터 임계치 미만으로 가깝기 때문에 따로 추출되지 아니하였을 경우 윤곽정보생성부(140)는 시작점(SP)과 종료점(FP)을 이어주는 제1윤곽선(C1)만 생성한다.

윤곽선(C1,C2)은 객체의 크기와 형태를 알려주는 정보가 되며, 만약 중간점(CP)이 추출되어 제1윤곽선(C1)과 제2윤곽선(C2)이 생성된다면 해당 객체의 대략적인 넓이까지 알 수 있게 된다.

윤곽정보생성부(140)에서 윤곽 정보를 생성하면, 지원정보생성부(150)에서는 차선정보 생성부(110)에서 생성된 차선 정보와, 특징점추출부(130)에서 추출된 특징점과, 윤곽정보생성부(140)에서 생성된 윤곽 정보를 이용하여 차선 변경을 위한 지원 정보를 생성<S245>한다. 차선 변경을 위한 지원 정보에 대해서는 이하에서 자세히 설명토록 한다.

한편, 지원정보생성부(150)는 해당 객체에 대한 대표점(RP)을 정해준다. 대표점(RP)이란 해당 객체의 위치 등을 대표하기 위한 점을 말하며, 이러한 대표점(RP)은 상대 차량의 위치에 따른 자기 차량(200)의 제어나 신호처리 등을 위해 활용된다. 또한 본 실시예에서 대표점(RP)은 차량(200)으로 판단된 객체의 후면 중간 지점에 위치한 스캔데이터(BP)를 사용하였다.

지원정보생성부(150)에서 차선 변경 지원 정보를 생성하는 구체적인 예시를 도4 내지 도10을 통해 설명하면 다음과 같다. 이하에서는 자기 차량(200)의 전방에 위치한 객체, 즉 전방 차량(300)을 추월(앞지르기)하는 과정을 예시로 하여 설명토록 하며, 추월은 교통 법규에 따라 좌측으로 진행 방향을 바꾸어 전방 차량(300)을 지나친 후 다시 본래 차로로 복귀하는 과정이라고 가정한다.

먼저 도4와 도5는 전방 차량(300)의 서로 다른 상태를 판단하는 과정을 설명하기 위한 개념도이다.

도4의 (a)를 참조하면 라이다(20)의 스캔을 통해 객체인식부(120)에서 전방 차량(300)이 인식되고, 전방 차량(300)에 대한 스캔데이터(BP)가 도3의 (b)와 같이 추출된다. 이후 특징점추출부(130)에서는 전방 차량(300)의 스캔데이터(BP)에서 좌측 끝의 시작점(SP)과 우측 끝의 종료점(FP)을 특징점으로 추출한다.

이후 윤곽정보생성부(140)는 시작점(SP)과 종료점(FP)을 이어주는 가상의 기준선(BL)을 생성하고, 기준선(BL)으로부터 가장 멀리 떨어져 있는 중간점을 추출한다. 단, 도4에 도시된 예시에서는 스캔데이터(BP)가 모두 기준선(BL)으로부터 임계치 미만으로 가깝기 때문에 중간점이 따로 추출되지 않았다.

중간점이 추출되지 않았기 때문에 윤곽정보생성부(140)는 시작점(SP)과 종료점(FP)을 이어주는 제1윤곽선(C1)만 생성하였고, 생성된 윤곽 정보를 통해 지원정보생성부(150)는 인식된 객체가 차량이고, 제1윤곽선(C1)은 차량의 후면이라고 분류한다. 또한 제1윤곽선(C1)의 중간 지점에 위치한 스캔데이터(BP)를 대표점(RP)으로 추출한다.

도4에서 지원정보생성부(150)가 인식된 객체를 차량이라고 분류한 이유는 제1윤곽선(C1)의 길이가 일정 기준 이상이기 때문이고, 제1윤곽선(C1)이 차량의 후면이라고 분류할 수 있는 이유는 중간점이 추출되지 않아 제2윤곽선(C2)에 대한 정보가 생성되지 않았기 때문이다.

반면 도5에 도시된 바와 같이 전방 차량이 차선 변경을 위해 주행 방향을 우측으로 틀었거나, 우측으로 틀어진 상태에서 정차된 상태라면 차선 변경 지원 시스템(100)에서도 다른 결과가 도출된다.

즉 도5의 (a)에 도시된 바와 같이 객체인식부(120)에서 라이다(20)의 스캔데이터(BP)로부터 객체를 인식하고 특징점추출부(130)에서 시작점(SP), 종료점(FP)을 추출하였으며, 윤곽정보생성부(140)에서 시작점(SP)과 종료점(FP)을 이어주는 기준선(BL)을 생성한 후, 나머지 스캔데이터(BP) 중 기준선(BL)으로부터 가장 멀리 떨어져 있고, 그 거리가 임계치 이상으로 판단된 중간점(CP)까지 추출하였다면, 이 경우 도5의 (b)에 도시된 바와 같이 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과, 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)이 생성된다.

이에 따라 지원정보생성부(150)는 생성된 윤곽 정보를 통해 인식된 객체가 차량이고, 제1윤곽선(C1)은 차량의 후면이며, 그 우측에 위치한 제2윤곽선(C2)을 차량의 우측면이라고 분류한다. 또한 제1윤곽선(C1)의 중간 지점에 위치한 스캔데이터(BP)를 대표점(RP)으로 추출한다.

도5에서는 가장 짧은 윤곽선인 제1윤곽선(C1)이 일정 기준 이상이기 때문에 지원정보생성부(150)가 인식된 객체를 차량이라고 분류한 것이고, 제1윤곽선(C1)이 제2윤곽선(C2)보다 짧기 때문에 제1윤곽선(C1)을 후면으로 분류한 것이며, 그 우측에 위치한 제2윤곽선(C2)을 우측면으로 분류한 것이다. 따라서 후면으로 분류된 제1윤곽선(C1)의 중간지점에 위치한 스캔데이터(BP)를 대표점(RP)으로 삼은 것이다.

한편 도4의 예시와 달리 전방 차량이 좌측으로 방향을 틀었다면, 전방 차량의 좌측 전방이 시작점(SP)으로 추출되고, 좌측 후방이 중간점(CP)으로 추출되며, 우측 후방이 종료점(FP)으로 추출될 것이다. 따라서 이 경우에는 좌측 전방의 시작점(SP)과 좌측 후방의 중간점(CP)을 이어주는 제1윤곽선(C1)과, 좌측 후방의 중간점(CP)과 우측 후방의 종료점(FP)을 이어주는 제2윤곽선(C2)이 생성되고, 제2윤곽선(C2)이 더 짧기 때문에 제2윤곽선(C2)을 차량의 후면이라 분류하고, 제1윤곽선(C2)의 좌측에 위치한 제1윤곽선(C1)을 차량의 좌측면이라 분류하며, 제2윤곽선(C2)의 중간에 위치한 스캔데이터를 대표점으로 지정하게 된다.

한편 이상의 알고리즘을 이용할 경우 지원정보생성부(150)는 인식된 객체를 차량과 보행자로 구분해줄 수도 있다.

즉 지원정보생성부(150)는 제1윤곽선(C1)과 제2윤곽선(C2) 중 짧은 윤곽선의 길이가 일정 기준 이상인지 여부에 따라 차량(200)이라고 분류한다고 설명한 바 있다. 따라서 스캔데이터(BP)를 분석한 결과 중간점이 추출되지 않아 제1윤곽선(C1)만 생성되었고, 제1윤곽선(C1)의 길이가 일정 기준 미만인 경우라면 보행자라고 분류할 수 있다.

이렇게 지원정보생성부(150)에서 각각의 객체(20,30)에 대한 분류가 이루어지고 나면, 그 결과 정보가 외부 장치로 보내어져 객체에 따른 차량 제어나 객체의 정밀 추적을 위해 활용될 수 있다. 더불어 지원정보생성부(150)는 이렇게 분류된 결과에 따라 차선 변경 시 차선 변경 시점 파악, 차선변경폭의 결정, 본 차로 복귀 시점 파악을 위한 지원 정보를 생성할 수 있다.

도6 및 도7은 자기 차량(200)과 전방 차량(300)이 나란하게 주행하고 있는 상태일 때 차선 변경 지원 정보를 생성하는 과정을 설명하기 위한 개념도이다. 보다 구체적으로 도6은 차선 변경 전에 차선 변경 시점과 차선변경폭을 결정하는 과정을 설명하기 위한 것이다.

자기 차량(200)의 주행 제어 수단(미도시)은 자기 차량(200)의 속도와 전방 차량(300)의 속도 차이, 차선 정보를 통한 차선 변경 가능 구역 여부(점선 구간인지 여부), 변경 하고자 하는 차로의 전 후방 상황 등을 종합적으로 고려하여 앞지르기(추월)를 결정하게 된다. 이때 대한민국의 교통법규에 따르면 앞지르기는 현재 주행중인 차로의 좌측 차로를 이용해야 한다. 더불어 차선을 변경하기 위해서는 차선 변경을 위한 시점과 차선변경폭도 미리 결정을 해야 한다.

다시 도6을 참조하면, 앞지르기를 결정한 차량(200)에서 차선정보생성부(110)는 차선폭(W)을 추출한다. 차선폭(W)은 좌측 차선(LL)과 우측 차선(RL) 사이의 최단 거리를 말하며, 자기 차량(200)을 원점으로 하는 상대좌표계 상에 표현되는 차선 방정식을 통해 소정의 연산 과정을 거쳐 구해낼 수 있다. 이렇게 추출된 차선폭(W) 정보가 지원정보생성부(150)에 보내어진다.

또한 지원정보생성부(150)는 특징점추출부(130)에서 추출된 특징점들 중에서 차폭참고용 특징점(RWP)과 시점참고용 특징점(RSP)을 지정한다.

차폭참고용 특징점(RWP)은 앞지르기를 위해 자기 차량(200)을 좌측 또는 우측으로 이동할 시 어느 정도 이동시켜야 안전이 확보되는지 참고하기 위한 점이다. 본 실시예에서는 앞지르기 시 좌측으로 차량(200)을 이동시켜야 하므로, 전방 차량(300)의 스캔데이터(BP) 중에서 상대좌표계 상 가장 좌측에 위치한 점. 즉 시작점(SP)을 차폭참고용 특징점(RWP)로 지정하였다. 이때 지정된 차폭참고용 특징점(RWP)은 자기 차량(200)을 원점으로 하는 상대좌표계(전방 방향이 X축, 횡방향이 Y축임)상에 표시될 수 있다. 즉 차폭참고용 특징점(RWP)은 상대좌표계 상에서 특정 좌표로 나타낼 수 있으며, 지원정보생성부(150)는 차폭참고용 특징점(RWP)의 y 값의 절대치를 차폭참고값(RW)으로 추출한다.

이후 지원정보생성부(150)는 차폭참고값(RW)과 차선폭의 반값(W/2)을 비교하고, 차폭참고값(RW)이 차선폭의 반값(W/2)보다 작거나 같다면, 차량(200)을 횡방향으로 이동시켜야 할 안전한 폭, 즉 차선변경폭을 차선폭(W)으로 결정한다. 이렇게 결정된 차선폭(W)에 대한 지원 정보는 주행 제어 수단(미도시) 등의 외부 장치로 전달되어 차선 변경 시 횡방향 이동 거리에 대한 참고 정보로 활용된다.

자기 차량(200)이 양쪽 차선(LL, RL)의 중앙을 따라 주행 중이라면, 차폭참고값(RW)이 차선폭의 반값(W/2)과 동일하다면, 전방 차량(300)의 좌측 후방(RWP)이 좌측 차선(LL)에 걸쳐 있는 상태라는 의미이다. 따라서 차폭참고값(RW)이 차선폭의 반값(W/2)과 같거나 작다는 것은, 전방 차량(300)의 좌측 후방(RWP)이 좌측 차선(LL)을 벗어나진 않았다는 것을 의미하므로, 자기 차량(200)이 차선폭(W)만큼, 즉 딱 한 차선 거리만큼만 횡방향으로 이동하더라도 전방 차량(300)과 저촉될 우려가 없게 된다.

한편 시점참고용 특징점(RSP)은 앞지르기 시점 또는 본 차로 복귀 시점을 결정하기 위해 참고하는 점이다. 보다 쉽게 설명하면 앞차와의 차간 거리를 참고하기 위한 점을 말하며, 전방 차량(300)의 스캔데이터(BP) 중 x 값이 가장 작은 점을 취하면 된다. 그러나 본 실시예에서는 지원정보생성부(150)가 특징점추출부(130)에서 추출된 시작점(SP)이나 종료점(FP) 또는 윤곽정보생성부(140)에서 생성된 중간점(CP) 중에서 시점참고용 특징점(RSP)을 지정하게 된다. 즉 시작점(SP), 종료점(FP) 또는 중간점(CP) 중에서 x 값의 절대치가 가장 작은 점을 시점참고용 특징점(RSP)으로 취하는 것이다. 물론 도6에 도시된 상태에서는 중간점(CP)이 존재하지 않고, 시작점(SP)과 종료점(FP)의 x 값은 동일할 것이기 때문에, 시작점(SP)과 종료점(FP) 중 어느 것을 시점참고용 특징점(RSP)으로 잡아도 좋다. 본 실시예에서는 지원정보생성부(150)가 종료점(FP)을 시점참고용 특징점(RSP)으로 지정하였다고 가정한다.

이후 지원정보생성부(150)는 시점참고용 특징점(RSP)의 x 좌표 절대치를 통해 시점참고값(RS)의 변화를 확인한다. 즉 시점참고값(RS)은 자기 차량(200)과 전방 차량(300) 사이의 거리를 나타내는 것이므로, 시점참고값(RS)의 변화는 차간 거리의 변화를 말하는 것이다. 따라서 지원정보생성부(150)에서 시점참고값(RS)이 미리 지정된 기준값 이하로 줄어든 것이 확인되면 차선 변경 시점이 도래한 것으로 간주하고 지원 정보를 생성하여 출력한다.

도7은 자기 차량(200)이 차선폭(W) 만큼 좌측으로 이동하여 앞지르기를 시도하고 있는 중간 과정을 설명하기 위한 개념도이다.

차선 변경 직전에 시점참고값(RS)을 통해 차선 변경 시점을 결정하였고, 차폭참고값(RW)을 통해 차선변경폭을 결정하여 차선폭(W)만큼 좌측으로 이동한 상태를 도7에서 확인할 수 있다. 도7의 상태에서는 이미 차선 이동이 이루어진 만큼, 차폭참고용 특징점(RWP)과 차폭참고값(RW)은 크게 의미가 없게 된다. 다만 차선 변경 후 속도를 높여 전방 차량(300)을 충분히 앞서간 이후에는 다시 본래 차로로 복귀해야 한다. 이때 안전한 복귀 시점을 판단하기 위해서는 새로운 시점참고용 특징점(RSP)을 지정해야만 한다.

차선 변경 전에는 지원정보생성부(150)가 전방 차량(300)의 스캔데이터(BP)에서 추출한 특징점 중 x 값이 가장 작은 것을 시점참고용 특징점(RSP)으로 지정하였지만, 도7과 같이 차선 변경이 이루어지고 난 후에는 복귀 시점을 판단하기 위한 용도이기 때문에 다른 방식으로 시점참고용 특징점(RSP)을 지정한다.

즉, 도7의 상태에서 라이다(20)가 전방 차량(300)을 스캔하여 스캔데이터(BP)가 확보된다면, 특징점추출부(130)에서 추출되는 시작점(SP)은 전방 차량의 전방 좌측 지점이 될 것이고, 종료점(FP)은 전방 차량의 후방 좌측 지점이 될 것이다.

지원정보생성부(150)는 이렇게 특징점추출부(130)에서 새롭게 추출된 특징점 중에서 x 값이 양의 값을 가지면서도 가장 큰 값을 갖는 특징점을 시점참고용 특징점(RSP)으로 지정한다. 즉 전방 차량(300)에서 X축으로 가장 멀리 있는 점을 복귀를 위한 시점 참고용으로 활용하고자 하는 것이다. 이에 따라 특징점추출부(130)에서 새롭게 추출된 특징점 중, 전방 차량(300)의 좌측 전방에 해당하는 시작점(SP)이 시점참고용 특징점(RSP)으로 지정된다.

이후 지원정보생성부(150)는 시점참고용 특징점(RSP)의 x 좌표가 음의 값으로 바뀌고 그 절대값이 미리 지정된 일정 기준값에 도달하는지 확인하여 복귀 시점으로 결정하여 지원 정보를 생성하고 출력한다. 즉 지원정보생성부(150)는 새롭게 지정된 시점참고용 특징점(RSP)의 x 좌표 변화를 통해 자기 차량(200)이 전방 차량(300)의 최전방 위치를 지나 충분하게 앞서 갔는지 확인하는 것이며, 그렇게 복귀 시점이 결정되면 주행 제어 수단(미도시)에서 다시 본래 차선인 우측 차선으로 복귀하도록 차량 제어를 수행하게 된다. 물론 차로 복귀 시에는 차선 변경시 이동한 횡방향 거리, 즉 차선변경폭(=W)만큼 우측으로 이동하게 된다.

도8 및 도9는 자기 차량(200)은 차로 중심을 따라 정상적으로 주행하고 있으나, 전방 차량(300)이 우측으로 방향이 전환된 상태이거나, 그 상태에서 정차된 상태일 때 차선 변경 지원 정보를 생성하는 과정을 설명하기 위한 개념도이다.

먼저 도8을 참고하면, 앞지르기를 결정한 차량(200)의 차선정보생성부(110)에서 차선폭(W) 정보가 추출되어 지원정보생성부(150)에 보내어진 상태이고, 지원정보생성부(150)는 특징점추출부(130)에서 추출된 시작점(SP) 및 종료점(FP)과, 윤곽정보생성부(140)에서 생성된 중간점(CP) 중에서 차폭참고용 특징점(RWP)과 시점참고용 특징점(RSP)을 지정한다.

지원정보생성부(150)가 차폭참고용 특징점(RWP)을 지정할 시에는 특징점들 중에서 상대좌표계 상 가장 좌측에 위치한 점을 지정한다고 하였으므로, 도8에서는 전방 차량(300)의 좌측 후방인 시작점(SP)을 차폭참고용 특징점(RWP)로 지정하였다. 또한 지원정보생성부(150)는 차폭참고용 특징점(RWP)의 y 값의 절대치를 차폭참고값(RW)으로 추출한다.

이후 지원정보생성부(150)는 차폭참고값(RW)과 차선폭의 반값(W/2)을 비교한다. 도8의 경우에는 차폭참고값(RW)이 차선폭의 반값(W/2)보다 크다. 이는 전방 차량(300)의 일부분이 좌측 차선(LL)을 침범하고 있는 상태라는 것을 의미한다. 따라서 도8의 상태에서 차선변경폭을 차선폭(W)으로 결정한다면, 전방 차량(300)과 접촉사고가 발생할 가능성이 크다. 이를 위해 지원정보생성부(150)는 차폭참고값(RW)이 차선폭의 반값(W/2)보다 큰 것이 확인되었을 경우에는, 차선변경폭을 다음과 같은 수학식으로 결정한다.

[수학식 1]

차선변경폭 = 차선폭 + (차폭참고값 - 차선폭의 반값)

도8에서 차선폭은 W이고, 차폭참고값은 RW이며, 차선폭의 반값은 W/2이다. 이들 변수들의 값은 좌표일 수도 있고, 거리일 수도 있으나, 모두 좌표값으로 또는 거리값으로 변환이 이루어진 후 연산이 이루어질 수 있다.

도6의 과정에서는 차선변경폭을 차선폭(W)으로 결정하였다. 즉 차폭참고값(RW)이 차선폭의 반값(W/2)보다 작아 전방 차량(300)이 좌측 차선(LL)을 침범하지 않은 상태이기 때문에, 한 차로 거리(W) 만큼만 이동하더라도 안전하다는 것이다.

그러나 도8의 과정에서는 차선변경폭을 차선폭(W)에 차폭참고값(RW)과 차선폭의 반값(W/2)을 뺀 값만큼 추가로 더해주었다. 이는 전방 차량(300)이 좌측 차선(LL)을 침범하여 돌출된 거리만큼을 추가시킨다는 의미이다.

따라서 도9에 도시된 바와 같이 자기 차량(200)은 차선폭(W)에 전방 차량(300)이 좌측 차선(LL)을 침범하여 돌출된 거리(RW-W/2)만큼 추가로 이동함으로써 안전하게 앞지르기를 시도할 수 있게 된다.

한편 도8의 상태에서 앞지르기 시점을 결정 할 시에는 전방 차량(300)의 스캔데이터(BP) 중 x 값이 가장 작은 점인 중간점(CP)이 시점참고용 특징점(RSP)으로 지정되고, 시점참고용 특징점(RSP)의 x 좌표 절대치인 시점참고값(RS)이 미리 지정된 기준값 이하로 줄어든 것이 확인되면 차선 변경 시점이 도래한 것으로 간주하고 지원 정보를 생성하여 출력한다.

또한 도9와 같이 차선 변경이 이루어지고 나면, 안전한 복귀 시점을 판단하기 위해 새로운 시점참고용 특징점(RSP)을 지정한다. 즉, 지원정보생성부(150)는 특징점추출부(130)에서 새롭게 추출된 특징점 중에서 x 값이 양의 값을 가지면서도 가장 큰 값을 갖는 특징점인 전방 차량(300)의 좌측 전방에 해당하는 시작점(SP)을 시점참고용 특징점(RSP)으로 지정한다.

이후 지원정보생성부(150)는 시점참고용 특징점(RSP)의 x 좌표가 음의 값으로 바뀌고 그 절대값이 미리 지정된 일정 기준값에 도달하는지 확인하여 복귀 시점으로 결정하여 지원 정보를 생성하고 출력한다. 즉 자기 차량(200)이 전방 차량(300)의 최전방 위치를 지나 충분하게 앞서 갔는지 확인하는 것이며, 그렇게 복귀 시점이 결정되면 주행 제어 수단(미도시)에서 다시 본래 차선인 우측 차선으로 복귀하도록 차량 제어를 수행하게 된다.

이때 도9의 상태에서 본래 차로로 복귀할 때에는 차선 변경시 이동한 횡방향 거리, 즉 차선변경폭(=W + (RW-W/2))만큼 우측으로 이동하게 된다.

도10은 전방 차량이 주행 차로 좌측으로 방향 전환이 이루어진 상태일 때 차선 변경 지원 정보를 생성하는 원리를 설명하기 위한 개념도이다.

도10의 상황은 도5의 상황과 유사하지만, 전방 차량(300)이 우측이 아닌 좌측으로 방향 전환이 이루어진 상태인 것에서만 차이가 난다. 따라서 도10의 상황에서 윤곽정보생성부(140)는 시작점(SP)과 중간점(CP)을 이어주는 제1윤곽선(C1)과, 중간점(CP)과 종료점(FP)을 이어주는 제2윤곽선(C2)이 생성되고, 지원정보생성부(150)는 생성된 윤곽 정보를 통해 인식된 객체가 차량이고, 제2윤곽선(C2)은 차량의 후면이며, 그 좌측에 위치한 제1윤곽선(C1)을 차량의 좌측면이라고 분류한다.

도10의 상황에서 자기 차량(200)이 전방 차량(300)의 추월을 시도한다면, 전방 차량(300)의 좌측 전방인 시작점(SP)이 차폭참고용 특징점(RWP)으로 지정되어 차선변경폭이 결정될 것이고, 전방 차량(300)의 좌측 후방인 중간점(CP)이 먼저 시점참고용 특징점(RSP)으로 지정되어 차선 변경 시점이 결정될 것이며, 차선 변경 이후에는 전방 차량(300)의 우측 전방이 새로운 특징점으로 추출된 후 시점참고용 특징점(RSP)으로 지정되어 본 차로 복귀 시점이 결정될 것이다. 그 원리는 도8 및 도9을 통해 충분히 유추 가능하다.

하지만, 도10의 상태에서 전방 차량(300)이 정차 또는 후진하는 상태라면, 도8 및 도9의 원리를 통해 추월이 이루어져도 무방하다. 하지만 전방 차량(300)이 전진 중인 상태라면, 전방 차량(300) 역시 좌측 차로로 차선을 변경하는 과정이다. 따라서 이 과정에서 자기 차량(200)이 함께 좌측으로 차로를 이동하여 추월을 시도하는 것은 매우 위험하다.

이를 위해 지원정보생성부(150)는 윤곽정보생성부(140)에서 생성된 제1윤곽선(C1) 및 제2윤곽선(C2)을 통해 차량이 좌측으로 방향 전환이 이루어진 것이 확인되었고, 차폭참고용 특징점(RWP)을 확인한 결과, 차폭참고값(RW)이 증가하고 있는 것이 확인되면, 전방 차량(300)이 좌측으로 차로를 변경 중인 것이라고 간주 한 후, 차선 변경 금지에 대한 지원 정보를 생성하여 출력한다. 따라서 주행 제어 수단(미도시)에서 앞지르기를 결정하였다 하더라도, 차선 변경 금지에 대한 지원 정보가 입력됨에 따라 앞지르기 결정을 중단할 수 있게 된다.

이상에서 상세히 설명한 바와 같이 본 발명에 따른 차선 변경 지원 시스템(100)은 카메라(10)를 통해 촬영된 영상을 통해 차선 정보 및 차선폭(W)을 생성하고, 라이다(20)의 스캔데이터(BP)를 통해 특징점을 추출하여 전방 객체의 형태, 자세, 차간 거리 등을 확인 한 후, 차선 변경 시점과 복귀 시점을 결정할 수 있고, 추월을 위한 차선 변경 시 안정적인 추월이 가능하도록 차선변경폭을 결정할 수 있게 된다.

또한 전방 차량(300)의 자세와 차폭참고용 특징점(RWP)을 추적하여 전방 차량(300)이 좌측 차로로 이동 중인 것이 확인된다면, 차선 변경 결정이 철회되도록 함으로써 동시 차선 변경에 따른 불의의 사고를 막아줄 수 있다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

10 : 카메라
20 : 라이다
100 : 차선 변경 지원 시스템
110 : 차선정보생성부
120 : 객체인식부
130 : 특징점추출부
140 : 윤곽정보생성부
150 : 지원정보생성부
200 : 자기 차량
300 : 전방 차량

Claims (5)

1. 카메라를 통해 촬영된 영상에서 차선폭 정보를 추출하는 차선정보생성부;
   라이다를 통해 획득한 스캔데이터에서 객체를 인식하는 객체인식부;
   상기 객체인식부에서 인식된 객체에서 특징점을 추출하는 특징점추출부;
   상기 특징점추출부에서 추출된 특징점을 통해 해당 객체의 윤곽 정보를 생성하는 윤곽정보생성부; 및
   상기 차선정보생성부에서 생성된 차선폭 정보, 상기 특징점추출부에서 추출된 특징점, 상기 윤곽정보생성부에서 생성된 윤곽 정보를 통해 차선 변경 시점, 차선변경폭 및 차선 복귀 시점을 결정하는 지원 정보를 생성하는 지원정보생성부;를 포함하되,
   상기 특징점추출부는 인식된 객체의 스캔데이터 중 시작점과 종료점을 특징점으로 추출하고,
   상기 윤곽정보생성부는 상기 시작점과 종료점을 잇는 가상의 기준선에서 가장 거리가 먼 스캔데이터를 중간점으로 추출한 후, 시작점과 중간점을 이어주는 제1윤곽선, 중간점과 종료점을 이어주는 제2윤곽선을 윤곽선 정보로 생성하는 것을 특징으로 하는 차선 변경 지원 시스템.
   
2. 삭제
3. 제1항에 있어서,
   상기 지원정보생성부는 상기 윤곽정보생성부에서 생성된 제1윤곽선과 제2윤곽선 중 짧은 윤곽선을 전방 차량의 후면이라 분류하고, 나머지 윤곽선이 후면으로 분류된 윤곽선에 대응하여 어느 위치에 존재하는지에 따라 전방 차량의 좌측면과 우측면으로 분류함으로써 차량의 자세를 판단하는 것을 특징으로 하는 차선 변경 지원 시스템.
   
4. 제3항에 있어서,
   상기 지원정보생성부는 상기 시작점, 중간점 및 종료점 중 자기 차량과 가장 가까운 점이 기준값 이하로 줄어든 것이 확인되면 차선 변경 시점이 도래하였다는 지원 정보를 생성하여 출력하고, 상기 시작점, 중간점 및 종료점 중 차선을 변경하고자 하는 방향에 위치한 점을 통해 차선변경폭을 결정하여 지원 정보를 생성하며, 차선 변경이 이루어진 이후 상기 라이다를 통해 새롭게 스캔되어 추출된 시작점, 중간점 및 종료점 중 자기 차량에서 가장 전방에 위치한 점이 자기 차량의 후방으로 일정 기준 이상 후퇴한 것이 확인되면 차선 복귀 시점이 도래하였다는 지원 정보를 생성하여 출력하는 것을 특징으로 하는 차선 변경 지원 시스템.
   
5. 제3항에 있어서,
   상기 지원정보생성부는 상기 제1윤곽선 및 제2윤곽선을 통해 전방 차량이 차선을 변경하고자 하는 방향으로 자세를 전환한 것이 확인되고, 상기 시작점, 중간점 및 종료점 중 차선을 변경하고자 하는 방향에 위치한 점의 횡방향 절대치가 증가하는 것이 확인되면, 차선 변경 금지에 대한 지원 정보를 생성하여 출력하는 것을 특징으로 하는 차선 변경 지원 시스템.

Images