KR102178585B1

KR102178585B1 - 주변 차량 자세 추정 시스템

Info

Publication number: KR102178585B1
Application number: KR1020190079104A
Authority: KR
Inventors: 박만복
Original assignee: 한국교통대학교산학협력단
Priority date: 2019-07-02
Filing date: 2019-07-02
Publication date: 2020-11-13
Anticipated expiration: 2039-07-02

Abstract

본 발명은 주변 차량 자세 추정 시스템에 관한 것으로, 본 발명에 따르면 라이다 등의 환경센서를 이용하여 전방 주행 중인 차량의 주행 자세를 추정할 수 있도록 함으로써, V2X 장치가 탑재되지 않은 차량에 대해서도 움직임을 예측하고 돌발 상황에 대비할 수 있다.

Description

주변 차량 자세 추정 시스템{Attitude estimation system of surrounding vehicles}

본 발명은 주변 차량 자세 추정 시스템에 관한 것으로, 더욱 구체적으로는 라이다를 이용하여 전방 주행 차량의 자세를 판단하고 주행 경로를 예측하여 대비할 수 있도록 하는 기술에 대한 것이다.

스마트 자동차나 자율주행 자동차 분야에서는 자기 차량의 위치를 정확히 파악(측위)하는 기술과 더불어, 주변에서 주행중인 차량의 움직임도 파악하여 차선 변경 등을 미리 예측하고 대비하는 기술이 필수적으로 요구된다.

이를 위해 대한민국등록특허 제10-1399026호(2014.05.19. '차선 변경 시 위험 알림 시스템 및 그 방법')에서는 V2X 통신 기술을 이용하여 주변 차량의 움직임을 파악하고 위험 상황이 확인되면 운전자에게 알릴 수 있도록 하는 기술을 제공하고 있다.

V2X 통신이란 차량을 중심으로 유무선망을 통해 정보를 제공하는 기술을 말하는데, 차량과 차량 사이의 무선 통신(V2V, Vehicle to Vehicle), 차량과 인프라 간 무선 통신(V2I, Vehicle to Infrastructure), 차량 내 유무선 네트워킹(IVN, In-Vehicle Networking), 차량과 이동 단말 간 통신(V2P, Vehicle to Pedestrian) 등을 총칭한다.

이 중 V2V(차량 간 통신) 기술을 이용하면 차량들이 서로 위치, 속도, 요 레이트(yaw rate), 스티어링 조작 정보 등을 공유함으로써 돌발 상황에 대비하거나 운전자에게 비상 상황을 경고할 수 있다. 이러한 V2V 기술을 포함하는 V2X 통신 기술은 스마트 자동차나 자율주행 자동차에는 필수적으로 탑재되고 있다.

따라서 도로 위를 주행하는 모든 차량에 V2X 장치가 탑재되어 있다면 모든 차량들이 서로 정보를 공유함으로써 돌발 상황에 대비할 수 있지만, V2X 장치가 탑재되지 않은 차량들이 섞여 있는 상태에서 도로 주행이 이루어지는 것이 일반적이기 때문에, V2X에 의존하지 않고 상대 차량의 자세를 판단하고 대비해야 하는 기술도 절실하게 요구되는 바이다.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 라이다 등의 환경센서를 이용하여 전방 주행 중인 차량의 주행 자세를 추정할 수 있도록 함으로써, V2X 장치가 탑재되지 않은 차량에 대해서도 움직임을 예측하고 돌발 상황에 대비할 수 있도록 하는 기술을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 주변 차량 자세 추정 시스템은, 차량 주변을 스캔하여 객체를 인식하는 환경센서; 및 상기 환경센서의 스캔 데이터를 통해 상대 차량의 자세 변화를 추정하는 자세추정수단;을 포함한다.

여기서, 상기 자세추정수단은, 상기 환경센서에서 인식한 객체에서 상기 상대 차량의 특징점을 추출하는 특징점추출부A; 및 상기 특징점추출부A에서 추출된 상대 차량의 특징점을 자기 차량 기준의 상대좌표계에 나타내어, 자기 차량 기준으로 상기 상대 차량의 자세 변화을 판단하는 자세판단부;를 포함한다.

또한, 상기 자세추정수단은, 상기 환경센서의 스캔 데이터에서 연석 정보를 추출하는 연석정보추출부; 및 상기 연석정보추출부에서 추출된 연석 정보를 이용하여 주행 영역을 확인하는 주행영역확인부;를 더 포함하고, 상기 특징점추출부A 및 자세판단부는 상기 주행영역확인부에서 확인된 주행 영역 내의 객체에 대해서만 특징점을 추출하고 자세 변화를 판단할 수 있다.

또, 상기 환경센서에서 인식한 객체의 고정 및 이동 여부를 판단하는 객체구분수단;을 더 포함하고, 상기 자세추정수단은 상기 객체구분수단에서 판단된 이동 객체에 대해서만 자세 변화를 판단할 수 있다.

또, 상기 객체구분수단은, 상기 환경센서에서 인식한 객체에서 특징점을 추출하는 특징점추출부B; 상기 특징점추출부B에서 추출된 특징점의 상대좌표계를 통해 3개 특징점으로 이루어지는 삼각형의 면적을 시차를 두고 반복 산출하는 면적연산부; 상기 면적연산부에서 산출된 삼각형 면적의 변화율을 확인하는 변화율확인부; 및 상기 변화율확인부의 삼각형 면적 변화율 확인 결과에 따라 고정객체와 이동객체를 구분하는 판정부;를 포함할 수 있다.

또, 상기 객체구분수단은, 상기 차량의 정차 여부를 확인하는 차량이동확인부;를 더 포함하고, 상기 판정부는 상기 차량이동확인부를 통해 상기 차량이 정차 상태인 것이 확인될 경우에 먼저 고정객체와 이동객체를 구분하되, 상기 삼각형의 면적 변화율이 기준 미만일 경우 3개 특징점에 대한 객체들을 고정객체로 확정하며, 이후 상기 차량이동확인부를 통해 상기 차량이 정차 상태가 아닌 것이 확인되면, 상기 특징점추출부B는 상기 판정부에서 고정객체로 확정된 객체의 특징점 중 2개의 특징점과, 판단하고자 하는 객체의 1개 특징점을 추출하고, 상기 면적연산부는 고정 2개의 특징점과 판단 대상 1개 특징점으로 이루어지는 삼각형의 면적을 연산하고, 상기 변화율확인부에서 면적 변화율이 기준 미만인 것이 확인되면 상기 판정부는 판단하고자 하는 객체를 고정객체로 확정하고, 상기 변화율확인부에서 면적 변화율이 기준 이상인 것이 확인되면 상기 판정부는 판단하고자 하는 객체를 이동객체로 확정할 수 있다.

본 발명에 따른 주변 차량 자세 추정 시스템에 의하면, 기본적으로 V2X 장치를 통해 주변 차량의 자세나 경로를 예측할 수 있고, 만약 상대 차량에 V2X 장치가 탑재되어 있지 않다면 라이다 등의 환경센서를 이용한 스캔 데이터를 이용하여 실시간 자세 변화를 판단하고 예측할 수 있다. 따라서 주변의 모든 차량의 자세를 추적하여 차선 급변경 등의 돌발 상황이 발생하더라도 이를 신속히 인지한 후 속도를 줄이거나 운전자의 주의를 환기시킬 수가 있다.

또한 본 발명에서는 라이다의 스캔 데이터 전체에서 인식되는 객체를 대상으로 자세를 추정하는 것이 아니라, 좌우측 연석 사이에 위치하는 주행 영역에 존재하는 객체에 대해서만 자세를 추정하기 때문에 데이터 처리 속도를 높여줄 수 있다.

더불어 좌우측 연석 사이의 주행 영역에 존재하는 객체라 하더라도, 도로변에 세워진 주정차 차량이나 도로 위에 설치된 표지판의 경우에는 굳이 자세 추정을 하지 않아도 될 것인데, 본 발명에서는 객체구분수단을 통해 이동객체와 고정객체를 정확하게 구분한 후, 고정객체는 제외하고 이동객체에 대해서만 정확하고 빠르게 자세 변화를 추적할 수 있다.

도1은 본 발명의 실시예에 따른 주변 차량 자세 추정 시스템을 설명하기 위한 블록도.
도2는 도1에 도시된 자세 추정 시스템에서 자세추정수단을 설명하기 위한 블록도.
도3은 도1에 도시된 자세 추정 시스템에서 객체구분수단을 설명하기 위한 블록도.
도4는 본 발명의 실시예에 따른 자세 추정 방법을 설명하기 위한 흐름도.
도5는 라이다의 스캔 데이터를 통해 연석과 상대 차량을 인식한 상태를 설명하기 위한 개념도.
도6은 상대 차량이 자세를 변경한 상태를 설명하기 위한 개념도.
도7은 고정객체와 이동객체의 구분 방법을 설명하기 위한 흐름도.
도8은 자기 차량의 정차 상태에서 고정객체를 확정하는 과정을 설명하기 위한 흐름도.
도9는 자기 차량의 이동 상태에서 고정객체와 이동객체를 구분하는 과정을 설명하기 위한 흐름도.
도10은 세 개의 고정객체들 사이의 면적 변화를 설명하기 위한 도면.
도11은 두 개의 고정객체와 한 개의 이동객체 사이의 면적 변화를 설명하기 위한 도면.

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.

도1은 본 발명의 실시예에 따른 주변 차량 자세 추정 시스템(이하 '자세 추정 시스템'이라 함)을 설명하기 위한 블록도이다. 자세 추정 시스템(100)은 라이다(110)의 스캔 데이터를 이용하여 주변 차량, 더욱 구체적으로는 자기 차량(10)의 전방에서 주행하는 상대 차량(20)의 자세를 판단하고 그 결과를 출력함으로써 돌발 상황에 대비할 수 있도록 하는 시스템이다. 이러한 자세 추정 시스템(100)은 환경센서, 자세추정수단(130), 객체구분수단(140) 및 객체추적부(150)를 포함한다. 또한 자세 추정 시스템(100)의 각 구성들은 차량에 탑재되어 있으며, 각각의 구성이 하드웨어 구성으로 통합되어 있을 수도 있고, 개별 하드웨어로 구성되어 서로 연동될 수도 있다. 또한 자세 추정 시스템(100)의 일부 구성들은 소프트웨어적으로 설계될 수도 있다.

환경센서는 자기 차량(10) 주변의 물체들을 스캔 또는 촬영하고 데이터를 취득 및 처리하여 객체를 인식하기 위해 마련된다. 환경센서로는 레이저 스캐너, 레이더(Radar), 라이다(Lidar), 카메라 등이 활용될 수 있으며 본 실시예에서는 환경센서로서 라이다(110)가 사용된 예시를 도시하고 설명토록 한다.

자세추정수단(130)은 라이다(110)를 통해 스캔된 데이터를 이용하여 상대 차량(20)의 자세를 판단하고 진행 방향 변화를 추정하기 위해 마련된다.

객체구분수단(140)은 자기 차량(10) 주변의 사물이 고정객체인지, 이동객체인지 파악하기 위해 마련된다.

객체추적부(150)는 자기 차량(10) 주변의 객체를 정밀 추적하기 위해 마련된다.

도2는 도1에 도시된 자세 추정 시스템에서 자세추정수단을 설명하기 위한 블록도이다. 도2에 도시된 바와 같이 자세추정수단(130)은 연석정보추출부(131), 주행영역확인부(132), 특징점추출부A(133) 및 자세판단부(134)를 포함한다. 여기서 특징점추출부A(133)에 덧붙여 표기된 'A'는 객체구분수단(140)의 특징점추출부B(142)와 구분하기 위한 식별 표식에 불과하며 큰 의미를 갖지는 아니한다. 또한 자세추정수단(130)과 객체구분수단(140)이 각각 특징점추출부(133,142)를 포함한 것으로 도시하였지만, 하나의 특징점추출부만 구비된 후 기능을 공유할 수도 있다.

연석정보추출부(131)는 라이다(110)의 스캔 데이터에서 연석(162)을 인식하기 위해 마련된다. 즉 연석정보추출부(131)는 라이다(110)의 스캔 데이터에 포함된 연속적인 점 데이터를 통해 연속적인 직선이나 곡선 형태로 이루어지는 연석(162)을 인식할 수 있다.

주행영역확인부(132)는 연석정보추출부(131)에서 인식한 연석(162) 정보를 이용하여 차량(10,20)이 주행할 수 있는 주행 영역을 확인하기 위해 마련된다. 예컨대 주행영역확인부(132)는 연석정보추출부(131)에서 인식한 특정 형태의 직선 또는 곡선으로 이루어지는 좌측 연석(162)과 우측 연석(162) 사이의 영역을 주행 영역으로 간주할 수 있다. 주행영역확인부(132)에서 좌우측 연석(162) 사이의 영역을 주행 영역으로 확인하는 이유는, 연석(162) 밖의 객체에 대해서는 굳이 자세 추정을 할 필요가 없기 때문이며, 주행 영역 내의 객체에 대해서만 자세 추정이 가능토록 함으로써 데이터 처리 속도를 높이기 위함이다.

특징점추출부A(133)는 라이다(110)를 통해 객체를 인식하면, 해당 객체의 모서리 또는 꼭지점 등의 특징점(21,22,23)을 추출하기 위해 마련된다.

자세판단부(134)는 주행영역확인부(132)에서 확인한 주행 영역 내에서 주행 중인 객체, 즉 상대 차량(20)의 자세를 판단하고 그 결과를 출력하기 위해 마련된다. 보다 구체적으로 자세판단부(134)는 특징점추출부A(133)에서 추출된 상대 차량(20)의 특징점(21,22,23)을 자기 차량(10) 기준의 상대좌표계 상에 나타내어, 자기 차량(10) 기준으로 상대 차량(20)의 진행 방향, 즉 헤딩 앵글(Heading angle)을 판단한다.

이상 설명한 자세추정수단(130)은 이하에서 도4를 통해 설명하게 되는 자세 추정 방법의 설명으로부터 더욱 구체화 될 것이다.

도3은 도1에 도시된 자세 추정 시스템(100)에서 객체구분수단(140)을 설명하기 위한 블록도이다. 도3에 도시된 바와 같이 객체구분수단(140)은 차량이동확인부(141), 특징점추출부B(142), 면적연산부(143), 변화율확인부(144) 및 판정부(145)를 포함한다. 객체구분수단(140)은 라이다(110)의 스캔 데이터를 통해 특정 객체의 고정 및 이동 여부를 판정하고, 판정 결과를 자세추정수단(130) 또는 객체추적부(150)로 출력함으로써 고정객체 또는 이동객체를 정밀 추적할 수 있도록 한다. 객체구분수단(140)이 고정객체와 이동객체를 구분하는 이유는 이동객체에 대해서만 자세 추정이 이루어지도록 하기 위함이다. 예컨대 주행 영역에 위치한 객체라 하더라도 주차 또는 정차된 차량이나 표지판 등의 객체는 굳이 자세 추정을 하지 않아도 된다. 따라서 주행중인 상대 차량만 확실하게 파악하여 자세 추정이 이루어진다면 보다 빠른 연산이 가능할 것이다.

차량이동확인부(141)는 자기 차량(10)이 정지 상태인지 또는 이동 상태인지 확인하기 위해 마련된다. 예컨대 차량이동확인부(141)는 GPS모듈(미도시)로부터 획득한 좌표 정보를 분석하여 자기 차량(10)의 이동 유무를 확인하거나, 자기 차량(10)의 ECU 등으로부터 관련 정보를 획득하여 이동 유무를 확인할 수 있다.

특징점추출부B(142)는 라이다(110)를 통해 객체를 인식하면, 해당 객체의 모서리 또는 꼭지점 등의 특징점을 추출하기 위해 마련된다.

면적연산부(143)는 특징점추출부B(142)에서 추출한 특징점 중 선정된 3개의 특징점으로 이루어지는 삼각형의 면적을 산출하기 위해 마련된다.

변화율확인부(144)는 면적연산부(143)에서 시간차를 두고 동일 특징점들의 삼각형 면적을 산출하면, 시간차에 따라 산출된 삼각형의 면적이 얼마만큼 변하였는지 변화율을 확인하기 위해 마련된다.

판정부(145)는 변화율확인부(144)의 확인 결과에 따라 특정 객체가 고정객체인지 또는 이동객체인지 판정하고 그 결과를 출력하기 위해 마련된다.

이상 설명한 객체구분수단(140)에 대해서는 이하 도7 내지 도11을 통해 설명하게 되는 고정객체와 이동객체의 구분 방법에 의해 더욱 명확해질 것이다.

도4는 본 발명의 실시예에 따른 자세 추정 방법을 설명하기 위한 흐름도이다. 즉 도1 및 도2에 도시된 자세 추정 시스템(100)에서 자세추정수단(130)이 라이다(110)의 스캔 데이터를 이용하여 주행 영역 내에서 주행 중인 상대 차량(20)의 자세를 판단하는 과정에 대한 것이다.

먼저 라이다(110)에서 자기 차량(10) 주변을 스캔하면, 자세추정수단(130)에서 라이다(110)의 스캔 데이터를 획득 및 분석한다. 라이다(Lidar)는 전파 대신 직진성이 강한 고출력 펄스 레이저를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 대상 물체까지의 거리, 방향을 정밀하게 측정할 수 있는 장치를 말한다. 라이다(110)는 렌즈 등 광학부와 레이저 발광/수광부, 레이저 구동부, 레이저 신호를 처리하는 프로세서 등을 포함할 수 있다. 라이다(110)를 이용하면 점의 집합인 점구름(점군, Point cloud) 형태의 고정밀 데이터를 확보할 수가 있고, 폭과 거리, 높낮이까지 반영한 3차원의 점을 한데 모아 사물의 형상 데이터를 추출할 수가 있다. 라이다(110)의 이러한 특징 때문에 자율 주행차에서 객체 인식을 위해 라이다(110)가 필수적으로 탑재되는 추세이다.

한편 자기 차량(10)에는 스캔 방향과 범위를 고려하여 복수의 라이다(110)가 설치될 수도 있으나, 본 실시예에서는 자기 차량(10) 전방에서 주행중인 상대 차량(20)의 자세를 추정하기 위해, 자기 차량(10) 전방의 일정 영역을 스캔할 수 있는 라이다(110)에 대해서만 도시하고 설명토록 한다.

자세추정수단(130)에서 라이다(110)의 스캔 데이터를 수신하면 연석정보추출부(131)는 스캔 데이터를 분석<S405>하여 연석(162) 정보를 추출<S410>하고, 주행영역확인부(132)는 연석정보추출부(131)에서 추출한 연석(162) 정보를 이용하여 주행 영역을 확인<S415>한다.

도5를 참조하면, 도로의 경계에는 도로와 인도를 구분하기 위한 연석(162)이 설치되어 있다. 연석(162)은 대략 25cm 높이로 도로 경계를 따라 연속적으로 설치되는데, 이러한 특징들을 이용하여 연석정보추출부(131)는 라이다(110)의 스캔 데이터를 분석하여 연석(162)의 형태(직선 또는 곡선)를 인식할 수 있다.

이렇게 라이다(110)의 스캔 데이터 내에서 좌측 및 우측의 연석(162) 정보를 연석정보추출부(131)에서 확인하면, 주행영역확인부(132)는 좌측 및 우측의 연석(162) 사이의 영역을 주행 영역이라고 간주한다. 즉 이하의 특징점추출부A(133) 및 자세판단부(134)는 주행영역확인부(132)에서 확인한 주행 영역 내의 객체에 대해서만 특징점을 추출하고 자세를 판단하게 된다.

이후 특징점추출부A(133)는 라이다(110)의 스캔 데이터 중에서 주행 영역 내의 객체를 인식<S420>하고, 각 객체의 특징점(21,22,23)을 추출<S425>한다.

앞서 설명한 바와 같이 라이다(110)를 통해 취득한 데이터는 거리와 방향에 대한 정보를 갖는 점의 집합이다. 이들 점의 집합을 필터링하여 특정 객체의 면이나 모서리를 구분할 수 있고, 모서리들이 만나는 꼭지점 등도 구분이 가능하다. 특징점이란 해당 객체에서 기준으로 삼을만한 점, 예컨대 특정 모서리들이 만나는 꼭지점이 될 수 있다. 예컨대 특징점추출부A(133)는 객체를 바라보는 횡방향 기준으로 좌측 끝 모서리의 어느 한 점 또는 우측 끝 모서리의 어느 한 점을 특징점으로 삼거나, 종방향 기준으로 전방 끝 또는 후방 끝 모서리의 어느 한 지점을 특징점으로 삼을 수 있다. 또한 특징점추출부A(133)는 연속적으로 이루어지는 직선과 직선이 마주쳐 꺾어지는 지점을 특징점으로 삼을 수 있다.

만약 도5와 같이 상대 차량(20)이 자기 차량(10) 기준으로 좌측 전방에서 주행중이라면, 라이다(110)의 스캔 데이터를 통해 특징점추출부A(133)는 상대 차량(20)의 후미 좌측을 특징점1(21)로 추출하고, 후미 우측을 특징점2(22)로 추출하며, 상대 차량(20)의 전방 우측을 특징점3(23)으로 추출할 수 있다. 만약 상대 차량(20)이 자기 차량(10)의 바로 전방에서 주행중이라면 특징점추출부A(133)는 특징점1(21) 및 특징점2(22)만 추출할 수 있을 것이다.

라이다(110)의 스캔 데이터를 통해 객체를 구분하고 특징점을 추출하는 방식은 다양한 방식으로 공지되어 있기 때문에 자세한 기술 내용 설명은 생략한다.

또한 특징점추출부A(133)는 라이다(110)를 통해 스캔된 데이터에서 복수 객체에 대한 복수의 특징점을 추출할 수 있다.

특징점추출부A(133)에서 상대 차량(20)의 특징점(21,22,23)을 추출하면, 자세판단부(134)는 상대 차량(20)의 특징점(21,22,23)을 자기 차량(10) 기준의 상대좌표계로 변환<S430>한 후 상대 차량(20)의 자세를 판단<S435>한다.

라이다(110)를 통해 취득한 데이터는 거리와 방향에 대한 정보를 가지고 있으므로, 특징점(21,22,23)이 추출되면 해당 특징점(21,22,23)을 자기 차량(10) 위치 기준, 더욱 구체적으로는 라이다(110)가 설치된 위치를 원점으로 하는 평면 좌표 상에 나타낼 수 있다. 도5를 참조하면, 자기 차량(10)의 위치를 원점으로 하는 좌표계는 자기 차량(10)의 횡방향으로 x축, 종방향으로 y축을 갖는 좌표를 갖는다. 실시하기에 따라 종방향을 x축, 횡방향을 y축으로 할 수도 있다. 자세판단부(134)는 이러한 x-y축 평면 좌표 상에 상대 차량(20)에서 추출된 특징점(21,22,23)들을 배치한다. 여기서 x축과 y축의 단위는 거리이다. 따라서 각 특징점(21,22,23)들의 좌표 역시 거리 단위이다.

자세판단부(134)는 자기 차량(10) 기준의 상대좌표계 상에 상대 차량(20)의 특징점(21,22,23)을 배치된 이후 상대 차량(20)의 진행 방향(헤딩 앵글)을 판단한다. 즉 자세판단부(134)는 상대 차량(20)의 특징점(21,22,23) 중 미리 설정된 기준에 따라 선정되는 2개의 특징점(21,22,23)을 잇는 가상의 직선이 자기 차량(10) 기준의 상대좌표계 상의 축(x축, y축)과 이루는 각도를 산출하여 헤딩 앵글을 추출할 수 있다.

만약 도5에 도시된 바와 같이 자기 차량(10)의 전방 좌측에서 상대 차량(20)이 주행 중일 경우, 특징점2(22)와 특징점3(23)을 잇는 가상의 직선이 상대좌표계의 y축과 이루는 각도가 얼마인지를 통해 헤딩 앵글을 추출할 수 있다. 이 경우 특징점2(22)와 특징점3(23)을 잇는 가상의 직선은 상대좌표계의 y축과 평행을 이루고 있기 때문에 헤딩 앵글은 0이된다. 즉 상대 차량(20)은 자기 차량(10)과 동일한 방향으로 진행중임을 알 수 있는 것이다.

물론 상대 차량(20)이 자기 차량(10)의 좌측 전방이 아닌, 바로 정면에서 동일 방향으로 주행 중일 경우에는 특징점3(23)이 보이지 않게 된다. 따라서 자세판단부(134)는 특징점(21,22)이 2개만 보이는 객체는 자기 차량(10)의 진행 방향과 동일한 진행 방향(헤딩 앵글 0)으로 진행 중이라고 판정하거나, 특징점1(21)과 특징점2(22)를 잇는 가상의 직선이 x축과 평행한 직선과 이루는 각도를 산출하여 헤딩 앵글을 파악할 수도 있다.

한편 도5에 도시된 바와 같이 자기 차량(10)의 좌측 전방에서, 자기 차량(10)과 동일한 진행 방향으로 주행 중(헤딩 앵글 0)인 차량이 갑자기 방향을 전환하여 도6과 같이 자세를 변화시킬 수도 있다.

이 경우에는 특징점추출부A(133)에서 추출한 특징점(21,22,23)들을 자기 차량(10) 중심의 상대좌표계에 나타낸 결과, 특징점2(22)와 특징점3(23)을 잇는 가상의 직선이 y축과 평행한 직선에 대하여 소정의 각도(헤딩 앵글 = α)를 이루고 있음을 알 수 있다. 따라서 자세판단부(134)는 상대 차량(20)의 자세가 급변하여 진행 방향이 급변(헤딩 앵글 = α)하였다는 정보를 출력함으로써 브레이크 시스템(미도시)에 의해 자기 차량(10)의 속도를 줄이도록 하거나, 알람 시스템(미도시)을 통해 운전자에게 알람이 전달되도록 할 수 있다. 또한 자세판단부(134)는 실시간으로 파악되는 상대 차량(20)의 진행 방향(헤딩 앵글) 정보를 객체추적부(150)로 전달하고, 객체추적부(150)에서 상대 차량(20)의 진행 경로를 예측하고 꾸준히 추적하도록 할 수 있다.

이때 객체추적부(150)는 칼만 필터(Kalman Filter)를 이용하여 상대 차량(20)의 상태를 추적한다. 칼만 필터는 상태 예측(state prediction)과 측정 업데이트(measurement update)를 반복적으로 수행하여 상대 차량(20)의 현재 상태와 이후 움직임을 추정한다.

이상 설명한 바와 같이, 본 발명에 따르면 V2X 장치가 탑재되지 않은 차량에 대해서도 라이다(110)의 스캔 데이터를 이용하여 실시간 자세 변화를 판단하고 예측할 수 있어서, 상대 차량(20)이 차선을 급변경하더라도 이에 대응하여 속도를 줄이거나 운전자의 주의를 환기시킬 수가 있다.

또한 본 발명에서는 라이다(110)의 스캔 데이터 전체에서 인식되는 객체를 대상으로 자세를 추정하는 것이 아니라, 좌우측 연석(162) 사이에 위치하는 주행 영역에 존재하는 객체에 대해서만 자세를 추정하기 때문에 데이터 처리 속도를 높여줄 수 있다.

물론 좌우측 연석(162) 사이의 주행 영역에 존재하는 객체라 하더라도, 도로변에 세워진 주정차 차량이나 도로 위에 설치된 표지판의 경우에는 굳이 자세 추정을 하지 않아도 될 것이다. 즉 움직이는 객체에 대해서만 자세 추정이 이루어진다면 더욱 빠른 연산이 가능할 것이며, 이를 위해서는 고정객체와 이동객체의 정확한 판단 기술이 필요하다.

이하에서는 도7 내지 도11을 통해 고정객체와 이동객체를 구분하는 과정을 자세히 설명토록 한다.

도7은 본 발명의 실시예에 따른 고정객체와 이동객체의 구분 방법을 설명하기 위한 흐름도이다. 즉 도1 및 도3에 도시된 자세 추정 시스템(100)의 객체구분수단(140)이 객체를 인식하고 이동/고정 여부를 파악하는 과정에 대한 것이다.

먼저 고정 또는 이동 여부 판단을 위해 라이다(110)를 통해 객체를 인식<S705>한다. 라이다(110)를 통해 객체를 인식한 이후 특징점추출부B(142)는 각 객체의 특징점을 추출<S710>한다. 라이다(110)를 통해 취득한 데이터는 거리와 방향에 대한 정보를 갖는 점의 집합이다. 이들 점의 집합을 필터링하여 특정 객체의 면이나 모서리를 구분할 수 있고, 모서리들이 만나는 꼭지점 등도 구분이 가능하다. 특징점이란 해당 객체에서 기준으로 삼을만한 점, 예컨대 특정 모서리들이 만나는 꼭지점이 될 수 있다.

특징점추출부B(142)에서 라이다(110)를 통해 스캔된 데이터를 통해 복수 객체에 대한 특징점이 추출<S710>되고 나면, 특징점추출부B(142)는 여러 개의 특징점 중 3개의 특징점을 확정하고, 면적연산부(143)는 3개의 특징점으로 이루어지는 삼각형의 면적을 산출<S715>한다.

즉, 각각의 특징점은 자기 차량(10)을 기준으로 거리와 방향 정보를 가지고 있다. 따라서 특징점들을 자기 차량(10) 기준의 상대좌표계 상에 둘 수 있고, 각 좌표정보들을 통해 면적연산부(143)가 삼각형의 면적을 연산할 수가 있다. 평면 좌표 또는 공간 좌표 상에서 3개 지점의 좌표 정보를 알고 있다면 정해진 공식에 의해 3개 지점을 꼭지점으로 하는 삼각형의 면적을 구할 수가 있다.

이때 면적연산부(143)는 삼각형의 면적을 한번만 연산하는 것이 아니고, 시간차를 두고 스캔한 데이터에 대해서 수회 반복(예컨대 10회)하여 동일 특징점들의 삼각형 면적을 산출한다. 이렇게 시간차를 두고 동일 특징점들에 대한 삼각형 면적을 산출하면, 변화율확인부(144)에서 면적 변화율을 확인 할 수 있고, 판정부(145)는 변화율확인부(144)에서 확인한 삼각형의 면적 변화율에 따라 고정객체와 이동객체를 구분<S720>한다.

즉 삼각형의 면적 변화율이 미리 정해진 기준 미만이라면, 판정부(145)는 세 개의 특징점들에 대응하는 객체들 모두 고정객체라고 판단하는 것이며, 기준 이상이라면 적어도 하나의 특징점들에 대응하는 객체는 이동객체라고 판단하는 것이다.

물론 정확한 고정/이동 여부를 판단하기 위해서는 동일한 객체들 간의 면적 변화율이 아닌 서로 다른 객체들에 대한 산출도 이루어져야 하며, 이렇게 크로스 체크를 통해 정확하게 고정/이동객체 여부를 검증<S725>해 낼 수 있다.

본 발명에서는 정확한 고정/이동객체 판단을 위해 차량(10)이 정차한 상태에서 먼저 고정객체를 확정하고, 이후 차량(10)이 움직일 때 특정 객체가 고정상태인지 이동상태인지 검증한다. 이에 대하여 도8 및 도9를 통해 설명토록 한다.

도8은 자기 차량의 정차 상태에서 고정객체를 확정하는 과정을 설명하기 위한 흐름도이다. 차량이동확인부(141)는 ECU 등과 연계하여 차량(10)의 속도정보를 실시간 수신하며, 이를 통해 차량(10)이 정차 중인지 여부를 확인<S805>한다. 물론 차량(10)의 정차 여부는 GPS 신호를 통해 체크할 수도 있다.

만약 차량(10)이 정차중인 것이 확인되면<S810>, 라이다(110)를 통해 자기 차량(10) 주변을 스캔하고 복수의 객체들을 인식<S815>한다. 또한 특징점추출부B(142)는 라이다(110)에서 인식된 복수의 객체들에서 특징점을 추출<S820>한다.

이후 특징점추출부B(142)는 복수 개의 특징점 중 3개의 특징점을 임의로 추출하고, 면적연산부(143)는 3개의 특징점으로 이루어지는 삼각형의 면적을 산출한다. 이때 면적연산부(143)는 시간차를 두고 스캔한 데이터에 대해서 수회 반복(예컨대 10회)하여 동일 특징점들의 삼각형 면적을 산출하며, 변화율확인부(144)는 면적연산부(143)에서 시간차를 두고 산출한 삼각형의 면적 변화율을 확인<S825>한다.

즉 삼각형의 면적 변화율이 기준 변화율, 예컨대 10% 미만의 변화율을 보이고 있는지 확인하며, 만약 10% 미만의 변화율을 보이고 있다면<S830>, 판정부(145)는 3개의 특징점에 대응하는 객체들을 모두 고정객체로 확정한다.

만약 삼각형의 면적 변화율이 기준(10%) 이상을 보인다면, 3개 특징점에 대응하는 객체들 중 적어도 하나 이상의 객체는 이동객체라는 것을 의미한다. 하지만 어느 객체가 이동중인지 여부는 현재 시점에서 정확히 확인할 수 없기 때문에 새롭게 라이다(110) 데이터를 스캔하고 새로운 특징점들을 추출하는 이상의 과정을 반복한다.

즉 도8의 과정은 이동객체가 무엇인지 확인하는 것 보다는, 차량(10)이 정차한 상태에서 주변을 스캔하고, 임의로 추출된 3개 객체의 특징점들로 이루어지는 삼각형의 면적 변화율을 확인하여 고정객체가 무엇인지 확정 짓기 위한 과정이다. 따라서 도8의 과정에서 이동객체가 무엇인지 확정하는 것은 큰 의미가 없다.

도8의 과정을 통해 차량(10)이 정차한 상태에서 여러 객체에 대한 고정객체 여부를 확정해 두었다면, 이후 차량(10)이 주행중일 때 특정 대상물의 고정/이동 여부를 정확하게 판단할 수가 있다. 이에 대한 과정을 도9를 통해 설명하면 다음과 같다.

차량이동확인부(141)는 차량(10)의 정차 여부를 확인<S905>하고, 정차중이라면 앞선 도8의 과정을 통해 고정객체를 판단하는 과정을 다시 수행하고, 만약 정차가 아닌 이동 중인 것이 확인된다면<S910>, 라이다(110) 스캔을 통해 객체를 인식<S915>한 후 특징점추출부B(142)에서 특징점을 추출한다.

이때 특징점추출부B(142)는 랜덤한 3개의 객체들에 대한 특징점을 추출하는 것이 아니고, 도8의 과정을 통해 정차 상태에서 확정하였던, 즉 고정객체 2개와 고정인지 이동인지 여부를 판단하고자 하는 새로운 객체의 특징점 1개를 추출<S920>한다. 여기서 판단하고자 하는 객체는 이번 과정에서 새롭게 인식된 객체일 수도 있고, 앞선 도8의 과정에서 고정객체인지 이동객체인지 정확하게 확인되지 않은 객체일 수도 있다. 즉 고정/이동 여부가 궁금한 객체를 고정 여부가 확실한 2개의 객체와 대응시켜 판단을 내리고자 하는 것이다.

이렇게 3개의 특징점이 추출(고정 2, 판단대상 1)되고 나면, 면적연산부(143)는 3개의 특징점으로 이루어지는 삼각형의 면적을 시간차를 두고 여러번 연산하며, 변화율확인부(144)가 면적연산부(143)에서 연산한 삼각형 면적의 변화율을 확인<S925>한다.

만약 삼각형의 면적 변화율이 기준(10%) 미만인 것이 확인되면<S930>, 판정부(145)는 판단하고자 하는 객체를 고정객체로 확정<S935>한다.

즉 자기 차량(10)이 움직이는 상태라면 고정된 물체라 하더라도 자기 차량(10) 기준의 상대좌표는 달라지게 마련이다. 하지만 상대좌표계 상에서 이루어지는 고정된 3개 지점이 이루고 있는 삼각형의 면적은 변화하지 않게 된다. 따라서 자기 차량(10)의 움직임 여부와 관계 없이 고정상태가 확인된 2개의 특징점과 판단 대상이 되는 특징점 1개가 이루는 삼각형의 면적 변화가 없다면, 판단 대상이 되는 특징점 1개에 대응하는 객체는 고정객체임이 확실한 것이다.

반면, 고정객체 2개의 특징점과 판단 대상 객체 1개의 특징점의 면적 변화율이 기준 이상인 것으로 확인되면<S930>, 판정부(145)는 판단 대상이 되는 객체를 이동 객체로 확정<S940>한다. 이렇게 이동 객체가 확정되면 객체추적부(150)가 해당 객체를 집중적으로 추적(tracking)할 수 있다. 또한 판정부(145)에서 고정객체가 확정되면, 확정 결과가 자세추정수단(130)으로 제공되며, 이에 따라 자세추정수단(130)의 특징점추출부A(133) 및 자세판단부(134)는 고정객체에 대해서는 자세 추정을 하지 아니하고 이동객체에 대해서만 자세 추정 과정을 수행할 수 있다.

도10 및 도11은 객체들이 이루는 삼각형의 면적 변화를 설명하기 위한 개념도이다. 먼저 도10의 (a)를 참조하면 자기 차량(10)의 라이다(110)의 스캔에 의해 제1객체(210), 제2객체(220) 및 제3객체(230)를 인식할 수 있고, 특징점추출부B(142)는 각 객체들로부터 특징점1-1(211), 특징점2-1(221) 및 특징점3-1(231)을 추출한 이후, 면적연산부(143)에서 3개 특징점(211,221,231)을 꼭지점으로 하는 삼각형의 면적을 확인할 수 있다.

만약 자기 차량(10)이 도10의 (b)와 같이 이동하는 상태라면 3개 특징점(211,221,231)에 대한 상대좌표 역시 바뀌게 된다. 하지만 3개 특징점(211,221,231)이 고정 상태라면, 자기 차량(10)은 비록 움직이고 있더라도 3개 특징점(211,221,231)이 이루고 있는 삼각형의 면적에는 변화가 없음을 확인할 수 있다.

반면 도11의 (a)와 같이 고정 여부가 확정된 2개의 특징점(211,221)과 판단하고자 하는 제4객체(240)의 특징점4-1(241)을 연결한 삼각형 면적의 경우, 도11의 (b)와 같이 제4객체(240)가 이동함에 따라 삼각형의 면적이 변화하는 것을 알 수 있다. 여기서 2개 특징점(211,221)의 고정 여부가 확실한 상태라면 자기 차량(10)의 움직임 여부와는 관계 없이 특징점4-1(241)에 대응하는 제4객체(240)는 이동객체임을 확정할 수 있다.

본 발명에 따른 자세 추정 시스템(100)의 객체구분수단(140)과 객체 구분 방법에 따르면, 라이다(110)를 통해 서로 다른 세 개의 객체로부터 특징점을 추출하고, 자기 차량(10)을 기준으로 하는 상대좌표계에 따라 세 개의 특징점들이 이루는 삼각형의 면적 변화율에 따라 고정객체와 이동객체를 구분함으로써 정확도가 높다.

즉, 종래의 상대 속도에 따라 이동물체를 구분하는 방식에서는 자기 차량(10)과 상대 물체가 같은 방향으로 같은 속도로 움직일 경우 분명한 이동물체임에도 고정물체로 오판하는 경우가 있었으나, 본 발명에서는 정차 상태에서 고정객체를 확정해 두고, 확정된 두 개의 고정객체와 판단하고자 하는 객체가 이루는 삼각형의 면적 변화율에 따라 이동객체인지 여부를 확인하기 때문에, 자기 차량(10)이 이동 중일 때에도 상대 물체의 고정 및 이동 여부를 정확하게 판단할 수가 있다.

한편 판정부(145)는 도8의 과정을 통해 3개 특징점으로 이루어지는 삼각형의 면적 변화율이 기준 미만일 경우 해당 객체들을 모두 고정객체로 확정한다고 설명한 바 있는데, 이때 고정객체를 더욱 정확하게 판단하기 위한 부가 조건을 더 추가할 수도 있다. 즉 높이 정보까지 고려하여 고정객체인지 확정하는 것이다.

통상적으로 표지판, 신호등, 가로수, 건축물 등의 고정객체는 최상단 지점이 지면으로부터 3미터 이상인 경우가 많다. 반면 자동차(일부 차량 제외), 자전거, 보행자 등의 이동객체는 3미터 미만인 경우가 많다.

따라서 도8의 과정에서 면적변화율이 기준 미만이라 하더라도 해당 객체의 높이, 더욱 구체적으로는 해당 객체에서 추출된 특징점의 높이가 기준높이(예컨대 3미터) 이상일 경우에만 고정객체로 확정하고, 기준높이 미만이라면 다른 객체의 특징점을 이용한 삼각형 면적 연산 과정으로 바로 넘어가는 것이 바람직하다.

예를 들어 특징점의 높이가 3미터 이상이면서 면적 변화율이 기준 미만이라면 해당 특징점을 갖는 객체는 고정객체일 가능성이 매우 크다. 따라서 판정하고자 하는 대상객체의 특징점과 이미 판정된 고정객체 중에서 특징점의 높이가 3미터 이상인 고정객체 2개를 추출하여 이들 3개의 특징점 사이의 면적변화율을 모니터링한다면 이동/고정 여부의 판정이 더 확실해질 수 있다. 즉 3개의 특징점들 사이의 면적변화율이 기준미만인 경우라고 하더라도 이들 3개 객체가 동일한 방향으로 움직이고 있는 객체일 가능성을 배제할 수는 없다. 따라서 이 경우에는 이들 객체 중 어느 하나의 객체의 특징점과 높이가 3미터 이상인 미리 확정된 2개의 고정객체의 특징점으로 이루어지는 삼각형의 면적변화율을 확인해 보면되고, 이를 통해 판정 대상이 되는 객체의 고정객체 여부를 더욱 확실하게 판정할 수 있다.

물론 특징점추출부B(142)에서 면적 연산을 위한 3개의 특징점을 추출할 때, 기준높이 이상의 특징점만을 면적 연산 대상으로 뽑는다면, 고정 객체 확정을 위한 연산 속도가 더욱 빨라질 수 있을 것이다.

여기서 특징점의 높이는 상대좌표계를 통한 간단한 삼각함수 공식을 통해 산출할 수 있다. 즉 라이다(110)의 스캔 데이터를 통해 획득한 점 좌표는 거리 및 방향 정보를 포함하고 있어서 자기 차량(10) 기준의 상대좌표계로 나타낼 수 있고, 상대좌표를 알고 있다면 자기 차량(10)과 해당 지점을 잇는 직선이 지면과 이루는 각도 또한 알 수 있다. 이 각도에 대한 사인값에 해당 지점까지의 거리를 곱하면 해당 지점의 높이가 산출된다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

10 : 자기 차량
20 : 상대 차량
21 : 특징점1 22 : 특징점2
23 : 특징점3
100 : 자세 추정 시스템
110 : 라이다
130 : 자세추정수단
131 : 연석정보추출부 132 : 주행영역확인부
133 : 특징점추출부A 134 : 자세판단부
140 : 객체구분수단
141 : 차량이동확인부 142 : 특징점추출부B
143 : 면적연산부 144 : 변화율확인부
145 : 판정부
150 : 객체추적부
162 : 연석
210 : 제1객체
211 : 특징점1-1
220 : 제2객체
221 : 특징점2-1
230 : 제3객체
231 : 특징점3-1
240 : 제4객체
241 : 특징점4-1

Claims

차량 주변을 스캔하여 객체를 인식하는 환경센서;
상기 환경센서의 스캔 데이터를 통해 상대 차량의 자세 변화를 추정하는 자세추정수단; 및
상기 환경센서에서 인식한 객체의 고정 및 이동 여부를 판단하는 객체구분수단;을 더 포함하되,
상기 자세추정수단은 상기 객체구분수단에서 판단된 이동 객체에 대해서만 자세 변화를 판단하고,
상기 객체구분수단은,
상기 환경센서에서 인식한 객체에서 특징점을 추출하는 특징점추출부B;
상기 특징점추출부B에서 추출된 특징점의 상대좌표계를 통해 3개 특징점으로 이루어지는 삼각형의 면적을 시차를 두고 반복 산출하는 면적연산부;
상기 면적연산부에서 산출된 삼각형 면적의 변화율을 확인하는 변화율확인부; 및
상기 변화율확인부의 삼각형 면적 변화율 확인 결과에 따라 고정객체와 이동객체를 구분하는 판정부;를 포함하는 것을 특징으로 하는 주변 차량 자세 추정 시스템.
제1항에 있어서,
상기 자세추정수단은,
상기 환경센서에서 인식한 객체에서 상기 상대 차량의 특징점을 추출하는 특징점추출부A; 및
상기 특징점추출부A에서 추출된 상대 차량의 특징점을 자기 차량 기준의 상대좌표계에 나타내어, 자기 차량 기준으로 상기 상대 차량의 자세 변화을 판단하는 자세판단부;를 포함하는 것을 특징으로 하는 주변 차량 자세 추정 시스템.
제2항에 있어서,
상기 자세추정수단은,
상기 환경센서의 스캔 데이터에서 연석 정보를 추출하는 연석정보추출부; 및
상기 연석정보추출부에서 추출된 연석 정보를 이용하여 주행 영역을 확인하는 주행영역확인부;를 더 포함하고,
상기 특징점추출부A 및 자세판단부는 상기 주행영역확인부에서 확인된 주행 영역 내의 객체에 대해서만 특징점을 추출하고 자세 변화를 판단하는 것을 특징으로 하는 주변 차량 자세 추정 시스템.
삭제
삭제
제1항에 있어서,
상기 객체구분수단은,
상기 차량의 정차 여부를 확인하는 차량이동확인부;를 더 포함하고,
상기 판정부는 상기 차량이동확인부를 통해 상기 차량이 정차 상태인 것이 확인될 경우에 먼저 고정객체와 이동객체를 구분하되, 상기 삼각형의 면적 변화율이 기준 미만일 경우 3개 특징점에 대한 객체들을 고정객체로 확정하며,
이후 상기 차량이동확인부를 통해 상기 차량이 정차 상태가 아닌 것이 확인되면, 상기 특징점추출부B는 상기 판정부에서 고정객체로 확정된 객체의 특징점 중 2개의 특징점과, 판단하고자 하는 객체의 1개 특징점을 추출하고, 상기 면적연산부는 고정 2개의 특징점과 판단 대상 1개 특징점으로 이루어지는 삼각형의 면적을 연산하고, 상기 변화율확인부에서 면적 변화율이 기준 미만인 것이 확인되면 상기 판정부는 판단하고자 하는 객체를 고정객체로 확정하고, 상기 변화율확인부에서 면적 변화율이 기준 이상인 것이 확인되면 상기 판정부는 판단하고자 하는 객체를 이동객체로 확정하는 것을 특징으로 하는 주변 차량 자세 추정 시스템.