KR20210037468A - 레인을 검출하는 차량 및 방법 - Google Patents

Abstract

적어도 하나의 센서를 이용하여 3차원 공간을 감지하고, 공간 정보를 출력하는 센서부, 컴퓨터 실행가능 명령어(computer executable instruction)를 저장하는 메모리, 및 컴퓨터 실행가능 명령어를 실행함으로써, 획득한 공간 정보로부터 도로 영역 정보를 획득하고, 획득된 도로 영역 정보에서 인텐시티(intensity) 값에 기초하여, 도로 표식 정보를 추출하며, 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭(width) 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하고, 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하며, 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 프로세서를 포함하는 차량이 개시된다.

Description

레인을 검출하는 차량 및 방법{VEHICLE AND METHOD FOR DETECTING LANE}

레인을 검출하는 차량 및 방법에 관한 것이다.

자율 주행 차량 또는 주행보조 시스템에서, 차량의 주행이 이루어지는 이동로에 있는 레인을 검출하는 것이 중요하다. 카메라의 이미지를 활용하여 레인을 검출하는 방식은 차량의 실제 주행에 활용하기 위해 3차원 형태의 정보로 가공하는 과정에서 오차가 발생될 수 있다. 미리 준비된 고해상도 맵을 이용하여 레인을 검출하는 방식은 차량에 방대한 양의 데이터를 저장할 리소스 문제와 실시간으로 변화되는 상황을 반영하기 위해 고해상도 맵의 지속적인 업데이트를 해야 하는 문제가 있다.

차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 실시간으로 레인을 검출하는 차량 및 방법, 그리고 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하는 것이다.

제 1 측면에 따른 차량은, 적어도 하나의 센서를 이용하여 3차원 공간을 감지하고, 공간 정보를 출력하는 센서부; 컴퓨터 실행가능 명령어(computer executable instruction)를 저장하는 메모리; 및 상기 컴퓨터 실행가능 명령어를 실행함으로써, 상기 획득한 공간 정보로부터 도로 영역 정보를 획득하고, 상기 획득된 도로 영역 정보에서 인텐시티(intensity) 값에 기초하여, 도로 표식 정보를 추출하며, 상기 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭(width) 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하고, 차량의 주행 방향으로 연속적으로 획득된 상기 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하며, 상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 프로세서를 포함할 수 있다.

제 2 측면에 따른 레인을 검출하는 방법은, 3차원 공간을 감지하여 획득한 공간 정보로부터 도로 영역 정보를 획득하는 단계; 상기 획득된 도로 영역 정보에서 인텐시티(intensity) 값에 기초하여, 도로 표식 정보를 추출하는 단계; 상기 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭(width) 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하는 단계; 차량의 주행 방향으로 연속적으로 획득된 상기 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 단계; 및 상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 단계를 포함할 수 있다.

제 3 측면에 따른 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램은, 차량에서, 3차원 공간을 감지하여 획득한 공간 정보로부터 도로 영역 정보를 획득하는 단계; 상기 획득된 도로 영역 정보에서 인텐시티 값에 기초하여, 도로 표식 정보를 추출하는 단계; 상기 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하는 단계; 차량의 주행 방향으로 연속적으로 획득된 상기 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 단계; 및 상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 단계를 포함하는 레인을 검출하는 방법을 수행할 수 있다.

도 1은 일 실시예에 따른 차량의 구성을 나타낸 블록도이다.
도 2는 일 실시예에 따른 레인을 검출하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따라 공간 정보로부터 도로 영역 정보를 획득한 예를 나타낸 도면이다.
도 4는 일 실시예에 따라 도로 영역 정보에서 인텐시티 값에 기초하여 도로 표식 정보를 추출한 예를 나타낸 도면이다.
도 5는 일 실시예에 따라 도로 표식 정보를 클러스터링한 후 레인 라인의 폭 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따라 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 과정을 설명하기 위한 상세 흐름도이다.
도 7a, 도 7b, 및 도 7c는 레인 라인 정보의 분포 거리에 따른 방향 추정 가능성과 레인 라인 정보의 분포 개수에 따른 방향 추정 가능성을 설명하기 위한 도면이다.
도 8은 일 실시예에 따라 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가하는 과정을 설명하기 위한 도면이다.
도 9는 전체 도로의 방향 정보와 각 레인 라인 모델의 레인 라인 정보를 이용하여 레인 라인 모델들을 소정의 곡선 모델들로 피팅하는 이유를 설명하기 위한 도면이다.
도 10은 일 실시예에 따라 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 과정을 설명하기 위한 상세 흐름도이다.
도 11은 일 실시예에 따라 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성하여, 생성된 레인 모델들 중 동일한 레인을 구성하는 레인 모델들을 하나의 레인 모델로 병합하는 과정을 설명하기 위한 도면이다.

이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.

본 실시예들은 레인을 검출하는 차량 및 방법, 그리고 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.

도 1은 일 실시예에 따른 차량(100)의 구성을 나타낸 블록도이다.

차량(100)은 자율 주행 차량 또는 주행보조 시스템이 탑재된 차량일 수 있다. 차량(100)은 주행을 위하여, 라이다 장치와 같은 센서를 이용하여 주변의 3차원 공간에 대한 공간 정보를 획득하여, 차량(100)의 주행이 이루어지는 도로에서 레인을 검출할 수 있다.

도 1을 참조하면, 일 실시예에 따른 차량(100)은 메모리(110), 프로세서(120), 통신 인터페이스 장치(130), 센서부(140), 사용자 인터페이스 장치(150)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.

메모리(110)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(110)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다.

프로세서(120)는 메모리(110)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(110)에 저장할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행할 수 있다. 프로세서(120)는 차량(100)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(120)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(110)에 설치할 수도 있다. 프로세서(120)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 프로세싱 모듈은 소정의 프로그램을 실행하기 위한 전용 프로세싱 모듈일 수 있다. 예를 들어, 프로세서(120)는 ADAS(Advanced Driver Assistance System)와 같이 자율주행을 위한 차량 제어 프로그램을 실행하는 다양한 종류의 프로세싱 모듈이나 3차원 공간 추적 프로그램을 실행하는 프로세싱 모듈을 각각 별도의 전용 칩 형태로 포함할 수 있다. 프로세서(120)는 명령어 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 차량(100)에 포함된 다른 구성들을 제어할 수 있다.

통신 인터페이스 장치(130)는 다른 장치 또는 네트워크와 무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 장치(130)는 다양한 무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity)와 같은 근거리 통신, 3G, 4G, 5G 등과 같은 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스 장치(130)는 차량(100)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 차량(100)은 통신 인터페이스 장치(130)를 통해 다른 차량과 통신을 수행하거나, 차량(100)이 위치하는 구역을 관리하는 서버와도 연결될 수 있다.

센서부(140)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(140)는 감지 범위 내에 위치한 객체를 감지할 수 있고, 감지된 객체의 3차원 공간상의 좌표를 생성할 수 있는 데이터를 획득할 수 있다. 센서부(140)는 감지 범위 내에 위치한 객체에 대한 형상 데이터 또는 거리 데이터를 획득할 수 있다. 센서부(140)는 라이다(Light Detection and Ranging) 센서, 레이더(radar) 센서, 카메라 센서, 적외선 영상 센서, 초음파 센서 등과 같은 다양한 종류의 센서들 중 적어도 하나를 포함할 수 있다.

3차원 공간에 대한 공간 정보를 획득하기 위해, 각 종류의 센서가 가지고 있는 감지 범위나 획득할 수 있는 데이터의 종류 등을 고려하여, 동종의 센서를 복수 개 이용하거나, 이종의 센서들을 조합하여 이용할 수 있다. 예를 들어, 센서부(140)는 적어도 하나의 3차원 라이다 센서를 포함하여 360도 범위의 공간에 대한 데이터를 획득하고, 레이더 센서 및 초음파 센서 중 적어도 하나를 더 포함하여 3차원 라이다 센서가 감지할 수 없는 사각 영역 또는 차량(100)으로부터 소정의 거리 내의 근접 공간에 대한 데이터를 획득할 수 있다.

사용자 인터페이스 장치(150)는 사용자로부터 사용자 입력 등을 수신할 수 있다. 사용자 인터페이스 장치(150)는 차량(100)에서 컴퓨터 프로그램의 실행 결과, 사용자 입력에 대응되는 처리 결과, 차량(100)의 상태 등의 정보를 디스플레이할 수 있다. 사용자 인터페이스 장치(150)는 입력을 수신하거나 출력을 제공하기 위한 하드웨어 유닛들을 포함할 수 있으며, 이들을 구동하기 위한 전용 소프트웨어 모듈을 포함할 수도 있다. 예를 들어, 사용자 인터페이스 장치(150)는 터치 스크린이 될 수 있으나, 이에 한정되지 않는다.

도 1에 도시되지 않았으나, 차량(100)은 GPS(Global Positioning System), IMU(Inertial Measurement Units) 등과 같은 자율 주행에 요구되는 구성들을 더 포함할 수 있다. GPS는 GPS 위성에서 보내는 신호를 수신해 차량(100)의 현재 위치를 계산하는 위성항법시스템이다. IMU는 차량(100)의 속도와 방향, 중력, 가속도를 측정하는 장치이다. 프로세서(120)는 GPS와 IMU를 이용하여, 차량(100)의 이동 및 자세에 관련된 정보를 획득할 수 있다. 프로세서(120)는 차량(100)에 구비된 다른 센서나 메모리로부터 차량(100) 제어에 관련된 그 외의 정보들을 획득할 수도 있다.

전술한 차량(100)의 구성 요소들의 명칭은 달라질 수 있고, 차량(100)은 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.

자율 주행 차량이나 주행보조 시스템이 탑재된 차량(100)은 라이다 센서를 이용하여 주변의 3차원 공간에 대한 공간 정보를 획득하여, 차량(100)의 주행이 이루어지는 도로에서 레인을 검출할 수 있다. 이하, 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 실시간으로 레인을 검출하는 방식에 대해 상세히 설명한다.

프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 적어도 하나의 센서를 이용하여 감지된 3차원 공간에 대한 공간 정보로부터 도로 영역 정보를 획득하고, 획득된 도로 영역 정보에서 인텐시티(intensity) 값에 기초하여, 도로 표식 정보를 추출하며, 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭(width) 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득할 수 있다. 도로 표식 정보는 레인의 경계선인 레인 라인, 제한 속도, 횡단 보도, 주행 방향 표시선 등 도로에 표시된 교통 정보 관련 표지들일 수 있다.

프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 차량(100)의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성할 수 있다. 프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 획득된 레인 라인 정보의 연속성에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가하고, 획득된 레인 라인 정보의 분포 거리 및 분포 개수에 기초하여, 방향 추정이 가능한지 판단하여, 기존의 레인 라인 모델 또는 상기 새로운 레인 라인 모델의 방향을 결정할 수 있다. 프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 기존의 레인 라인 모델과 새로운 레인 라인 모델에 대해 레인 폭 정보에 기초한 레인 라인 모델 필터링을 수행하고, 레인 라인 모델 필터링이 수행된 레인 라인 모델의 방향을 결정할 수 있다. 프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 전체 도로의 방향 정보와 각 레인 라인 모델의 레인 라인 정보를 이용하여 레인 라인 모델들을 소정의 곡선 모델들로 피팅(fitting)함으로써 레인 라인 모델들을 생성할 수 있다.

프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성할 수 있다. 프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 생성된 레인 라인 모델들에 기초한 레인 라인들 중 두 레인 라인들 간의 거리와 소정의 폭 정보 값을 비교하여, 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성하고, 생성된 레인 모델들 중 동일한 레인을 구성하는 레인 모델들을 하나의 레인 모델로 병합할 수 있다. 프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 생성된 레인 모델들의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 외삽(extrapolation)을 수행하고, 외삽을 수행함에 따라 확장된, 생성된 레인 모델들 각각의 레인들이 소정의 기준 이상으로 서로 겹치는 경우, 겹치는 레인 모델들은 동일한 레인을 구성하는 것으로 판단하며, 동일한 레인을 구성하는 것으로 판단된 레인 모델들을 하나의 레인 모델로 병합할 수 있다. 프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 병합된 하나의 레인 모델의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 곡선 모델로 피팅을 수행할 수 있다.

도 2는 일 실시예에 따른 레인을 검출하는 방법을 설명하기 위한 흐름도이다.

210 단계에서, 차량(100)은 3차원 공간을 감지하여 획득한 공간 정보로부터 도로 영역 정보를 획득할 수 있다. 차량(100)은 라이다 센서를 이용하여 3차원 공간을 감지하고, 점군 형태의 공간 정보를 획득할 수 있다. 획득된 공간 정보에는 차량(100)이 이동하는 도로 영역 정보뿐만 아니라, 다른 차량, 건물, 보행자 등에 대한 정보도 함께 포함되기 때문에, 차량(100)은 획득된 공간 정보로부터 도로 영역 정보를 추출할 수 있다. 예를 들어, 차량(100)은 라이다 센서를 이용하여 획득한 점군 형태의 공간 정보를 복셀화(voxelization) 과정을 통해 정해진 크기의 균일한 정보로 샘플링할 수 있다. 차랑(100)은 샘플링된 복셀에서의 높이 값에 기초하여, 도로 영역 정보를 추출할 수 있다.

도 3은 일 실시예에 따라 공간 정보로부터 도로 영역 정보를 획득한 예를 나타낸 도면이다.

도 3을 참조하면, 점군 형태의 공간 정보에서 레인이 존재하는 지면 높이의 도로 영역 정보에 해당하는 점군을 추출한 것을 확인할 수 있다.

다시 도 2를 참조하면, 220 단계에서, 차량(100)은 획득된 도로 영역 정보에서 인텐시티 값에 기초하여, 도로 표식 정보를 추출할 수 있다. 차량(100)은 도로 영역 정보에 해당하는 점군 중에서 각 점의 인텐시티 값에 기초하여, 레인 라인을 포함한 도로 표식 정보를 추출할 수 있다. 레인 라인, 제한 속도, 횡단 보도, 주행 방향 표시선 등 도로에 표시된 교통 정보 관련 표지들은 반사율이 높은 색 및 재료로 되어 있으므로, 인텐시티 값이 높은 점들을 추출함으로써, 도로 표식 정보를 추출할 수 있다.

도 4는 일 실시예에 따라 도로 영역 정보에서 인텐시티 값에 기초하여 도로 표식 정보를 추출한 예를 나타낸 도면이다.

도 4를 참조하면, 왼쪽은 도로 영역 정보에 대응되는 점군의 분포를 나타내며, 오른쪽은 점군 중에서 높은 인텐시티 값을 갖는 점들을 구별하여 표시한 것이다. 이와 같이, 높은 인텐시티 값을 갖는 점들이 레인 라인에 해당될 수 있다. 다만, 레인 라인뿐만 아니라, 그 외 도로 위의 표식들도 높은 인텐시티 값을 갖기 때문에, 레인 라인에 해당하는 점군을 필터링하는 작업이 더 요구된다.

다시 도 2를 참조하면, 230 단계에서, 차량(100)은 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득할 수 있다. 앞서, 설명한 바와 같이, 인텐시티 값만으로는 레인 라인에 해당하는 점군만을 추출해 낼 수 없기 때문에, 차량(100)은 추출된 도로 표식 정보에 대해, 가까운 점군끼리 클러스터링하고, 레인 라인의 폭 정보에 기초한 필터링을 수행하여, 일반적인 레인 라인의 폭이라고 볼 수 없는 폭을 가진 클러스터링된 점군을 제거할 수 있다. 예를 들어, 차량(100)은 도로 표식 정보에 대응되는 점군을 가까이 있는 점들끼리 클러스터링하고, 각 클러스터 안의 점들의 좌표의 최대값과 최소값의 차로 각 클러스터의 폭 정보를 구할 수 있다. 차량(100)은 각 클러스터에 대응되는 영역에 대해, 차량 진행 방향으로 클러스터 내의 점군의 폭을 확인하는 윈도우를 이동시켜가며, 폭이 소정의 값을 초과하는 점군을 제거함으로써, 레인 라인에 대응되는 점군을 획득할 수 있다.

도 5는 일 실시예에 따라 도로 표식 정보를 클러스터링한 후 레인 라인의 폭 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하는 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 도로 영역 정보에 해당하는 점군 형태의 공간 정보에서 인텐시티 값이 높은 도로 표식 정보를 추출하고, 도로 표식 정보에 대응되는 점군을 다시 클러스터링하여, 윈도우 서치를 통해, 각 클러스터의 폭 정보를 확인하는 것을 볼 수 있다. 도 5에서, W1의 폭을 가지는 클러스터는 폭이 일반적인 레인 라인의 폭의 범위에 해당하여 레인 라인 정보로 볼 수 있고, W2의 폭을 가지는 클러스터는 횡단보도에 해당하는 부분으로서, 폭이 일반적인 레인 라인의 폭의 범위를 벗어나기 때문에 필터링되어 제거될 수 있다. 다만, 이와 같이 획득한 레인 라인 정보에도 레인 라인이 아닌, 좌회전이나 직진 등의 주행 방향 표시 등이 포함되어 있을 수 있으므로, 이에 대해서는 이후 레인 라인 정보에 기초하여 레인 라인 모델을 생성하는 과정에서 다시 한번 필터링 과정을 수행할 수 있다.

다시 도 2를 참조하면, 240 단계에서, 차량(100)은 차량(100)의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성할 수 있다. 도 6 내지 도 9를 참조하여, 레인 라인 모델들을 생성하는 과정을 상세히 설명한다.

도 6은 일 실시예에 따라 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 과정을 설명하기 위한 상세 흐름도이다.

610 단계에서, 차량(100)은 획득된 레인 라인 정보의 연속성에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가할 수 있다. 차량(100)은 획득된 레인 라인 정보에 소정의 기준 이내로 가까운 레인 라인 모델이 있는지 확인하여, 기존의 레인 라인 모델을 확장하거나 새로운 레인 라인 모델을 추가할 수 있다. 다시 말해서, 기존의 레인 라인에 가까운 점들은 흡수하여 기존의 레인 라인을 연장하고, 기존의 레인 라인에 먼 점들은 그 점들을 시작점으로 하는 새로운 레인 라인을 생성할 수 있다. 레인 라인 모델은 흡수된 점들의 좌표들, 방향성을 갱신하기 위해 저장되는 점들의 좌표들, 그리고 현재의 레인 라인 모델의 방향성 값을 가질 수 있다.

620 단계에서, 차량(100)은 기존의 레인 라인 모델과 새로운 레인 라인 모델에 대해 레인 폭 정보에 기초한 레인 라인 모델 필터링을 수행할 수 있다. 예를 들어, 레인 라인이 아닌, 좌회전이나 직진 등의 주행 방향 표시 등의 일부나 전체는 그 폭이 레인 라인의 폭과 비슷할 수도 있으므로, 앞서 도 2의 230 단계에서 설명한 레인 라인의 폭 정보에 기초한 필터링을 수행하더라도 제거되지 않을 수 있다. 따라서, 이와 같은 레인 라인이 아닌 도로 표식 정보를 제거하기 위해, 레인의 폭 정보에 기초한 레인 라인 모델 필터링을 수행할 수 있다. 인접하는 두 개의 레인 라인들 사이에는 하나의 레인이 존재하므로, 두 개의 레인 라인들 사이의 거리가 하나의 레인 폭 정도의 거리에 비해 너무 가까운 경우, 신뢰도가 낮은 레인 라인 모델은 제거될 수 있다. 레인 라인 모델의 신뢰도는 레인 라인 모델에 포함된 점들의 개수와 레인 라인 모델의 일관성에 기초하여 계산될 수 있다.

630 단계에서, 차량(100)은 획득된 레인 라인 정보의 분포 거리 및 분포 개수에 기초하여, 각 레인 라인 모델의 신뢰할 수 있는 방향 추정이 가능한지 판단할 수 있다. 레인 라인 모델의 방향성은 방향성을 갱신하기 위해 저장된 점들의 좌표들을 이용하여, 좌표들 간 직선을 맞춤으로서 계산이 될 수 있으며, 계산된 직선의 불확실성이 소정의 불확실성 값 이하이면 레인 라인 모델의 방향성이 갱신될 수 있다. 이산화된 점들의 분포 및 노이즈로 인하여, 레인 라인 모델의 잘못된 방향성이 계산되는 것을 방지하기 위함이다. 레인 라인 모델의 방향성이 갱신되면, 방향성을 갱신하기 위해 저장된 점들의 좌표는 삭제되고, 대신 다시 포함된 점들의 좌표를 저장할 수 있다.

도 7a, 도 7b, 및 도 7c는 레인 라인 정보의 분포 거리에 따른 방향 추정 가능성과 레인 라인 정보의 분포 개수에 따른 방향 추정 가능성을 설명하기 위한 도면이다.

도 7a와 도 7b를 비교해 보면, 레인 라인 정보에 포함된 점들의 분포 거리가 멀어짐에 따라 추정된 직선 방향성의 불확실성이 낮아지는 것을 알 수 있다. 도 7b와 도 7c를 보면, 레인 라인 정보에 포함된 점들의 분포 개수가 많아짐에 따라 추정된 직선 방향성의 불확실성이 낮아지는 것을 알 수 있다.

다시 도 6을 참조하면, 640 단계에서, 신뢰할 수 있는 방향 추정이 가능하면, 차량(100)은 획득된 레인 라인 정보에 기초하여, 레인 라인 모델의 방향을 결정할 수 있다.

650 단계에서, 신뢰할 수 있는 방향 추정이 불가능하면, 차량(100)은 전체 도로의 방향 정보에 기초하여, 레인 라인 모델의 방향을 결정할 수 있다.

660 단계에서, 차량(100)은 관심 영역의 레인 라인 정보 전체에 대한 윈도우 스캔이 완료되었는지 판단하여, 완료되지 않았으면, 윈도우 스캔을 더 수행하여 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 과정을 계속 수행할 수 있다.

도 8은 일 실시예에 따라 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가하는 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 차량(100)의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 과정이 나타나 있다. 관심 영역에 대해 윈도우를 설정하여, 윈도우를 차량(100)의 주행 방향으로 이동시키면서 검출되는 레인 라인 정보의 연속성에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가하고, 각 레인 라인 모델을 확장해 나갈 수 있다. 차폐 영역이나 라이다 센서가 감지할 수 없었던 영역이 연속적으로 나타나는 경우, 레인 라인 모델의 확장을 종료할 수 있다.

한편, 차량(100)은 차량의 주행 방향으로 연속적으로 획득된 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성할 때, 전체 도로의 방향 정보와 각 레인 라인 모델의 레인 라인 정보를 이용하여 레인 라인 모델들을 B-spline, polynomial spline과 같은 다양한 곡선 모델로 피팅할 수 있다. 차량(100)은 각 레인 라인 모델에 저장된 점들의 위치와 전반적인 방향성 정보를 이용하여, 오버피팅을 방지한 레인 라인 모델을 구할 수 있다.

도 9는 전체 도로의 방향 정보와 각 레인 라인 모델의 레인 라인 정보를 이용하여 레인 라인 모델들을 소정의 곡선 모델들로 피팅하는 이유를 설명하기 위한 도면이다.

도 9를 참조하여, 레인 라인 모델을 위한 측정된 점들의 위치로만 구해진 곡선 모델과 점들의 위치와 각 위치에서의 방향성을 같이 이용해 추정된 모델을 비교하면, 전자의 경우, 이산화된 점들의 좌표 및 노이즈의 영향으로 오버피팅이 발생할 수 있고, 후자의 경우, 전반적인 방향성 정보를 같이 이용하여 오버피팅을 방지할 수 있음을 알 수 있다.

다시 도 2를 참조하면, 250 단계에서, 차량(100)은 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성할 수 있다. 도 10 내지 도 11을 참조하여, 레인을 생성하는 과정을 상세히 설명한다.

도 10은 일 실시예에 따라 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 과정을 설명하기 위한 상세 흐름도이다.

1010 단계에서, 차량(100)은 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성할 수 있다. 차량(100)은 생성된 레인 라인 모델들에 기초한 레인 라인들 중 두 레인 라인들 간의 거리와 소정의 폭 정보 값을 비교하여, 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성할 수 있다. 두 레인 라인들 간의 거리가 하나의 레인의 폭에 해당하는 소정의 폭 정보 값의 범위 내이면, 그 두 레인 라인들로 이루어지는 하나의 레인에 대한 레인 모델을 생성할 수 있다.

1020 단계에서, 차량(100)은 생성된 레인 모델들의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 외삽을 수행할 수 있다.

1030 단계에서, 차량(100)은 외삽을 수행함에 따라 확장된, 레인 모델들 각각의 레인들이 소정의 기준 이상으로 서로 겹치는지 판단할 수 있다.

1040 단계에서, 차량(100)은 소정의 기준 이상으로 서로 겹치는 레인들이 있으면, 이에 대응되는 레인 모델들은 동일한 레인을 구성하는 것으로 판단할 수 있다.

1050 단계에서, 차량(100)은 동일한 레인을 구성하는 것으로 판단된 레인 모델들을 하나의 레인 모델로 병합할 수 있다.

한편, 병합된 하나의 레인 모델의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 곡선 모델로 피팅을 수행함으로써, 병합된 레인 전체에 대한 연속적인 레인 라인 모델을 생성할 수 있다.

1060 단계에서, 차량(100)은 모든 레인에 대해, 각 레인 라인 모델들에 대한 외삽을 수행하여, 동일한 레인을 구성하는 것으로 판단되는 레인 모델들 간의 병합이 완료되었는지 판단할 수 있다.

도 11은 일 실시예에 따라 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성하여, 생성된 레인 모델들 중 동일한 레인을 구성하는 레인 모델들을 하나의 레인 모델로 병합하는 과정을 설명하기 위한 도면이다.

차폐 영역이나 라이다 센서가 도달할 수 없는 영역 등에 의해 레인 라인 정보가 획득되지 않은 영역으로 인하여, 레인 라인 모델들에 따른 레인 라인들이 서로 연속적이지 않으므로, 레인 라인들을 기반으로 생성되는 레인도 도 11에 도시된 바와 같이 끊겨서 생성될 수 있다. 도 11의 끊긴 부분과 관련하여, 각 레인의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대한 외삽을 수행함으로써, 확장되는 레인들이 서로 동일한 레인을 구성하는 것으로 판단되면, 각 레인의 레인 모델들을 하나의 레인 모델로 병합하여, 이어진 하나의 레인에 대한 레인 모델을 생성할 수 있다. 이와 같은 방식을 모든 레인들에 대해 적용하여, 전체 레인을 검출할 수 있다.

한편, 이어진 하나의 레인의 양쪽 레인 라인에 대해, 이어진 전체 길이의 레인 라인의 레인 라인 모델에 대한 곡선 피팅을 다시 해주어, 연속적인 레인 라인 모델을 생성할 수 있다.

상술한 실시예들 각각은 차량(100)에서, 레인을 검출하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 실시예들 각각은 차량(100)으로 하여금, 레인을 검출하는 소정의 단계들을 포함하는 방법을 실행시키기 위한 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다.

상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 상기 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.

이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 적어도 하나의 센서를 이용하여 3차원 공간을 감지하고, 공간 정보를 출력하는 센서부;
   컴퓨터 실행가능 명령어(computer executable instruction)를 저장하는 메모리; 및
   상기 컴퓨터 실행가능 명령어를 실행함으로써,
   상기 공간 정보로부터 도로 영역 정보를 획득하고, 상기 획득된 도로 영역 정보에서 인텐시티(intensity) 값에 기초하여, 도로 표식 정보를 추출하며, 상기 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭(width) 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하고, 차량의 주행 방향으로 연속적으로 획득된 상기 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하며, 상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 프로세서를 포함하는, 차량.
2. 제 1 항에 있어서,
   상기 프로세서는,
   상기 컴퓨터 실행가능 명령어를 실행함으로써, 상기 획득된 레인 라인 정보의 연속성에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가하고, 상기 획득된 레인 라인 정보의 분포 거리 및 분포 개수에 기초하여, 방향 추정이 가능한지 판단하여, 상기 기존의 레인 라인 모델 또는 상기 새로운 레인 라인 모델의 방향을 결정하는, 차량.
3. 제 2 항에 있어서,
   상기 프로세서는,
   상기 컴퓨터 실행가능 명령어를 실행함으로써, 상기 기존의 레인 라인 모델과 상기 새로운 레인 라인 모델에 대해 레인 폭 정보에 기초한 레인 라인 모델 필터링을 수행하고, 상기 레인 라인 모델 필터링이 수행된 레인 라인 모델의 방향을 결정하는, 차량.
4. 제 1 항에 있어서,
   상기 프로세서는,
   상기 컴퓨터 실행가능 명령어를 실행함으로써, 전체 도로의 방향 정보와 각 레인 라인 모델의 레인 라인 정보를 이용하여 상기 레인 라인 모델들을 소정의 곡선 모델들로 피팅(fitting)함으로써 상기 레인 라인 모델들을 생성하는, 차량.
5. 제 1 항에 있어서,
   상기 프로세서는,
   상기 컴퓨터 실행가능 명령어를 실행함으로써, 상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 두 레인 라인들 간의 거리와 소정의 폭 정보 값을 비교하여, 상기 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성하고, 상기 생성된 레인 모델들 중 동일한 레인을 구성하는 레인 모델들을 하나의 레인 모델로 병합하는, 차량.
6. 제 5 항에 있어서,
   상기 프로세서는,
   상기 컴퓨터 실행가능 명령어를 실행함으로써, 상기 생성된 레인 모델들의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 외삽(extrapolation)을 수행하고, 상기 외삽을 수행함에 따라 확장된 상기 생성된 레인 모델들 각각의 레인들이 소정의 기준 이상으로 서로 겹치는 경우, 상기 겹치는 레인 모델들은 상기 동일한 레인을 구성하는 것으로 판단하며, 상기 동일한 레인을 구성하는 것으로 판단된 레인 모델들을 상기 하나의 레인 모델로 병합하는, 차량.
7. 제 5 항에 있어서,
   상기 프로세서는,
   상기 컴퓨터 실행가능 명령어를 실행함으로써, 상기 병합된 하나의 레인 모델의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 곡선 모델로 피팅을 수행하는, 차량.
8. 3차원 공간을 감지하여 획득한 공간 정보로부터 도로 영역 정보를 획득하는 단계;
   상기 획득된 도로 영역 정보에서 인텐시티 값에 기초하여, 도로 표식 정보를 추출하는 단계;
   상기 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하는 단계;
   차량의 주행 방향으로 연속적으로 획득된 상기 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 단계; 및
   상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 단계를 포함하는 레인을 검출하는 방법.
9. 제 8 항에 있어서,
   상기 레인 라인 모델들을 생성하는 단계는,
   상기 획득된 레인 라인 정보의 연속성에 기초하여, 기존의 레인 라인 모델을 업데이트하거나 새로운 레인 라인 모델을 추가하는 단계; 및
   상기 획득된 레인 라인 정보의 분포 거리 및 분포 개수에 기초하여, 방향 추정이 가능한지 판단하여, 상기 기존의 레인 라인 모델 또는 상기 새로운 레인 라인 모델의 방향을 결정하는 단계;
   를 포함하는, 방법.
10. 제 9 항에 있어서,
    상기 레인 라인 모델들을 생성하는 단계는,
    상기 기존의 레인 라인 모델과 상기 새로운 레인 라인 모델에 대해 레인 폭 정보에 기초한 레인 라인 모델 필터링을 수행하는 단계를 더 포함하고,
    상기 방향을 결정하는 단계는,
    상기 레인 라인 모델 필터링이 수행된 레인 라인 모델의 방향을 결정하는, 방법.
11. 제 8 항에 있어서,
    상기 레인 라인 모델들을 생성하는 단계는,
    전체 도로의 방향 정보와 각 레인 라인 모델의 레인 라인 정보를 이용하여 상기 레인 라인 모델들을 소정의 곡선 모델들로 피팅함으로써 생성하는, 방법.
12. 제 8 항에 있어서,
    상기 레인을 생성하는 단계는,
    상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 두 레인 라인들 간의 거리와 소정의 폭 정보 값을 비교하여, 상기 인접한 두 레인 라인들로 이루어지는 레인 모델들을 생성하는 단계; 및
    상기 생성된 레인 모델들 중 동일한 레인을 구성하는 레인 모델들을 하나의 레인 모델로 병합하는 단계;
    를 포함하는, 방법.
13. 제 12 항에 있어서,
    상기 병합하는 단계는,
    상기 생성된 레인 모델들의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 외삽을 수행하는 단계;
    상기 외삽을 수행함에 따라 확장된 상기 생성된 레인 모델들 각각의 레인들이 소정의 기준 이상으로 서로 겹치는 경우, 상기 겹치는 레인 모델들은 상기 동일한 레인을 구성하는 것으로 판단하는 단계; 및
    상기 동일한 레인을 구성하는 것으로 판단된 레인 모델들을 상기 하나의 레인 모델로 병합하는 단계;
    를 포함하는, 방법.
14. 제 12 항에 있어서,
    상기 레인을 생성하는 단계는,
    상기 병합된 하나의 레인 모델의 양쪽 레인 라인에 대응되는 레인 라인 모델들에 대해 곡선 모델로 피팅을 수행하는 단계를 더 포함하는, 방법.
15. 차량에서,
    3차원 공간을 감지하여 획득한 공간 정보로부터 도로 영역 정보를 획득하는 단계;
    상기 획득된 도로 영역 정보에서 인텐시티 값에 기초하여, 도로 표식 정보를 추출하는 단계;
    상기 추출된 도로 표식 정보를 클러스터링한 후 레인 라인의 폭 정보에 기초한 필터링을 수행하여 레인 라인 정보를 획득하는 단계; 및
    차량의 주행 방향으로 연속적으로 획득된 상기 레인 라인 정보에 기초하여, 레인 라인 모델들을 생성하는 단계; 및
    상기 생성된 레인 라인 모델들에 기초한 레인 라인들 중 인접한 두 레인 라인들로 이루어지는 레인을 생성하는 단계를 포함하는 레인을 검출하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.

Images