KR20170104287A

KR20170104287A - 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법

Info

Publication number: KR20170104287A
Application number: KR1020160027152A
Authority: KR
Inventors: 변재민
Original assignee: 한국전자통신연구원
Priority date: 2016-03-07
Filing date: 2016-03-07
Publication date: 2017-09-15

Abstract

본 발명은 주행 가능 영역 인식 장치에 관한 것이다. 본 발명의 주행 가능 영역 인식 장치는 차량의 주행 방향에 대한 3차원 점군 데이터를 생성하는 센서, 3차원 점군 데이터로부터 획득된 특징 벡터를 이용하여 지면을 분류하는 지면 분류 모듈, 및 분류된 지면 분류 정보를 이진화하고, 이진화된 정보를 그룹화하여 차선의 기하학적 모델링을 통해 차선을 인식하는 차선 인식 모듈을 포함을 포함한다.

Description

주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법{DRIVING AREA RECOGNITION APPARATUS AND METHOD FOR RECOGNIZING DRIVING AREA THEREOF}

본 발명은 자율 주행 시스템에 관련된 것으로서, 차량의 3차원 센서를 이용하여 자율 주행 시 차량의 주행 가능 영역과 주행 불가능 영역을 보다 정확히 구분할 수 있는 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법에 관한 것이다.

지능형 자동차의 발전으로 인해, 현재 자율 주행 자동차 기술에 대한 관심이 증가하고 있다. 특히 자율 주행 자동차가 복잡한 시내 및 고속도로 구간에서 안전하게 주행을 하기 위해서는 정확한 환경 인식 기능이 보장되어야 한다.

주행 공간에 있는 장애물과 주행 가능 영역을 인식하기 위해 카메라와 같은 수동 센서를 이용한다. 하지만, 카메라는 급격한 조명 변화와 2차원으로 투영된 정보만을 이용한다. 이로 인해, 수동 센서를 활용한 자율 주행 시스템은 주행 공간에 있는 장애물 등을 정확히 탐지하고, 주행 가능 영역을 구분하기 위한 정보의 한계로 인해, 주행 가능 영역 인식에 한계가 존재하는 문제점이 있었다.

본 발명의 목적은 차량의 주행 가능 영역과 주행 불가능 영역 검출의 정확도를 높일 수 있는 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법를 제공함에 있다.

본 발명의 다른 목적은 3차원 센서를 이용하여 장애물, 차선을 포함한 주행 가능 영역을 정밀하게 인식하는 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법을 제공함에 있다.

본 발명에 따른 주행 가능 영역 인식 장치는 차량의 주행 방향에 대한 3차원 점군 데이터를 생성하는 센서, 상기 3차원 점군 데이터로부터 획득된 특징 벡터를 이용하여 지면을 분류하는 지면 분류 모듈, 및 상기 분류된 지면 분류 정보를 이진화하고, 이진화된 정보를 그룹화하여 차선의 기하학적 모델링을 통해 상기 차선을 인식하는 차선 인식 모듈을 포함한다.

이 실시예에 있어서, 상기 센서는 상기 차량의 주행 방향을 촬영하고, 촬영된 3차원 영상을 3차원 점군 데이터 형태로 출력하는 3차원 라이더 센서를 포함한다.

이 실시예에 있어서, 상기 지면 분류 모듈은 상기 3차원 점군 데이터를 도로 정보를 이용하여 상기 주행 방향의 지면 정보를 필터링하는 필터링부, 상기 지면 정보에 대응되는 3차원 점군 데이터를 2차원 격자로 투영하는 격자지도 매핑부, 상기 2차원 격자로의 투영을 통해 특징 벡터들을 획득하는 특징점 추출부, 상기 특징 벡터들을 이용하여 장애물을 포함한 지면을 분류하는 서포트 벡터 머신 분류부를 포함한다.

이 실시예에 있어서, 상기 필터링부는 상기 지면 정보의 필터링을 위해 실시간 주행 도로의 정보를 제공하는 융합맵을 활용한다.

이 실시예에 있어서, 상기 분류된 지면 정보를 강도(intensity)의 값에 근거하여 이진화하는 이진화부, 상기 이진화된 데이터를 후보 차선을 검출하기 위해 영역을 군집 분류하는 군집 분류부, 상기 군집 분류된 데이터를 사용하여 상기 차선의 기하학적인 모델링을 통한 상기 차선의 인식에 따른 차선 인식 정보를 출력하는 기하학적 모델링 추정부를 포함한다.

본 발명에 따른 주행 가능 영역 인식 장치의 주행 가능 영역 인식 방법은 차량의 주행 방향을 촬영하여 3차원 점군 데이터를 생성하는 단계, 상기 3차원 점군 데이터로부터 획득된 특징 벡터를 이용하여 지면을 분류하는 단계, 및 상기 분류된 지면 분류 정보를 이진화하고, 이진화된 정보를 그룹화하여 차선의 기하학적 모델링을 통해 상기 차선을 인식하는 단계를 포함한다.

이 실시예에 있어서, 상기 지면을 분류하는 단계는 상기 3차원 점군 데이터를 도로 정보를 이용하여 상기 주행 방향의 지면 정보를 필터링하는 단계, 상기 지면 정보에 대응되는 3차원 점군 데이터를 2차원 격자로 투영하는 단계, 상기 2차원 격자로의 투영을 통해 특징 벡터들을 획득하는 단계, 및 상기 특징 벡터들을 이용하여 장애물을 포함한 지면을 분류하는 단계를 포함한다.

이 실시예에 있어서, 상기 필터링하는 단계는 실시간 주행 도로의 정보를 제공하는 융합맵을 이용하여 상기 주행 방향의 도로 정보를 필터링하는 단계를 포함한다.

이 실시예에 있어서, 상기 차선을 인식하는 단계는 상기 분류된 지면 정보를 강도(intensity)의 값에 근거하여 이진화하는 단계, 상기 이진화된 데이터를 후보 차선을 검출하기 위해 영역을 군집 분류하는 단계, 및 상기 군집 분류된 데이터를 사용하여 상기 차선의 기하학적인 모델링을 통한 차선 인식 정보를 출력하는 단계를 포함한다.

본 발명의 주행 가능 영역 인식 장치는 3차원 센서 데이터를 이용하여 지면 인식과 차선 인식을 함으로써, 2차원 센서 데이터를 활용하는 경우보다 주행 가능 영역과 주행 불가능 영역 검출의 정확도를 높일 수 있다. 이와 같이, 차량이 주행하는 3차원 공간에 대한 데이터를 활용함에 따라 주행에 따른 장애물, 차선을 포함한 주행 가능 영역을 보다 정밀하게 인식할 수 있다.

도 1은 본 발명에 따른 3차원 센서를 구비한 주행 가능 영역 인식 장치를 예시적으로 도시한 도면이다.
도 2는 도 1에 도시된 주행 가능 영역 인식 장치를 예시적으로 도시한 도면이다.
도 3은 도 2에 도시된 주행 가능 영역 인식 장치를 이용한 주행 가능 인식 동작에 따른 데이터 처리를 예시적으로 도시한 도면이다.
도 4는 도 2에 도시된 주행 가능 영역 인식 장치의 주행 가능 인식 방법을 예시적으로 도시한 도면이다.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다.

본 발명은 기존의 2차원 영상을 이용하여 주행 가능 영역을 인식과 달리 3차원 영상을 획득하는 센서들(일예로, 레이더(Radar: radio detecting and ranging), 라이더(LiDAR: Light Detection And Ranging))에 기반하여 3차원 공간 정보를 이용한다. 본 발명은 3차원 공간 정보를 이용하며, 3차원 공간 정보 중에서 주행 방향에 대응되는 지면에 대한 정보만을 이용한 주행 가능 영역 인식 장치를 제공할 수 있다.

도 1은 본 발명에 따른 3차원 센서를 구비한 주행 가능 영역 인식 장치를 예시적으로 도시한 도면이다.

도 1을 참조하면, 차량(10)은 일예로, 자율 주행, 안전 기능 등을 위한 주행 가능 영역 인식 장치(100)를 포함한다. 주행 가능 영역 인식 장치(100)는 주행 가능 영역 구분을 위한 데이터 획득을 위해 센서(110)를 포함하거나, 센서(110)에 연결될 수 있다.

센서(110)는 차량(10)의 주행 방향(일예로, 차량(10)의 전방 또는 후방)을 중심으로 3차원(3D) 공간의 촬영 또는 스캔을 통한 3차원 점군 데이터(3D Pont Clouds data)를 생성할 수 있다. 3차원 점군 데이터는 지형, 장애물, 도로, 차선 등의 정보를 포함한다. 여기서, 센서(110)는 일예로, 벨로다인(Velodyne) 센서와 같은 3차원 라이더(LiDAR: Light Detection And Ranging) 센서, 레이더(Radar) 센서 등이 사용될 수 있다. 센서(110)는 차량(10)의 지붕 등에 위치할 수 있다.

주행 가능 영역 인식 장치(100)는 센서(110)로부터 수신된 3차원 점군 데이터를 이용하여 지면을 분류하고, 분류된 지면에 대한 모델링을 통해 인식된 차선 인식 정보를 출력한다. 이를 통해, 주행 가능 영역 인식 장치(100)는 차선 인식 정보를 통해 차량(10)의 주행 가능 영역에 대한 정보를 출력할 수 있다.

도 2는 도 1에 도시된 주행 가능 영역 인식 장치를 예시적으로 도시한 도면이다.

도 2를 참조하면, 차선 인식 장치(100)는 센서(110), 지면 분류 모듈(120), 및 차선 인식 모듈(130)을 포함한다.

센서(110)는 차량(10, 도 1에 도시)의 주행 방향에 대한 3차원 점군 데이터를 생성한다. 센서(110)는 평지 또는 굴곡이 있는 지면에 대해서 3차원 점군 데이터를 생성한다.

지면 분류 모듈(120)은 3차원 점군 데이터로부터 획득된 특징 벡터를 이용하여 지면을 분류한다. 지면 분류 모듈(120)은 필터링부(121), 격자지도 매핑부(122), 특징점 추출부(123), 서포트 벡터 머신(SVM: Support Vector Machine) 분류부(124)를 포함한다.

필터링부(121)는 3차원 점군 데이터를 도로 정보를 이용하여 상기 주행 방향의 지면 정보를 필터링한다. 여기서, 도로 정보는 실시간 주행 도로의 정보를 제공하고 있는 융합맵을 포함하고, 융합 맵은 도로의 차선 개수, 도로 영역에 대한 정보를 포함한다. 이를 통해, 필터링부(121)는 주행 방향의 3차원 영상을 촬영한 3차원 점군 데이터 중에서 실제 차량의 주행에 필요한 지면 영역만을 필터링하고, 필터링된 지면 정보만을 출력한다.

격자지도 매핑부(122)는 필터링을 통해 3차원 점군 데이터를 2차원 격자에 투영한다. 이때, 격자의 모양을 구성하기 위해 정방형 축을 기준으로 동일한 격자로 구분하는 방식을 사용할 수 있다.

특징점 추출부(123)는 2차원 격자로의 투영을 통해 각 격자의 대표값을 그 셀에 해당하는 점들에 의해서 계산된 특징 벡터들로 나타낸다.

서포트 벡터 머신 분류부(124)는 특징 벡터를 이용하여 장애물을 포함한 지면을 분류한다. 서포트 벡터 머신 분류부(124)는 분류된 지면 정보를 차선 인식 모듈(130)로 출력한다.

차선 인식 모듈(130)은 분류된 지면 정보를 이진화하고, 이진화된 정보를 그룹화하여 차선의 기하학적 모델링을 통해 차선을 인식한다. 차선 인식 모듈(130)은 이진화부(131), 군집 분류부(132), 및 기하학적 모델링 추정부(133)를 포함한다.

이진화부(131)는 지면 분류에 따른 정보의 강도(intensity) 값에 근거하여 이진화한다.

군집 분류부(132)는 이진화된 데이터를 후보 차선을 검출하기 위해 영역을 군집 분류한다.

기하학적 모델링 추정부(133)는 군집 분류된 데이터를 사용하여 차선의 기하학적인 모델링을 통한 차선 인식 정보를 출력한다. 기하학적 모델링 추정부(133)는 차선의 형태를 모델링하여 출력함으로써, 차량의 주행 가능 영역을 인식할 수 있다.

이를 통해, 본 발명에서 제안된 주행 가능 영역 인식 장치(100)는 차량(10)의 주행 방향에 따른 3차원 정보를 이용하여 지면 인식 및 차선 인식을 함으로써, 2차원 데이터를 이용한 주행 가능 영역을 인식하는 방식에 비해 정확도가 향상될 수 있다. 또한, 주행 가능 영역 인식 장치(100)는 도로 및 차선의 검출을 위한 지면 정보만을 사용함으로써, 주행 가능 영역의 인식을 처리하기 위한 데이터의 용량을 최소화시킬 수 있다.

도 3은 도 2에 도시된 주행 가능 영역 인식 장치를 이용한 주행 가능 인식 동작에 따른 데이터 처리를 예시적으로 도시한 도면이다.

도 3을 참조하면, 주행 가능 영역 인식 장치(100)의 지면 분류 모듈(120)과 차선 인식 모듈(130)의 동작에 따른 3차원 점군 데이터 처리에 따른 영상 이미지들을 예시적으로 도시한다.

지면 분류 모듈(120)의 지면 검출 동작(210)은 다음과 같다.

필터링부(121)는 센서(110)를 통해 입력된 3차원 점군 데이터(211)를 입력받는다. 필터링부(121)는 입력된 3차원 점군 데이터를 필터링(212)한다.

격자지도 매핑부(122)는 필터링된 3차원 점군 데이터를 격자 지도에 매핑(213)한다.

특징점 추출부(123)는 매핑된 격자지도로부터 특징점을 추출(214)한다.

서포트 벡터 머신 분류부(124)는 지면의 분류(215)를 통해 지면 정보(250)를 출력한다. 여기서, 지면 정보는 지면 영역과 장애물 정보를 포함한다.

차선 인식 모듈(130)의 차선 검출 동작(310)은 다음과 같다.

이진화부(131)는 지면 분류에 따른 지면 정보의 강도(intensity) 값에 근거하여 이진화(311)한다.

군집 분류부(132)는 이진화된 데이터에서 후보 차선 검출을 위해 영역을 군집 분류(312)한다.

기하학적 모델링 추정부(133)는 군집 분류된 데이터를 사용하여 차선의 기하학적 모델링(313)을 한다. 기하학적 모델링 추정부(133)는 모델링을 통해 획득된 차선 인식 정보(350)를 출력한다. 차선 인식 정보(350)에는 차량의 주행을 위한 차선이 흰색선으로 길게 도시된 것을 확인할 수 있다.

도 4는 도 2에 도시된 주행 가능 영역 인식 장치의 주행 가능 인식 방법을 예시적으로 도시한 도면이다.

도 4를 참조하면, 주행 가능 영역 인식 장치(100)는 차량의 주행 방향에 따른 3차원 점군 데이터를 생성한다(S110단계). 주행 가능 영역 인식 장치(100)는 3차원 점군 데이터를 생성할 수 있는 3차원 라이더 센서를 이용하여 3차원 점군 데이터를 생성할 수 있다.

주행 가능 영역 인식 장치(100)는 도로 정보를 이용하여 3차원 점군 데이터를 필터링한다(S120단계). 도로 정보는 미리 획득된 도로 속성 정보로서 인식에 필요한 3차원 점군 데이터만을 처리할 수 있도록 한다. 이를 통해, 주행 가능 영역 인식 장치(100)는 진행 방향의 도로 영역의 관심 영역에 대응되는 3차원 점군 데이터만을 사용한다. 이를 통해, 처리해야 하는 데이터 양을 최소화할 수 있다.

주행 가능 영역 인식 장치(100)는 2차원 격자로의 투영을 통해 3차원 점군 데이터를 격자 지도로 매핑한다(S130단계).

주행 가능 영역 인식 장치(100)는 2차원 격자로의 투영을 통해 특징점에 대응되는 특징 벡터를 추출한다(S140단계).

주행 가능 영역 인식 장치(100)는 주행 가능 영역 구분을 위한 지면 분류를 하고, 지면 분류에 따른 지면 정보를 추출한다(S150단계).

주행 가능 영역 인식 장치(100)는 분류된 지면 정보를 강도(intensity)에 근거하여 이진화한다(S160단계).

주행 가능 영역 인식 장치(100)는 이진화된 지면 분류 정보를 사용하여 영역의 군집 분류를 한다(S170단계). 주행 가능 영역 인식 장치(100)는 군집 분류를 통해 후보 차선을 검출할 수 있다.

주행 가능 영역 인식 장치(100)는 군집 분류된 군집 분류된 데이터를 사용하여 차선의 기하학적인 모델링을 통한 차선 인식 정보를 출력한다(S180단계).

위의 S120단계 내지 S150단계는 주행 영역의 구분을 위해 3차원 데이터로부터 지면 분류를 하는 단계이고, S160단계 내지 S180단계는 지면 분류 정보로부터 차선을 인식하는 단계이다.

주행 가능 영역 인식 장치(100)는 차선 인식 동작을 종료할지를 판단한다(S190단계).

주행 가능 영역 인식 장치(100)는 차선 인식 동작을 종료하는 것으로 판단하는 경우 종료한다. 하지만, 주행 가능 영역 인식 장치는 차선 인식 동작을 종료하지 않는 경우, S110단계로 진행하여 차량의 주행을 위한 주행 가능 영역과 주행 불가능 영역을 구분한다.

더욱이, 본 발명의 주행 가능 영역 인식 장치는 3차원 점군 데이터를 사용함에 따라 주행 가능 영역 인식의 정확도를 높일 수 있고, 지면에 대한 분류를 통해 지면에 해당하는 3차원 정보를 활용함에 따라 처리해야하는 데이터의 양을 최소화할 수 있다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 차량 100: 주행 가능 영역 인식 장치
110: 센서 120: 지면 분류 모듈
121: 필터링부 122: 격자지도 매핑부
123: 특징점 추출부 124: 서포트 벡터 머신(SVM) 분류부
130: 차선 인식 모듈 131: 이진화부
132: 군집 분류부 133: 기하학적 모델링 추정부

Claims

차량의 주행 방향에 대한 3차원 점군 데이터를 생성하는 센서;
상기 3차원 점군 데이터로부터 획득된 특징 벡터를 이용하여 지면을 분류하는 지면 분류 모듈; 및
상기 분류된 지면 분류 정보를 이진화하고, 이진화된 정보를 그룹화하여 차선의 기하학적 모델링을 통해 상기 차선을 인식하는 차선 인식 모듈을 포함하는 주행 가능 영역 인식 장치.
제 1 항에 있어서,
상기 센서는 상기 차량의 주행 방향을 촬영하고, 촬영된 3차원 영상을 3차원 점군 데이터 형태로 출력하는 3차원 라이더 센서를 포함하는 주행 가능 영역 인식 장치.
제 1 항에 있어서,
상기 지면 분류 모듈은
상기 3차원 점군 데이터를 도로 정보를 이용하여 상기 주행 방향의 지면 정보를 필터링하는 필터링부;
상기 지면 정보에 대응되는 3차원 점군 데이터를 2차원 격자로 투영하는 격자지도 매핑부;
상기 2차원 격자로의 투영을 통해 특징 벡터들을 획득하는 특징점 추출부;
상기 특징 벡터들을 이용하여 장애물을 포함한 지면을 분류하는 서포트 벡터 머신 분류부를 포함하는 주행 가능 영역 인식 장치.
제 3 항에 있어서,
상기 필터링부는 상기 지면 정보의 필터링을 위해 실시간 주행 도로의 정보를 제공하는 융합맵을 활용하는 주행 가능 영역 인식 장치.
제 3 항에 있어서,
상기 분류된 지면 정보를 강도(intensity)의 값에 근거하여 이진화하는 이진화부;
상기 이진화된 데이터를 후보 차선을 검출하기 위해 영역을 군집 분류하는 군집 분류부;
상기 군집 분류된 데이터를 사용하여 상기 차선의 기하학적인 모델링을 통한 상기 차선의 인식에 따른 차선 인식 정보를 출력하는 기하학적 모델링 추정부를 포함하는 주행 가능 영역 인식 장치.
주행 가능 영역 인식 장치의 주행 가능 영역 인식 방법에 있어서,
차량의 주행 방향을 촬영하여 3차원 점군 데이터를 생성하는 단계;
상기 3차원 점군 데이터로부터 획득된 특징 벡터를 이용하여 지면을 분류하는 단계; 및
상기 분류된 지면 분류 정보를 이진화하고, 이진화된 정보를 그룹화하여 차선의 기하학적 모델링을 통해 상기 차선을 인식하는 단계를 포함하는 주행 가능 영역 인식 방법.
제 6 항에 있어서,
상기 지면을 분류하는 단계는
상기 3차원 점군 데이터를 도로 정보를 이용하여 상기 주행 방향의 지면 정보를 필터링하는 단계;
상기 지면 정보에 대응되는 3차원 점군 데이터를 2차원 격자로 투영하는 단계;
상기 2차원 격자로의 투영을 통해 특징 벡터들을 획득하는 단계; 및
상기 특징 벡터들을 이용하여 장애물을 포함한 지면을 분류하는 단계를 포함하는 주행 가능 영역 인식 방법.
제 7 항에 있어서,
상기 필터링하는 단계는
실시간 주행 도로의 정보를 제공하는 융합맵을 이용하여 상기 주행 방향의 도로 정보를 필터링하는 단계를 포함하는 주행 가능 영역 인식 방법.
제 7 항에 있어서,
상기 차선을 인식하는 단계는
상기 분류된 지면 정보를 강도(intensity)의 값에 근거하여 이진화하는 단계;
상기 이진화된 데이터를 후보 차선을 검출하기 위해 영역을 군집 분류하는 단계; 및
상기 군집 분류된 데이터를 사용하여 상기 차선의 기하학적인 모델링을 통한 차선 인식 정보를 출력하는 단계를 포함하는 주행 가능 영역 인식 방법.