KR101268523B1 - 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법 - Google Patents

Abstract

본 발명은 거리 측정 센서로부터 점군 데이터(Point Cloud Data, PCD)를 획득하고, 측정된 데이터를 점의 특성에 따라서 분류하고, 효과적인 객체 분할을 위해서 지면을 제거하고, 데이터를 각각의 물체에 해당되는 점군들로 분할한 후, 각각의 객체를 구체적인 물체로 분류하는 것을 특징으로 하는 실시간성을 확보할 수 있고 온라인 처리가 가능한 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법에 관한 것이다.

Description

레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법{FAST SCENE UNDERSTANDING METHOD IN URBAN ENVIRONMENT USING LASER SCANNER}

본 발명은 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법에 관한 것으로, 보다 상세하게는 2차원 센서인 레이저 거리 측정 센서를 이용하여 획득된 데이터에 대하여 연속적인 객체 분할과 분류를 행하는 것을 특징으로 하는 복잡한 도시 환경에서 실시간으로 주변 환경을 높은 인식률로 인식할 수 있는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법에 관한 것이다.

로봇의 이동이나 무인 자동차의 자율 주행을 위한 주변 환경 모델링은 활발히 연구되고 있는 분야 중의 하나이다. 주변 환경 모델링은 맵 생성(또는 맵 표현), 월드모델링으로 불리기도 한다. 이러한 맵 생성은 단순히 로봇의 주변 환경에 대한 형태를 보여줄 뿐만 아니라 로봇의 위치 추정(Localization), 경로 계획(Path Planning) 등의 알고리즘에 필수가 되는 정보를 제공한다.

3차원 맵 생성에서는 로봇이 지형/지물을 인식 가능하도록 로봇의 주변 환경에 존재하는 물체의 종류를 확인할 수 있고 물체 사이의 공간적인 관계를 파악할 수 있도록 맵을 표현하는 것이 무엇보다도 중요하다. 이러한 맵의 생성을 시맨틱 맵핑(semantic mapping)이라고 한다.

이러한 시맨틱 매핑을 위해서 환경을 인식하는 것이 중요한데, 환경 인식을 위해서는 각종 센서를 이용하여 로봇 주변 환경을 측정하고, 획득한 데이터인 3차원 점군을 특정한 알고리즘을 이용하여 각각의 물체로 분류해야 한다.

Lalonde, J.F. 등, (2006). "Natural Terrain Classification using Three-Dimensional Ladar Data for Ground Robot Mobility." Journal of Field Robotics, 23(10), pp. 839-861는 레이저 거리측정 센서를 이용하여 주변 환경을 측정하고, 3차원 점군 데이터의 통계적 특성을 통해 점군 데이터를 “scatter”, “linear”, “surface”의 3가지로 분류하는 방법을 제안하였다. 그러나 linear, scatter, surface와 같이 특정 물체에 대한 분류가 아닌 지형의 국지적인 특징만을 보여주고 있어 물체에 대한 인식은 불가능하고, 또한 제한된 영역에 한해서 실시간으로 처리되어 실시간성의 확보는 어렵다.

Zhao, H. 등, (2010). "Scene Understanding in a Large Dynamic Environment through a Laser-based Sensing." IEEE International Conference on Robotics and Automation ( ICRA ) 2010, pp. 128-133는 2차원 레이저 거리측정 센서를 차량의 양쪽 측면에 설치하여 수직으로 스캔하도록 시스템을 구성하고, 차량의 이동에 따라 연속적으로 2차원 데이터를 수집하여 3차원 점군 데이터를 각 점을 픽셀로 하여 픽셀값을 측정된 거리값으로 하는 2차원 거리이미지(range image)로 표현하고, 거리이미지를 이용하여 이미지기반 객체분할(segmentation)의 알고리즘을 적용하여 물체를 분할하고 분류하는 방법을 제안하였다. 이러한 방법은 인식률은 높은 편이지만, 실시간성을 확보하기 어렵고 객체 분할의 성능도 부족한 한계가 있다.

위에서 설명한 기존의 방법들은 인식률의 관점에서는 성능이 우수한 편이지만, 실시간 성능을 제공하지는 못한다. 실제로 인식률과 실시간성을 동시에 확보하기란 쉽지 않기 때문이다. 그러나 실제 로봇에 적용하려면 실시간성의 확보는 물론 데이터의 획득과 동시에 처리가 가능한 온라인으로 동작가능한 방법이 요구된다.

본 발명의 하나의 목적은 실시간성의 확보는 물론 데이터 획득과 동시에 모든 연산이 가능하도록 하는 온라인 알고리즘을 제공하여 복잡한 도시 환경에서 빠르게 주변 환경을 인식할 수 있는 방법을 제공하는 것이다.

본 발명의 다른 목적은 데이터의 획득과 동시에 모든 연산이 가능하도록 실시간성을 확보할 수 있고, 연산 시간을 최소로 하는 간단한 알고리즘 구현이 가능하며, 복잡한 도시 환경에서 효과적으로 물체를 인식할 수 있는 환경 인식 방법을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 하나의 양상은

센서로부터 환경에 대한 점군 데이터(point cloud data)를 연속적으로 획득하는 단계;

점군 데이터를 점의 특성에 따라서 수평형, 수직형, 또는 경사형으로 연속적으로 분류하는 단계;

수평형 점들 중에서 지면에 해당되는 점들을 검출 및 제거하는 단계;

분류된 점군들을 각각의 객체(object)에 해당되는 점군들로 객체 분할(segmentation)하는 단계; 및

전 단계에 의해서 구별된 각각의 객체를 특정한 물체로 분류 (classification)하는 단계를 포함하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법에 관한 것이다.

상술한 목적을 달성하기 위한 본 발명의 다른 양상은 본 발명의 환경 인식 방법을 컴퓨터로 실행시킬 수 있는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

본 발명의 방법에 의하면, 레이저 거리측정 센서를 이용하여 얻은 3차원 점군 데이터를 빠르게 분류하여 로봇이 주변 환경을 쉽게 인식할 수 있는 맵을 생성할 수 있다. 또한 본 발명의 방법에 의하면 센서의 측정에 의한 데이터의 획득과 동시에 연속적으로 객체 분할과 객체 분류가 가능하여 높은 인식률과 실시간성을 동시에 달성할 수 있다. 따라서 본 발명의 방법은 스스로 물체를 인식하여 주행할 수 있는 자동차(예컨대, 무인자동차) 또는 3차원 정보를 인식하고 안내해 주는 시스템 (예컨대, 3차원 네비게이션)에 적용될 수 있다.

도 1은 본 발명의 실시예의 환경 인식 방법의 흐름도이다.
도 2는 2차원 레이저 거리측정 센서를 이용한 환경 데이터 측정의 예를 도시한 모식도이다.
도 3은 2차원 레이저 센서를 이용한 데이터 획득의 결과를 예시한 도면이다.
도 4는 순차적으로 점이 측정되는 2차원 레이저 거리측정 센서의 예시도이다.
도 5a는 연속적인 점군 데이터의 분류 과정을 설명하는 모식도이다. 도 도5b는 점의 수에 따른 각도 데이터의 그래프이다.
도 6은 각도에 따른 점의 분류 과정을 설명하기 위한 모식도이다.
도 7은 레이저 거리측정 센서를 이용하여 획득된 데이터(좌측 도면)에 대한 연속적인 점의 분류 결과(우측 도면)를 도시한 도면이다.
도 8은 지면을 제거하는 과정을 설명하기 위한 모식도이다.
도 9a는 지면의 제거 전과 지면의 제거 후를 비교하여 도시한 도면이다.
도 9b는 연속적인 점의 분류 결과(좌측 도면)와 지면의 검출 및 제거의 결과(우측 도면)를 나타낸 도면이다.
도 10a는 센서에 의해서 주변 환경이 측정되는 방법을 도시한 모식도이다.
도 10b는 2차원으로 표시된 점군 데이터에서 후보군 설정을 예시하는 도면이다.
도 11a는 RBNN(radially bounded nearest neighbor graph)에 의한 객체 분할 단계를 설명하기 위한 모식도이다.
도 11b는 지면의 검출 및 제거(좌측 도면)와 객체 분할의 결과(우측 도면)를 도시한 도면이다.
도 12a는 LDA(Linear Discriminant Analysis)를 이용한 객체 분류 방법을 설명하기 위한 모식도이다.
도 12b는 선형판별분석에 의한 객체 분류의 예를 도시한 것이다.
도 13은 점의 분류 결과를 이용한 특징점 추출의 예시도이다.
도 14는 각 클래스에 대한 점의 유형별 분포 특성을 도시한 도면이다.
도 15는 객체 분할(좌측 도면)과 객체 분류(우측 도면)의 결과를 도시한 도면이다.

이하에서 첨부 도면을 참조하여 본 발명의 실시예들에 대해서 더욱 상세하게 설명한다. 본 발명의 실시예들은 예시로서 도시된 것이며, 첨부된 도면의 구성으로 제한되는 것은 아니다. 본 발명의 범주로부터 벗어나지 않는 한 다른 실시예들이 사용될 수 있으며, 구조적 또는 논리적 변화가 이루어질 수 있음을 이해할 것이다. 본 발명을 모호하게 하지 않기 위해 공지된 구성들에 대한 설명은 생략되거나 단순화될 수 있다.

도 1은 본 발명의 일실시예의 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법을 나타내는 흐름도이다. 도 1을 참조하면,본 발명에서는 센서로부터 환경에 대한 점군 데이터(point cloud data)를 연속적으로 획득한다(S10). 이어서, 측정된 점군 데이터를 점의 특성에 따라서 수평형, 수직형, 또는 경사형의 세 가지 유형으로 분류하고(S20), 효과적인 객체 분할을 위해서 분류된 수평형 점들 중에서 지면에 해당되는 점들을 검출 및 제거한다(S30). 분류된 점군들을 각각의 객체(object)에 해당되는 점군들로 객체 분할(segmentation)하고나서(S40), 마지막으로 전 단계에 의해서 구별된 각각의 객체를 특정한 물체로 분류(classification)한다(S50). 이러한 연속적인 객체 분할과 분류가 완료되면 점의 좌표와 점의 종류가 산출되므로 이를 3차원 모델링하여 3차원 맵을 생성(semantic mapping)할 수 있다. 이하에서 각 단계에 대해서 상세하게 설명하도록 한다.

1. 레이저 거리측정 센서를 이용한 데이터 획득

주변 환경에 대한 3차원 점군을 획득하는 방법은 센서를 이용하는 것으로, 본 발명에서는 주로 2차원 레이저 거리측정 센서를 이용하지만 반드시 이것으로 제한되는 것은 아니다. 이러한 센서는 적게는 2개에서부터 많게는 5개까지 설치된 레이저 센서를 이용할 수 있다.

2차원 센서를 이용할 경우 지면의 수직 방향으로 스캔하여 2차원 점군 데이터를 획득한다. 일례로 도 2에 도시된 바와 같이, 2차원 센서를 이용할 경우 레이저가 로봇의 측면에 장착되어 수직 방향으로 스캔이 되도록 구성되고, 로봇의 진행 방향과 수직이 되어 로봇이 이동하면 3차원 점군을 손쉽게 얻을 수 있도록 구성된다. 다른 예에서는 센서가 수직으로 스캔되도록 하고 센서를 회전시켜 3차원 데이터를 획득하도록 센서 시스템을 구축할 수 있다. 도 3은 좌측의 실제 실험 환경에서 레이저 거리측정 센서를 이용하여 데이터를 획득한 결과를 나타내는 도면이다.

2. 연속적인 점의 분류

2차원 레이저 거리측정 센서를 이용하면 센서로부터 매순간 마다 연속적으로 2차원 거리 데이터를 획득하게 된다. 이러한 센서는 매순간 수백 개의 측정점을 제공한다. 이때 센서의 특성상 모든 점들은 순차적으로 획득되며 이러한 특성으로 획득되는 점의 순서를 알 수 있게 된다(도 4 참조). 예를 들어, SICK사의 LMS291 센서를 사용할 경우 설정 방법에 따라 다르지만 최대 측정 각도는 180°이며 0.5° 마다 한 번씩 측정되어 총 361개의 거리 정보를 획득할 수 있다.

(1) 정의 및 표기법

연속적인 점의 분류 과정에 대해서 설명하기에 앞서 설명에 필요한 정의 및 표기법을 정리한다. 센서는 매순간 측정되며 i번째 스캔된 점들의 집합을 P _i로 하고, 한 번의 스캔에서 k번째 측정된 점을 P _{i ,k}라고 한다. 즉, i번째 스캔에서 n개의 점이 측정된다면 P _i = {p _{i ,1}, p _{i ,2}, ···p _{i ,n}}으로 표현된다. 그래프 표기법에서 모든 점 P _{i ,k}는 노드(node) u _{i ,k}로 맵핑되며 노드와 노드 사이를 잇는 선을 에지(edge) e _{i ,k}라고 한다. 즉, 그래프 G(U,E)에서 노드의 집합은 U = {u _{i ,1}, u _{i ,2}, ···u _{i ,n}}가 되고, 에지의 집합은 E = {e _{i ,1}, e _i,2, ···e _{i ,n}}가 된다. 에지는 e = {u _{1 ,} u ₂, d(u ₁, u ₂)}으로 정의되며 여기서 d는 두 노드 사이의 Euclidean distance이다.

(2) 점의 분류 방법

2차원 센서는 매순간 2차원의 거리 데이터를 제공하며 한 스캔 내에 모든 점들은 순차적으로 측정된다. 따라서 임의의 점에서 이전에 측정된 점의 위치와 이후에 측정된 점의 위치를 알 수 있다. 이를 통해 점과 점 사이를 잇는 선(에지)을 생각할 수 있고, 이러한 에지와 XY평면 사이의 각도 θ(0~90°)를 알 수 있다. 이렇게 측정된 모든 점들에 대해서 각도를 구하고, 각도를 특정 기준으로 나누어 수직형(vertical-type), 경사형(slope-type), 수평형(horizontal-type)의 3가지 유형으로 분류한다(도 6 참조). 예를 들어, 먼저 90도에 가까운 값을 가지는 점들은 수직형(vertical-type)으로 지정하고, 0도에 가까운 값을 가지는 점들은 수평형(horizontal-type)으로 지정하며, 끝으로 중간값을 가지는 점들은 경사형(slope-type)으로 지정한다.

점과 점을 잇는 선(에지)과 X-Y 평면 상의 각도에 의한 분류 단계는 분할 기준이 되는 각도를 0과 90도 사이의 각도를 3등분하여 균등하게 분할하여 분류하거나, 검출의 정확도를 향상시키기 위해 임의로 기준 각도를 정하여 분류할 수 있다.

도 6에서, 각도를 3등분하여 기준값 1을 60°로 설정하고, 기준값 2는 다음 과정에 수행될 지면 검출에서 정확도를 높이고자 20°로 설정하였다. 그리고 이해를 돕기 위해 수직형, 경사형, 수평형을 각각 빨강, 초록, 파랑으로 색을 지정하였다.

각도를 구하는 과정은 다음과 같다. 점 p _{i ,k}에서 각도를 구하고자 할 때, 점 p _{i ,k}에서 이전에 측정된 점인 p _{i ,k-1}을 잇는 선과 이후에 측정된 점인 p _{i ,k+1}을 잇는 선을 생각할 수 있다. 이를 통해 두 개의 각을 얻을 수 있는데, 두 각을 모두 고려하여 하나 이상의 각이 수직형일 경우 수직형으로 분류하고, 수직형이 없다면 수평형이 하나 이상 존재할 경우 수평형으로 분류한다. 그리고 두 각도 모두 수직형도 수평형도 아닐 경우 경사형으로 분류한다. 즉, 상황에 따라 수직형, 수평형, 경사형의 순으로 선택되도록 순서를 정할 수 있다. 여기서 수직형이 먼저 선택되도록 하는 이유는 지면 바로 위에 위치한 물체가 측정될 때 지면과 물체가 만나는 지점에서 측정된 점은 대체로 두 각도가 수직형과 수평형으로 분류가 되며 그 점을 물체에서 측정된 점으로 포함시키고자 수직형으로 분류되도록 하기 위함이다. 만약 수평형으로 분류된다면, 그 점은 지면으로 검출되어 제거가 되고 물체를 분류하는 단계에서 풍부한 데이터를 제공하지 못하기 때문이다.

한편, 상황에 따라서 이전 혹은 이후 측정점이 존재하지 않을 수 있고, 자기 자신과 이전 혹은 이후 측정점 사이의 거리 차이가 클 수도 있는데, 이때에는 각도로 종류를 분류하는 것이 의미가 없기 때문에 두 각도 중 의미 있는 하나만 고려한다. 마지막으로 두 각 모두 존재하지 않거나 의미가 없는 각도로 판단이 되면 그 점을 경사형으로 분류한다. 위의 과정을 모든 점에 대해서 반복적으로 수행하여 모든 점들을 수직형, 경사형, 수평형 중 하나의 유형으로 분류한다. 도 7은 좌측의 레이저 거리측정 센서를 이용한 데이터 획득(S10) 결과에 대해서 연속적으로 점군을 분류한 결과를 보여준다.

3. 지면의 검출과 제거

물체를 각각의 객체로 구분하기에 앞서 지면을 검출하여 제거하는 과정을 선행한다. 야외 환경에서는 자동차, 건물, 나무, 가로등, 사람 등의 모든 물체들이 지면 위에 존재하기 때문에, 지면에 의해 모든 물체들이 연결된다. 따라서 지면을 제거해서 물체들이 물리적인 거리 차이를 갖도록 해야만 물체를 용이하게 구분할 수 있다. 도 9a는 지면에 해당하는 점을 제거하기 전과 지면에 해당하는 점을 제거한 후의 점군의 분포를 보여준다. 좌측 도면에 도시된 바와 같이, 지면이 제거되지 않았을 때는 지면과 물체가 모두 서로 서로 연결되어 있는데 반해서, 지면을 제거하면 우측 도면과 같이 물체들은 서로 물리적인 거리 차이가 발생되고 각각의 물체에 해당하는 점들로 군집화하기 용이해진다.

연속적인 점의 분류(S20)에 의해서 모든 점들은 수직형, 경사형, 수평형 중에 하나의 유형으로 분류되고, 지면에 해당하는 모든 점들은 수평형으로 분류된다. 그러나 수평형을 가지는 모든 점들이 지면에 해당하지는 않기 때문에 수평형의 점들 중에서 지면에 해당하는 점들을 검출해 내는 과정이 필요하다.

본 발명에서는 먼저 수평형으로 분류된 점들 중에서 완벽히 지면에 해당하는 점이라고 판단될 수 있는 점 하나를 선택한다. 이 점을 시작점(seed)으로 지정한다.

시작점을 지정하는 방법은 사용자가 임의로 지정하거나 선검출(line detection)과 같은 방법으로 지면의 확률이 높은 점을 선택하는 방법이 있다. 본 발명에서는 매순간 스캔되는 2차원 데이터에서 첫 번째로 측정된 점을 시작점으로 선택할 수 있다. 본 발명에 이용된 센서 시스템의 경우 레이저 센서에서 첫 번째로 측정된 점은 로봇(또는 자동차)에 가장 근접한 영역에서 측정되고, 로봇이 다니는 길은 곧 지면을 의미하기 때문이다. 하지만 센서 시스템이 본 발명에서 이용된 것과 다를 경우 시작점을 달리 지정하거나, 지면을 1차적으로

검출한 후에 시작점을 지정해야 한다.

도 8을 참조하면, 시작점이 지정되면 순차적으로 수평형에 해당되는 점과 비교를 한다. 이 때 비교를 위해서 두 점의 높이 차이(h)를 고려한다. 두 점의 높이 차이(h)가 기준값(L) 이하이면 비교되는 점도 지면에 해당하는 점으로 분류한다. 일례로 기준값을 0.5m로 설정할 수 있다. 이렇게 한 번 스캔된 데이터 중 모든 수평형의 점들에 대해서 반복 수행한다. 그리고 매순간 스캔되는 데이터에 대해서 동일한 과정을 반복하게 된다. 이 방법을 이용하여 지면을 제거하면 물체에 해당되는 점들이 제거되는 현상을 방지할 수 있고, 경사면이 있는 환경에서도 효과적으로 지면을 제거할 수 있다. 그리고 단순히 수평형의 두 점만 고려 대상이 되므로 주변 점군이 풍부하지 않더라도 효과적인 성능을 보여준다. 도 9b는 좌측의 연속적인 점군 분류 결과에 대해서 지면을 검출 및 제거한 결과를 보여준다.

4. 객체 분할( segmentation )

3차원 점군의 효과적인 객체 분할은 아직까지도 활발히 진행되고 있는 연구 분야로서, 기존의 연구들은 비교적 높은 정확도를 보여주지만 복잡한 도시 환경에 적용하기 어렵거나 많은 연산 시간을 필요로 한다. 따라서 본 발명에서는 연산시간이 적고 복잡한 도시 환경에서도 적용 가능한 효과적인 객체 분할 방법을 도입하였다.

본 발명에서는 radially bounded nearest neighbor graph(RBNN) 방법을 객체 분할에 적용하였다. RBNN은 k-NN처럼 자신과 인접한 점의 개수를 k로 제한하지 않고, 특정 반경(r) 이내에 존재하는 모든 점들을 자신과 인접한 점으로 간주하여 하나의 객체로 지정하는 방법이다. 본 발명에서의 객체 분할은 기본적으로 RBNN 알고리즘을 적용하되 RBNN의 문제점을 개선하기 위해서 지면이 제거된 환경에서 측정 거리에 따라 반경의 크기를 달리하는 방법을 채택하였다.

RBNN 알고리즘의 첫 번째 문제점은 물체들이 모두 정해진 반경 이상 거리를 두어야 한다는 점인데, 이를 개선하기 위해서 RBNN 알고리즘 적용에 앞서 지면을 제거하도록 한다. 지면이 제거된 환경에서는 각각의 물체가 물리적으로 거리 차이가 발생되기 때문에 RBNN의 적용이 용이해진다. 또한 하나의 반경을 설정하지 않고 측정 거리에 따라 반경의 크기를 달리하는 방법을 채택한다. 그 이유는 도시 환경에서는 측정거리가 수십 미터로 크고, 센서의 특성상 측정 거리가 멀수록 연속되는 두 점 사이의 거리가 커지는 특성이 있기 때문에 하나의 반경을 설정할 경우 하나의 객체가 여러 개의 객체로 분리되어 분할되는 현상(over-segmentation)과 여러 개의 객체가 하나의 객체로 분할되는 현상(under-segmentation)이 발생될 가능성이 커지기 때문이다. 따라서 측정 거리에 따라 반경의 크기를 달리한다.

도 10a는 센서에 의해 주변 환경이 측정되는 방법을 묘사한 것이다. 일례로 SICK사의 LMS291 센서에서 최대측정거리가 80m이고 scanning angle은 180°, angular resolution은 0.5°가 되도록 설정하면, 매 0.5°마다 180°만큼 측정을 하므로 1회전에 361개의 점을 측정하게 된다. 센서가 승용차 위에 설치된다면 약 2m의 높이에서 측정하게 된다. 센서가 수평면을 스캔하였을 때 측정거리가 멀수록 연속하는 두 점 사이의 거리는 점차 멀어지게 되고, 최대측정거리인 80m까지 측정되었을 때 두 점 사이의 거리는 최대 20m의 차이를 보이게 된다. 마찬가지 방법으로 수직면을 측정한다면 연속하는 두 점 사이의 거리는 최대 1m의 차이를 보이게 된다. 그런데 수평면을 따라 측정된 데이터는 지면으로 검출될 확률이 높고 실제로 복잡한 도시 환경에서는 20m 이내에 물체가 존재하는 경우가 많아 최대거리 만큼 측정되는 경우는 드물다. 그리고 20m의 차이를 보이는 두 점을 하나의 객체로 묶기에는 근거가 불충분하다. 하지만 수직면을 따라 측정된 데이터의 경우는 다르다. 상황에 따라 멀리 건물이 존재할 경우가 있고, 하나의 건물을 측정한 데이터들은 하나의 객체로 묶여야 올바른 객체 분할이 될 수 있다. 따라서 최대측정거리인 80m의 거리로 측정된 점의 경우 반경이 1m 이상으로 설정되어야 자신과 가까운 점들을 하나의 객체를 가지도록 묶을 수 있다.

하기 표 1에는 측정거리에 따른 반경의 크기를 나타내었다. 측정거리 0~80m에 비례하여 반경 0.4~1.2m의 크기가 설정된다. 물체가 가까이 있는 경우 약 0.5m 정도의 반경으로 객체를 확인하고, 멀리 있는 경우 약 1m의 반경으로 객체를 분할할 수 있다.

측정거리(m)	0	20	40	60	80
반경(m)	0.4	0.6	0.8	1.0	1.2

RBNN 방법에서는 자신과 이웃하는 점을 찾기 위해서 자신의 주변에 위치한 점들을 검색해야 되고, 이러한 검색에 시간이 소요되어 실시간성을 보장할 수 없는 문제점이 있다. 본 발명에서는 이러한 문제점을 개선하기 위해서 continuous nearest neighbors의 방법을 이용한다. 이것은 연속적으로 측정되는 시스템의 특성을 이용하는 것으로 가장 최근에 스캔된 데이터 중 특정 포인트에 대해서 객체 분할 과정을 수행할 때 자신과 연관 포인트를 찾기 위해 설정한 후보군의 모습을 볼 수 있다. 이전 스캔된 데이터를 알기에 포인트를 찾기 위해 검색하는 과정이 불필요하게 되므로, 검색을 위한 시간이 필요하지 않게 된다. 2차원 데이터가 순차적으로 입력되기 때문에 현시점에 측정된 데이터와 이웃한 점을 찾기 위해서는 이전에 측정된 데이터에서 후보군을 설정하여 후보군 중에서 특정 반경 이내에 들어오는 점들을 하나의 객체로 묶을 수 있다.

2차원 데이터가 연속으로 측정되고 이를 2차원 이미지로 차례대로 나열하여 표현하면 도 10b와 같이 나타낼 수 있다. 각각의 점들은 거리값을 가지지만 거리값에 대한 표현은 생략하였다. 도 10b에 도시된 바와 같이, 가장 최근에 측정된 2차원 데이터(S _i)에 속하는 빨간색 점(p _{i .k})을 기준으로 자신과 같은 객체에 속하는 점을 찾는다고 가정하면, 후보군은 이전에 측정된 5개의 2차원 데이터(S _{i -5} ~ S _{i -1}) 중 기준점(p _{i .k})과 같은 순서에 측정된 점, 그리고 이전 3개의 점과 이후 3개의 점까지 포함하여 총 7개의 측정점이 후보군이 된다. 또한 가장 최근에 측정된 2차원 데이터(S _i)에서 기준점(p _{i .k}) 이전에 측정된 3개의 측정점도 후보군이 되어 38개의 정점(녹색점)이 후보군이 된다. 후보군 설정에 6개의 2차원 데이터만 고려하는 이유는 실제 실험에서 자동차의 속도(15~30 km/h)에 맞춰 설정한 값으로 6개의 측정 데이터 사이의 간격이 0.6~1.2m가 되어 앞서 설명한 반경(0.4~1.2m)에서 가장 최적의 성능을 보여주기 때문이다. 또한 7개의 측정점만 고려된 이유는 모든 점들에 대해서 동일한 과정이 순차적으로 반복되기 때문에 7개의 측정점만 고려해도 효과적인 객체 분할이 가능하기 때문이다.

후보군이 정해지면, 도 11a에 도시된 바와 같이, 기준점과 후보군에 해당하는 38개의 점에 대해서 실제 3차원 환경에서 최단직선거리(d)를 계산하여 반경(r)의 크기 이내에 존재하는 점을 찾는다. 그리고 반경 이내에 존재하는 점(d < r)을 자신과 같은 객체로 지정한다. 이때 객체ID가 부여되는데, 상황에 따라서 이미 객체ID를 가지는 점이 존재할 수 있다. 이미 객체ID를 가지는 점이 있다면 그 객체ID에 따라 동일한 객체ID를 모든 점에 대해서 부여한다. 객체ID를 가진 점이 없다면 새로운 객체ID를 부여한다. 또한 객체ID가 두 개 이상 존재할 수 있는데, 이때에는 ID 리스트를 생성하여 리스트의 객체ID에 속하는 모든 점에 대해서 하나의 객체ID를 부여한다. 그리고 점의 측정 순서에 따라 모든 점에 대해서 위의 과정을 반복 수행하면 객체 분할의 과정이 완료된다. 객체 분할의 과정을 요약하여 정리하면 다음과 같다.

1) 측정점을 기준으로 후보군 설정

2) 모든 후보군을 대상으로 측정점과의 거리(d) 측정 및 반경(r) 이내에 존재하는 점 확인

3) 객체ID 확인

- ID가 존재할 경우 동일한 ID를 모든 점에 부여

- ID가 없을 경우 새 ID를 모든 점에 부여

4)객체 ID가 둘 이상 존재할 경우 ID 리스트를 생성하여 리스트 내의 객체ID에 속하는 모든 점들에 대해 하나의 객체ID 부여

도 11b는 지면의 검출과 제거 결과(좌측 도면)와 객체 분할의 결과(우측 도면)를 보여준다.

5. 객체 분류( classification )

객체 분할이 완료되면, 객체 분할의 과정에 의해 구별된 각각의 객체를 특정한 물체로 분류한다(S50). 본 발명에서는 효과적인 분류를 위해 LDA(Linear Discriminant Analysis)의 방법을 이용한다. 분류를 위한 클래스(class)는 인식률을 고려하여 정할 수 있는데, 설명의 편의를 위해 이하에서는 자동차, 나무, 건물, 기둥, 낮은 구조물의 총 5가지 클래스로 분류하는 과정을 예로 들어 설명한다. 인식률을 높이기 위해서 각각의 구조물들에 대해서 보다 구체적으로 클래스를 분류할 수 있다.

(1) FLDA ( Fisher's Linear Discriminant Analysis )

효과적인 객체의 분류를 위해 본 발명에서는 LDA(Linear Discriminant Analysis), 즉 선형판별분석의 방법을 이용한다. LDA는 데이터 분류와 차원 축소를 위하여 널리 알려진 기법 중의 하나이다. 고차원으로 이루어진 데이터를 1차원으로 축소하는 weight vector(w)와 이를 각각의 클래스로 분류하는 기준이 되는 bias(w₀)를 구하면 데이터의 분류가 가능해진다. 이와 관련된 식은 다음과 같다.

여기서 각각의 클래스를 가지는 D차원의 점들에 의해 w와 w₀가 결정되며, 특징점 x에 대한 y값을 판단하여 x가 어느 클래스에 속하는지 판별할 수 있게 된다.

본 발명에서는 FLDA(Fisher's Linear Discriminant Analysis)의 방법을 이용하는데, 클래스 내의 분산(within-class covariance)은 최소로 하고, 클래스 간의 분산(between-class covariance)은 최대로 하여 더욱 정밀한 분류를 가능하게 하는 방법이다.

(2) 학습 데이터

LDA의 weight vector(w)와 bias(w₀)를 결정하기 위해서는 학습의 과정이 필요하다. 객체 분류 시에는 미리 구한 샘플 데이터를 이용하여 환경을 학습하고, 일정 수 이상의 점들로 구성된 클러스터들을 선별한다. 선별된 클러스터들에 대해서 특징점들을 추출하고, 특징점들을 이용하여 선형판별 분석하여 구체적인 물체를 분류한다.

(3) LDA 를 이용한 객체 분류 방법

본 발명에서는 자동차(car), 나무(tree), 건물(building), 기둥(post), 낮은 구조물(elevated object)의 총 5가지의 클래스로 물체를 분류한다. LDA는 기본적으로 두 가지 클래스를 구분하는 이진분류기이므로 5개의 클래스를 효과적으로 분류하기 위해서 트리(tree) 구조를 이용한다.

도 12a는 본 발명에서 제안하는 분류 방법을 도시한 것이다. 도 12a를 참조하면, 분류를 하기 전에 30개 이하의 점을 가지는 클러스터(cluster)는 분류에서 제외된다. 그 이유는 30개 이하의 점만으로 특정 물체로 구분하기가 힘들기 때문이다. 실제로 30개의 점의 분포로는 그에 맞는 특징점을 추출하기가 쉽지 않다.

5개의 클래스를 분류하기 위해서는 순차적으로 하나씩 클래스가 분류되어 총 4번의 분류 과정을 거치면 5개의 클래스를 모두 분류할 수 있게 된다. 여기서 각각의 분류 순서는 임의로 정하지 않고 decision tree의 방법을 이용하여 학습 과정에서 최대의 인식률을 보여주는 트리 구조를 선택할 수 있다.

임의의 특징점(feature)들을 갖는 점들의 분포는 도 12b와 같이 표현될 수 있다. 도 12b에서 빨간색 점은 낮은 구조물(Elevated object)이고, 파란색 점은 자동차(Car)이고, 녹색 점은 나무(Tree)를 나타낸다. 도 12b에서 L1이라는 선을 긋게 되면 낮은 구조물과 자동차+나무(Car+Tree)를 분류할 수 있다. 이렇게 먼저 낮은 구조물을 분리하고 난 후, L2라는 선을 긋게 되면 자동차와 나무를 분류할 수 있다. 이와 같은 방법으로 특징점들을 분류하게 되는 것이며, 이때 L1과 L2를 정하는 것이 w와 w0이다. 결국 w 와 w0는 선형판별분석(LDA)을 위한 파라미터이다. 미리 구한 샘플 데이터를 이용하여 학습시킨 후, 다른 데이터에 대해서 이를 적용시키면 도 12b와 유사한 점들의 분포를 갖기 때문에, 선형판별분석에 의해서 분할된 객체들은 구체적인 물체별로 분류할 수 있다.

(4) 특징점 추출

효과적인 분류를 위해서는 특징점(feature)을 추출해야 한다. 본 발명에서는 하기 표 2에 나타낸 바와 같은 총 25개의 특징점이 사용될 수 있다.

여기서 f ₁ ~f ₅의 5개의 특징점은 객체 레벨의 특징점(object level features)에 해당되고, f ₁ ~f ₅의 20개의 특징점은 포인트 레벨의 특징점(point level features)에 해당된다. 특히 f ₁ ~f ₅의 18개의 특징점들은 인식률을 높이기 위해서 각각의 클래스의 구조물에 대해 결정적인 특징을 보여주는 것으로, 본 발명에서 새롭게 제안되는 특징점이다. 여기서 f ₁ ~f ₅의 마지막 9개의 특징점은 높이 방향(Z축 방향)에 대하여 삼등분하여 각각의 영역에 해당하는 점들로 구분하여 f ₁ ~f ₅의 특징점을 추출한 방식과 동일하게 세 영역에 대하여 새롭게 추출한 특징점이다(도 13 참조).

도 13에 도시된 바와 같이, 세 영역으로 나누어 특징점으로 추출하는 이유는 각각의 클래스에 해당하는 물체들은 점의 분류 결과에 의한 특별한 점의 분포 특성을 보여주기 때문이다. 도 14를 참조하면, 각각의 물체들은 높이 방향에 대하여 특징적인 분포 특성을 보여준다. 따라서 본 발명에서는 이와 같은 특징점을 추가함으로써 더욱 정밀한 점의 분류가 가능해진다.

이상의 과정에 의해서 객체 분류까지 완료되면 각 점의 좌표와 점의 종류가 산출되므로 이들을 3차원 모델링하여 맵(semantic map)을 생성할 수 있다. 산출된 좌표값들을 3차원으로 모델링하는 방법은 본 발명이 속하는 기술 분야에 잘 알려져 있고, 공지의 방법에 따라서 3차원으로 모델링할 수 있다.

본 발명의 다른 양상은 본 발명의 환경 인식 방법을 컴퓨터로 실행시킬 수 있는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. 본 발명은 프로세싱 시스템 또는 기타 전자 장치를 프로그램하는데 사용될 수 있는 내장 명령을 가진 머신-액세스 가능한 매체(machine-accessible medium)를 포함하는 컴퓨터 프로그램 제품으로서 실시될 수 있다. 이러한 기록 매체는 자기 매체, 광 매체, 또는 다른 적당한 매체를 포함하는 기계-판독가능 정보를 위한 전송 매체 또는 기록가능 매체일 수도 있다. 이러한 기록매체는 연속적인 점군 분류, 연속적인 객체 분할 및 객체 분류를 수행하게 하는 명령어들을 포함한다. 프로그램 명령은 본 명세서에 기술된 동작을 수행하는 명령으로 프로그램된 범용 또는 특정 목적의 프로세싱 시스템을 생성하는데 사용될 수 있다.

한편, 상기에서는 본 발명을 바람직한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 한정되는 본 발명의 정신이나 범위를 벗어나지 않는 한도 내에서 본 발명이 다양하게 개조 및 변경될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 이해할 수 있을 것이다. 따라서 본 발명의 보호범위는 후술하는 특허청구범위 및 그와 균등한 범위에 의해서 정해져야 할 것이다.

Claims (17)

1. 센서로부터 환경에 대한 점군 데이터(point cloud data)를 연속적으로 획득하는 단계;
   점군 데이터를 점의 특성에 따라서 수평형, 수직형, 또는 경사형으로 분류하는 단계;
   수평형 점들 중에서 지면에 해당되는 점들을 검출 및 제거하는 단계;
   분류된 점군들을 각각의 객체(object)에 해당되는 점군들로 객체 분할(segmentation)하는 단계; 및
   전 단계에 의해서 구별된 각각의 객체를 특정한 물체로 분류 (classification)하는 단계를 포함하고,
   상기 지면 검출 및 제거 단계는
   지면에 해당되는 임의의 점을 시작점으로 지정하는 단계;
   수평형에 해당되는 점과 상기 시작점의 두 점의 높이차를 비교하여, 두 점의 높이차가 기준값 이하이면 비교되는 점을 지면에 해당되는 점으로 분류하고, 두 점의 높이차가 기준값을 초과하면 지면에 해당되지 않는 점으로 검출하는 단계;
   수평형으로 분류된 모든 점들에 대해서 전 단계를 반복 수행하는 단계; 및
   상기 지면에 해당되는 점으로 판단된 점들을 제거하는 단계를 포함하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
2. 제1항에 있어서, 상기 점군 데이터 획득 단계는 이동체의 진행 방향에 대해서 수직으로 설치된 하나 이상의 2차원 레이저 거리측정 센서로부터 지면에 대하여 수직 방향으로 스캔하여 3차원 점군 데이터를 획득하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
3. 제2항에 있어서, 상기 점군 데이터 획득 단계는 레이저 거리측정 센서가 지면에 대해서 수직으로 스캔되도록 하고, 레이저 거리측정 센서를 회전시켜서 3차원 점군 데이터를 수득하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
4. 제1항에 있어서, 상기 점군 데이터 분류 단계는 연속적으로 획득된 점군 데이터를 점과 점을 잇는 선(에지)과 X-Y 평면 상의 각도를 구하여, 이러한 각도에 따라서 측정된 모든 점들을 수직형(vertical type), 경사형(slope type), 및 수평형(horizontal type)의 세 가지 유형으로 분류하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
5. 제4항에 있어서, 상기 점과 점을 잇는 선(에지)과 X-Y 평면 상의 각도에 의한 분류 단계는 분할 기준이 되는 각도를 0과 90도 사이의 각도를 3등분하여 균등하게 분할하여 분류하거나, 검출의 정확도를 향상시키기 위해 임의로 기준 각도를 정하여 분류하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
6. 제4항에 있어서, 상기 점군 데이터 분류 단계는 연속적으로 획득된 점군 데이터를 임의의 점과 이전에 측정된 점을 잇는 선과 X-Y 평면 상의 각도와 그 점과 이후에 측정된 점을 잇는 선과 X-Y 평면 상의 각도의 두 개의 각을 가지고 판단하되, 하나 이상의 각이 수직형이면 수직형으로 분류하고, 수직형이 없고 하나 이상의 수평형이 존재하면 수평형으로 분류하고, 수직형도 수평형도 아닌 경우 경사형으로 분류하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
7. 삭제
8. 제1항에 있어서, 상기 시작점은 매순간 스캔되는 2차원 데이터 가운데 첫 번째로 측정된 점인 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
9. 제1항에 있어서, 상기 시작점 지정 단계는 사전에 지면을 검출한 후에 시작점을 사용자가 지정하거나 선검출(line detection)에 의해 지면을 검출하여 시작점으로 지정하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
   
10. 제1항에 있어서, 상기 객체 분할 단계는
    (a) 측정점을 기준으로 이전에 측정된 데이터에서 후보군을 설정하는 단계;
    (b) 후보군에 해당되는 모든 점들에 대해서 3차원 환경에서 최단직선 거리를 계산하여 특정 반경 이내에 존재하는 점을 확인하는 단계;
    (c) 상기 특정 반경 이내에 존재하는 점들을 자신과 인접하는 점으로 간주하여 같은 하나의 객체로 지정하는 단계; 및
    (d) 점의 측정 순서에 따라서 모든 점들에 대해서 상기 단계 (a) 내지 (c)를 반복하는 단계를 포함하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
11. 제10항에 있어서, 상기 객체 지정 과정은
    같은 객체로 지정하고자 하는 경우 객체 ID를 부여하되, 이미 객체 ID가 존재할 경우 동일한 객체 ID를 부여하고, 객체 ID가 존재하지 않는 경우 새로운 객체 ID를 부여하며, 객체 ID가 둘 이상 존재할 경우 ID 리스트를 생성하여 해당 리스트 내의 객체 ID에 속하는 모든 점들에 대해서 하나의 객체 ID를 부여하는 과정임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
12. 제10항에 있어서, 상기 반경 설정은 측정 거리가 멀어질수록 커지도록 하여 측정 거리에 따라서 반경의 크기를 달리하여 설정하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
13. 제10항에 있어서, 상기 객체 분류 단계는 피셔의 선형 판별 분석법(Fisher's Linear Discriminant Analysis)을 이용하여 2진 분류법에 기초하여 분류하고자 하는 클래스의 수에 따라서 분류과정을 반복 수행하는 단계임을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
14. 제1항에 있어서, 상기 객체 분류 단계는
    미리 구한 샘플 데이터를 이용하여 환경을 학습하는 단계;
    일정 수 이상의 점들로 구성된 클러스터들을 선별하는 단계;
    선별된 클러스터들에 대해서 특징점들을 추출하는 단계;
    특징점들을 이용하여 선형판별 분석하여 구체적인 물체를 분류하는 단계를 포함하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
15. 제14항에 있어서, 상기 특징점은 수평 방향의 크기, 중간 지점의 수평방향의 크기, 높이, 최대 높이값, 최소 높이값, 총 포인트 수, 높이에 대한 포인트 밀도, 수직형의 포인트 수, 경사형의 포인트 수, 수평형의 포인트 수, 높이에 대한 수직형의 포인트 밀도, 높이에 대한 경사형의 포인트 밀도, 높이에 대한 수평형의 포인트 밀도, 수직형의 포인트의 비율, 경사형의 포인트의 비율, 수평형의 포인트의 비율, 각 빈(bin)에서 수직형의 포인트의 비율, 각 빈에서 경사형의 포인트의 비율, 각 빈에서 수평형의 포인트의 비율을 포함하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
16. 제14항에 있어서, 상기 방법이 각 점의 좌표와 점의 종류를 산출한 후 3차원 모델링하여 매핑하는 단계를 추가로 포함하는 것을 특징으로 하는 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법.
    
17. 제1항 내지 제6항 및 제8항 내지 제16 항 중 어느 한 항의 환경 인식 방법을 컴퓨터로 실행시킬 수 있는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    
    
    
    
    
    

Images