KR20170008505A - 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 - Google Patents

자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 Download PDF

Info

Publication number
KR20170008505A
KR20170008505A KR1020150099771A KR20150099771A KR20170008505A KR 20170008505 A KR20170008505 A KR 20170008505A KR 1020150099771 A KR1020150099771 A KR 1020150099771A KR 20150099771 A KR20150099771 A KR 20150099771A KR 20170008505 A KR20170008505 A KR 20170008505A
Authority
KR
South Korea
Prior art keywords
free space
unit
sensor
space map
foreground
Prior art date
Application number
KR1020150099771A
Other languages
English (en)
Other versions
KR101711964B1 (ko
Inventor
서승우
허우솔
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020150099771A priority Critical patent/KR101711964B1/ko
Publication of KR20170008505A publication Critical patent/KR20170008505A/ko
Application granted granted Critical
Publication of KR101711964B1 publication Critical patent/KR101711964B1/ko

Links

Images

Classifications

    • G01S17/936—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자유 공간 지도 생성 시스템 및 배경/전경 추출 시스템에 관한 것이다. 상기 자유 공간 지도 생성 시스템은, 3차원 공간상에서 3차원 환경 정보들을 감지하고, 감지된 정보들을 이용하여 단위 데이터 프레임을 생성하여 제공하는 감지부; 상기 단위 데이터 프레임을 위한 거리 정보를 감지할 때의 센서의 6축 자세(6 degree of freedom pose)를 측정하는 측위부; 상기 감지부에 의해 제공된 상기 단위 데이터 프레임들로부터 자유 공간 영역들을 검출하여 제공하는 탐지부; 상기 측위부로부터 제공된 각 단위 데이터 프레임에 대한 센서의 6축 자세 정보를 이용하여, 각 단위 데이터 프레임들과 그에 대한 자유 공간 영역들을 융합하여 각각의 지도를 생성하는 융합부;를 구비한다.
상기 배경/전경 추출 시스템은 자유 공간 지도를 이용하여, 데이터 프레임으로부터 전경을 추출하여 제거하고 배경을 추출하여 제공하는 것을 특징으로 한다.

Description

자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템{ FREE SPACE MAP CONSTRUCTION METHOD, FREE SPACE MAP CONSTRUCTION SYSTEM, FOREGROUND/BACKGROUND EXTRACTION METHOD USING THE FREE SPACE MAP, AND FOREGROUND/BACKGROUND EXTRACTION SYSTEM USING THE FREE SPACE MAP}
본 발명은 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템에 관한 것으로서, 더욱 구체적으로는 3차원 환경 정보 측정 센서를 기반으로 하여 획득한 일련의 정보를 바탕으로 자유 공간 지도(free space map)를 생성하는 자유 공간 지도 생성 방법, 이를 이용한 자유 공간 지도 생성 시스템과, 상기 시스템에 의해 생성된 자유 공간 지도를 이용하여 데이터 프레임으로부터 전경과 배경을 분리하여 추출하는 전경/배경 추출 방법 및 이를 이용한 전경/배경 추출 시스템에 관한 것이다.
먼저, 본 명세서에서 사용되는 용어들에 대하여 정리한다.
본 명세서에서 사용되는 3차원 환경 정보 측정 센서란 스테레오 카메라, RGB-D카메라, 또는 라이다(LiDAR)등과 같이 3차원 상에서 센서 주변의 물체들과 센서 간의 상대적인 위치를 측정할 수 있는 모든 센서를 포괄한다.
또한, 본 명세서에서 사용되는 동적 물체(dynamic object)란 어떠한 시점에 일시적으로 움직이고 있는 상태의 물체뿐만 아니라, 정차되어있는 자동차 등과 같이 이동성이 있으나 특정 시점에 정지해 있는 물체의 경우도 포함한다. 한편 정적인 물체(static object)는 일시적으로 정지해 있는 물체가 아닌 도로나 표지판과 같이 영구적으로 3차원 공간 상에 고정되어 있는 물체를 의미한다.
또한, 본 명세서에서 사용되는 전경(foreground)이란 센서를 통해 취득한 데이터 중 동적 물체들을 포함하는 측정 데이터를 의미하며, 배경(background)은 센서를 통해 취득된 데이터 중 정적인 물체들이 포함된 측정 데이터를 의미한다.
또한, 본 명세서에서 사용되는 6축 자세(6 degree of freedom pose)란 3차원 공간 상에서의 3개의 축에 대한 위치 값과 각 축을 중심으로 한 회전 값을 포함하는 6개의 값을 의미한다.
또한, 본 명세서에서 사용되는 자유 공간(free space)이란 빈 공간뿐만 아니라 전경 물체에 의해 일시적으로 점유되어 있는 공간도 또한 포함한다. 따라서 자유 공간은 빈 공간을 포함하는 개념이며 자유 공간 내의 물체는 반드시 동적 물체가 된다.
또한, 본 명세서에서 사용되는 자유 공간 지도(free space map)란 각 단위 프레임 별로 측정된 자유 공간을 기반으로 만들어진 절대 좌표계(global coordinate)에서의 자유 공간 정보를 담고 있는 지도를 의미한다.
최근, 자율 주행 차량(autonomous vehicle)에 대한 연구가 급격히 발달함과 동시에 자율 주행 차량의 안전성에 대한 문제가 대두되고 있다. 자율 주행 차량이 상용화되기 위해서는 어떠한 돌발적인 환경에서도 안전하게 주행할 수 있어야 한다. 한편, 이러한 자율 주행 차량의 안전한 작동을 위해서는 광대한 주행 영역에 대한 환경 정보를 가지고 있는 정확한 지도가 필수적이다. 차량용 정밀 측위 및 경로 계획을 위한 정밀 기준 지도는 자율 주행 차량의 다양한 영역에서 중요한 역할을 하는데, 대표적으로 지도 상에서 자차(ego-vehicle)의 위치를 정확하게 측위하기 위해서는 지도가 정밀한 정적(static) 정보들만을 포함해야 한다. 마찬가지로 차량의 주행 경로를 결정하는 경로 계획(path planning) 과정에서도 정확한 정적 지도는 필수적이다. 만일 이러한 지도 상에 전경에 속하는 동적인 전경 정보가 정적인 배경 정보와 혼재되어 있을 경우 자차의 정밀 측위나 차량의 주행 경로 계획에 문제가 생길 수 있다. 하지만 지도 생성을 위해 측정한 환경 정보 상에서 전경을 제거하고 배경만을 선별하여 추출하는 작업은 매우 어려운 문제이며 아직까지 효과적인 방법이 존재하지 않아 정적 지도 생성 시 이러한 작업은 상당 부분 수작업에 의존하고 있다.
동적 물체(dynamic object) 제거를 위한 종래의 방법 중 하나는, 어떤 주어진 측정점
Figure pat00001
와 해당 측정 시점에서의 센서의 위치를 잇는 직선인 가시선(line of sight) 위에 다른 측정점
Figure pat00002
가 올 경우 측정점
Figure pat00003
를 동적 물체의 일부분이라고 판단하고 이러한 측정점들을 제거하여 배경을 추출하는 방식을 사용하였으나 이러한 방식은 누적된 측정점의 수가 늘어날수록 연산량이 기하급수적으로 증가하며 따라서 이용 가능한 측정점의 수가 제한적이다. 반면 본 발명에서 제안하는 방법을 이용하면 더 넓은 영역을 더 정확하고 빠르게 탐지할 수 있다.
종래의 다른 방법은, 자유 공간 탐지에 대해서 광선 추적(ray tracing)을 응용한 복셀 횡단(voxel traversal) 방식을 이용해 자유 공간을 탐지했으나 이러한 방식은 실제 자유 공간이 아닌 영역을 자유 공간으로 잘못 탐지할 확률이 크며, 복셀의 단위 크기가 작고 3차원 거리 탐지 센서의 방위 해상도가 낮을수록 단위 데이터 프레임당 탐지 가능한 자유 공간 영역이 한정되는 문제가 있다. 반면 본 발명에서 제안하는 방법을 이용하면 단위 데이터 프레임 내에서 더 정확하고 넓은 영역을 탐지할 수 있다.
종래의 또 다른 방법에서는 단위 데이터 프레임간 대응점을 찾고 이를 이용해 물체를 추적(tracking)하여 동적 물체를 선별하는 방식으로 전경과 배경을 구분하였으나 이러한 방식은 탐지 실패율이 매우 높고 연속적으로 취득한 데이터에서만 적용 가능하다는 한계점이 있다.
종래의 또 다른 방법에서는 반복적으로 취득된 데이터를 이용해 동일 위치에 대한 측정 횟수를 기반으로 전경과 배경을 구분하여 분리했으나 이러한 방식에는 일시적으로 멈추었다가 움직이는 물체를 배경에 속하는 것으로 잘못 구분하기 쉽다. 반면 본 특허에서 제안한 방법에서는 일시적으로 정지해 있다가 움직이는 물체가 존재하는 영역에 대해서도 전경으로 정확하게 구분하여 제거할 수 있다.
한국등록특허공보 제 10-1329583 호 한국등록특허공보 제 10-1041930 호 한국등록특허공보 제 10-1376687 호 한국공개특허공보 제 10-2012-65067 호
전술한 문제점을 해결하기 위해 본 발명에서는, 3차원 환경 정보 측정 센서를 이용해 취득한 환경 정보를 기반으로 자유 공간 영역을 탐지하고, 동시에 3차원 공간 상에서 센서의 6축 자세를 측위함으로써, 이를 기반으로 자유 공간 지도를 생성하는 자유 공간 지도 생성 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명은, 전술한 자유 공간 지도 생성 시스템에 의해 획득된 자유 공간 지도를 이용하여, 데이터 프레임으로부터 전경과 배경을 추출하는 전경/배경 추출 시스템 및 방법을 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템은, 3차원 공간상에서 3차원 환경 정보를 측정하는 하나 또는 둘 이상의 센서를 구비하고, 상기 센서를 이용하여 센서로부터 주변 물체들까지의 거리 정보를 감지하고, 감지된 정보들을 이용하여 단위 데이터 프레임을 생성하여 제공하는 감지부; 상기 단위 데이터 프레임을 위한 거리 정보를 감지할 때의 센서의 6축 자세(6 degree of freedom pose)를 측정하는 측위부; 상기 감지부에 의해 제공된 상기 단위 데이터 프레임들로부터 자유 공간 영역들을 검출하여 제공하는 탐지부; 상기 측위부로부터 제공된 각 단위 데이터 프레임에 대한 센서의 6축 자세 정보를 이용하여, 각 단위 데이터 프레임들을 융합하여 누적 지도(M)를 생성하고 각 단위 데이터 프레임들로부터 탐지한 자유 공간 영역들을 융합하여 자유 공간 지도(F)를 생성하는 융합부;를 구비한다.
전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 상기 감지부의 센서는 3차원 환경 정보 측정 센서 또는 2차원 거리 센서로 이루어지는 것이 바람직하다.
전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 상기 감지부는 센서의 데이터 출력 주기를 조절하여 단위 데이터 프레임 내의 데이터 량을 조절하는 것이 바람직하다.
전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 상기 감지부는 센서로부터 얻은 환경 정보 측정 데이터를 직교 좌표계 또는 구 좌표계를 기반으로 하는 3차원 점군 데이터(3-dimensional point cloud data)로 변환하고, 이를 이용하여 3차원 단위 데이터 프레임을 생성하여 제공하는 것이 바람직하다.
전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 상기 측위부는 상기 감지부의 센서의 절대 위치 정보를 획득하는 GPS 모듈 및 상기 감지부의 센서가 장착된 물체의 움직임을 측정하는 측위센서를 구비하여, 상기 GPS 모듈 및 상기 측위 센서를 이용하여 상기 감지부의 센서에 대한 6축 자세 정보를 감지하여 제공하는 것이 바람직하다.
전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 상기 탐지부는 각 단위 데이터 프레임을 구성하는 각 측정점들을 기반으로 다각형 그물망(polygon mesh)을 생성하고, 상기 생성된 다각형 그물망으로 둘러쌓인 오목 구조(concave hull)의 내부를 자유 공간 영역(free space)으로 정의하여 제공하는 것이 바람직하며,
상기 탐지부가 다각형 그물망을 생성하기 위하여, 감지부의 센서의 위치를 중심으로 하여 각 측정점들의 상대적인 위치를 방사 거리(radial distance), 방위각(azimuth angle), 및 천정각을 기저로 하는 구 좌표계(spherical coordinate)로부터 방위각과 천정각을 기저로 하는 극 좌표계의 2차원 평면으로 변환하는 들로네 삼각화(Delaunay triangulation) 과정을 통해 균일한 형태를 갖는 삼각형 그물망(triangular mesh)을 생성하는 것이 더욱 바람직하다.
전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 상기 융합부는 탐지부에서 생성된 삼각형 그물망에서 각각의 삼각형과 센서의 위치점이 만드는 사면체(pyramid)를 단위 영역으로 설정하고, 각 사면체들이 속하는 격자점들을 기반으로 하여 공간 격자(voxel grid)를 재구성하고, 상기 탐지부에 의해 생성된 자유 공간 영역의 내부에 속하는 공간 격자들을 찾아내고, 상기 공간 격자들을 이용하여 자유 공간 지도를 생성하는 것이 바람직하다.
본 발명의 제2 특징에 따른 전경/배경 추출 시스템은, 전술한 제1 특징에 따른 자유 공간 지도 생성 시스템에 의하여 획득된 자유 공간 지도를 이용하는 전경/배경 추출 시스템으로서, 전경과 배경을 추출하기 위한 데이터 프레임을 입력받는 입력부; 및 상기 자유 공간 지도를 이용하여 상기 입력부로부터 제공된 데이터 프레임에서 전경과 배경을 분할하여 제공하는 분할부;를 구비한다.
전술한 제2 특징에 따른 전경/배경 추출 시스템에 있어서, 상기 분할부는, 데이터 프레임을 구성하는 각 측정점이 속하는 공간 격자 셀을 검출하고, 자유 공간 지도에서 상기 검출된 공간 격자 셀에 대응되는 셀을 확인하고, 상기 자유 공간 지도의 대응되는 셀이 비어있는 경우, 해당 측정점은 배경으로 분류하고, 상기 자유 공간 지도의 대응되는 셀이 비어있지 아니한 경우, 해당 측정점은 전경으로 분류하는 것이 바람직하다.
본 발명의 제3 특징에 따른 자유 공간 지도 생성 방법은, (a) 3차원 공간상에서 3차원 환경 정보를 측정하는 센서를 이용하여 센서로부터 주변 물체들까지의 거리 정보를 감지하고, 감지된 정보들을 이용하여 단위 데이터 프레임을 생성하는 단계; (b) 상기 단위 데이터 프레임을 위한 거리 정보를 감지할 때의 센서의 6축 자세(6 degree of freedom pose)를 측정하는 단계; (c) 상기 단위 데이터 프레임들로부터 자유 공간 영역들을 검출하여 제공하는 단계; (d) 각 단위 데이터 프레임에 대한 센서의 6축 자세 정보를 이용하여, 각 단위 데이터 프레임들에 대한 자유 공간 영역들을 융합하여 하나의 자유 공간 지도를 생성하는 단계;를 구비한다.
전술한 제3 특징에 따른 자유 공간 지도 생성 방법에 있어서, 상기 (a) 단계는, 센서로부터 얻은 환경 정보 측정 데이터를 직교 좌표계 또는 구 좌표계를 기반으로 하는 3차원 점군 데이터(3-dimensional point cloud data)로 변환하고, 이를 이용하여 3차원 단위 데이터 프레임을 생성하여 제공하는 것이 바람직하다.
전술한 제3 특징에 따른 자유 공간 지도 생성 방법에 있어서, 상기 (c) 단계는 각 단위 데이터 프레임을 구성하는 각 측정점들을 기반으로 다각형 그물망(polygon mesh)을 생성하고, 상기 생성된 다각형 그물망으로 둘러쌓인 오목 구조(concave hull)의 내부를 자유 공간 영역(free space)으로 정의하여 제공하는 것이 바람직하다.
전술한 제3 특징에 따른 자유 공간 지도 생성 방법에 있어서, 상기 (c) 단계는 다각형 그물망을 생성하기 위하여, 센서의 위치를 중심으로 하여 각 측정점들의 상대적인 위치를 방사 거리(radial distance), 방위각(azimuth angle), 및 천정각을 기저로 하는 극 좌표계의 2차원 평면으로 변환하는 들로네 삼각화 과정을 통해 균일한 형태를 갖는 삼각형 그물망(triangular mesh)을 생성하는 것이 바람직하다.
전술한 제3 특징에 따른 자유 공간 지도 생성 방법에 있어서, 상기 (d) 단계는 (c) 단계에서 생성된 삼각형 그물망에서 각각의 삼각형과 센서의 위치점이 만드는 사면체(pyramid)를 단위 영역으로 설정하고, 각 사면체들이 속하는 격자점들을 기반으로 하여 공간 격자를 재구성하고, 상기 탐지부에 의해 생성된 자유 공간 영역의 내부에 속하는 공간 격자들을 찾아내고, 상기 공간 격자들을 이용하여 자유 공간 지도를 생성하는 것이 바람직하다.
본 발명의 제4 특징에 따른 전경/배경 추출 방법은, 전술한 제3 특징에 따른 자유 공간 지도 생성 방법에 의하여 획득된 자유 공간 지도를 이용하는 전경/배경 추출 방법으로서, (a) 전경과 배경을 추출하기 위한 데이터 프레임을 입력받는 단계; 및 (b) 상기 자유 공간 지도를 이용하여 상기 입력된 데이터 프레임에서 전경과 배경을 분할하여 제공하는 단계;를 구비한다.
전술한 제4 특징에 따른 자유 공간 지도 생성 방법에 있어서, 상기 (b) 단계는, 데이터 프레임을 구성하는 각 측정점이 속하는 공간 격자 셀을 검출하고, 자유 공간 지도에서 상기 검출된 공간 격자 셀에 대응되는 셀을 확인하고, 상기 자유 공간 지도의 대응되는 셀이 비어있는 경우, 해당 측정점은 배경으로 분류하고, 상기 자유 공간 지도의 대응되는 셀이 비어있지 아니한 경우, 해당 측정점은 전경으로 분류하는 것이 바람직하다.
본 발명에 의하면, 기존 수작업이 많은 비중을 차지하던 지도 생성 시에서의 전경 및 배경 분할 작업을 자동으로 진행함으로써 막대한 양의 금전적 비용과 시간적 비용을 절감할 수 있다.
도 11은 본 발명에 따른 자유 공간 지도 생성 시스템과 전경/배경 추출 시스템에 있어서, 자유 공간 지도 생성 시스템에서 생성된 자유 공간 지도를 이용하여 데이터 프레임으로부터 추출한 배경을 예시적으로 도시한 것으로서, (a)는 누적된 3차원 점군 지도(accumulated 3D point cloud map)이며, (b)는 자유 공간 지도를 이용하여 (a)로부터 전경을 제거한 배경(background)을 추출한 지도이다.
도 11에 도시된 바와 같이, 추가로 더 정밀도 높은 배경 추출이 가능해짐으로써, 지도 기반의 차량 측위 기술의 정확도 또한 향상되게 되며, 자율 주행 차량의 충돌 회피(collision avoidance)를 위한 타 차량 감지 기술 및 보행자 감지 기술 등에 3차원 환경 정보 측정 센서로 감지된 측정 데이터 중 배경 정보를 제외한 전경 정보를 선별적으로 추출하여 제공함으로써 처리 속도 및 인식률을 대폭 향상시킬 수 있다.
도 1은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템의 구성을 개략적으로 도시한 블록도이며, 도 2는 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에서의 자유 공간 지도 생성 방법을 순차적으로 도시한 흐름도이다.
도 3은 본 발명의 제2 특징에 전경/배경 추출 시스템에 있어서, 자유 공간 생성 시스템에 의해 생성된 자유 공간 지도(
Figure pat00004
)를 이용해 누적된 데이터 프레임(
Figure pat00005
)을 전경(
Figure pat00006
) 데이터와 배경(
Figure pat00007
) 데이터로 분할하여 추출하는 것에 대한 개념을 설명하기 위하여 도시한 개념도이다.
도 4는 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 탐지부가 삼각형 그물망을 구성한 것을 도시한 것으로서, (a)는 구 좌표계에서 점군 데이터(point cloud data)를 도시한 것이며, (b)는 (a)의 점군 데이터를 이용하여 극 좌표계에서 생성한 들로네 삼각화 과정을 통해 생성한 삼각형 그물망을 도시한 것이다.
도 5는 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 탐지부에 의해 생성된 자유 공간 영역의 기본 단위를 사면체의 형태로 도시한 것이다.
도 6은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 융합부가 공간 격자를 재구성하고 이상점(outlier)를 제거한 것을 2차원으로 도시한 것이다.
도 7은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, (a)는 탐지부에 의해 탐지된 자유 공간 영역을 도시한 것이며, (b)는 감지부에서 생성한 자유 공간 영역에 대응되는 3차원 점군 데이터(3D point cloud data)이다.
도 8은 본 발명의 제2 특징에 따른 전경/배경 추출 시스템의 구조를 개략적으로 도시한 구성도이다.
도 9는 본 발명의 제2 특징에 따른 전경/배경 추출 시스템에 있어서, (a)는 입력된 데이터 프레임이며, (b)는 데이터 프레임으로부터 분할된 전경(foreground)이며, (c)는 데이터 프레임으로부터 전경이 제거된 배경(background)이다.
도 10은 본 발명의 제2 특징에 따른 전경/배경 추출 시스템에 있어서, (a)는 자동차와 보행자가 있는 데이터 프레임이며, (b)는 데이터 프레임으로부터 전경인 자동차와 보행자가 제거된 배경을 도시한 것이다.
도 11은 본 발명의 제2 특징에 따른 전경/배경 추출 시스템에 있어서, 자유 공간 지도를 이용하여 추출한 배경을 예시적으로 도시한 것으로서, (a)는 누적된 3차원 점군 지도(accumulated 3D point cloud map)이며, (b)는 자유 공간 지도를 이용하여 (a)로부터 전경을 제거한 배경(background)을 추출한 지도이다.
본 발명에 따른 자유 공간 지도 생성 시스템은 3차원 환경 정보를 기반으로 한 각 단위 데이터 프레임과 센서의 6축 자세 정보를 이용하여 자유 공간 영역을 획득하고, 자유 공간 영역들을 융합하여 자유 공간 지도를 생성하여 제공하는 것을 특징으로 한다. 또한, 본 발명에 따른 전경/배경 추출 시스템은 상기 자유 공간 지도 생성 시스템에 의해 획득된 자유 공간 지도를 이용하여, 데이터 프레임으로부터 전경과 배경을 각각 분할하여 추출하는 것을 특징으로 한다.
본 발명에 따른 자유 공간 지도 생성 시스템은 자율 주행 차량(autonomous vehicle)에서 필요한 주행 영역에 대한 환경 정보를 포함하는 정확한 지도를 생성할 수 있다. 이러한 지도는 정밀한 정적 정보를 포함해야 된다. 따라서, 자율 주행 차량은 본 발명에 따른 자유 공간 지도 생성 시스템에 의해 생성된 자유 공간 지도를 사용할 수 있게 된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 자유 공간 지도 생성 시스템과 방법 및 전경/배경 추출 시스템과 방법에 대하여 구체적으로 설명한다.
< 자유 공간 지도 생성 시스템 >
도 1은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템의 구성을 개략적으로 도시한 블록도이며, 도 2는 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에서의 자유 공간 지도 생성 방법을 순차적으로 도시한 흐름도이다.
도 1 및 도 2를 참조하면, 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템(10)은 3차원 환경 정보를 감지하여 일련의 단위 데이터 프레임을 생성하는 감지부(100), 감지부의 센서에 대한 6축 자세를 측정하는 측위부(110), 각 단위 데이터 프레임으로부터 자유 공간 영역을 탐지하는 탐지부(120) 및 6축 자세를 이용하여 자유 공간 영역들을 융합하여 자유 공간 지도를 생성하는 융합부(130)를 구비한다. 이하, 전술한 자유 공간 지도 생성 시스템을 구성하는 각 구성 요소들에 대하여 구체적으로 설명한다.
도 3은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 생성되는 자유 공간 지도()에 대한 개념을 설명하기 위하여 도시한 개념도이다. 도 3을 참조하면, 감지부(100)는 일련의 단위 데이터 프레임(
Figure pat00008
,
Figure pat00009
,
Figure pat00010
,…,
Figure pat00011
)들을 생성하여 출력한다. 감지부에서 생성한 단위 데이터 프레임을 기반으로, 측위부(110)는 각 데이터 프레임을 감지할 때의 절대좌표계(global coordinate) 상에서 센서의 6축 자세를 측정 또는 추정하여 국소좌표계(local coordinate) 상에서의 각 데이터 프레임을 절대좌표계(global coordinate)으로 변환하는 6축 좌표계 변환 행렬(6-DoF coordinate transformation matrix)들(
Figure pat00012
,
Figure pat00013
,
Figure pat00014
,…,
Figure pat00015
)을 생성하며, 탐지부(120)는 각 단위 데이터 프레임들에 대한 자유 공간 영역들(
Figure pat00016
,
Figure pat00017
,
Figure pat00018
,…,
Figure pat00019
)을 생성하여 출력한다. 이어서 상기 융합부(130)는 각 단위 데이터 프레임들에 대한 센서의 6축 자세 정보로부터 계산한 변환 행렬들(
Figure pat00020
)을 이용하여 일련의 단위 데이터 프레임들(
Figure pat00021
)을 융합하여 누적 지도(
Figure pat00022
)을 구할 수 있게 되며, 마찬가지로 일련의 자유 공간 영역들(
Figure pat00023
)을 이에 대응되는 변환 행렬(
Figure pat00024
)를 이용해 융합하여 자유 공간 지도(
Figure pat00025
)를 생성하게 된다. 이렇게 탐지된 자유 공간 지도를 이용하면 누적된 데이터 프레임(
Figure pat00026
)을 전경(
Figure pat00027
) 데이터와 배경(
Figure pat00028
) 데이터로 분리할 수 있다.
Figure pat00029
Figure pat00030
여기서, p는 데이터 프레임의 각 측정점을 의미하며, Fc는 F의 여집합을 의미한다.
상기 감지부(100)는 둘 이상의 센서들을 구비하고 상기 센서들을 이용하여 3차원 공간에 대한 환경 정보를 감지하고, 감지된 3차원 환경 정보들을 이용하여 일련의 단위 데이터 프레임들을 생성하여 제공한다.
상기 센서들은 3차원 환경 정보 측정 센서들로 구성된 LiDAR(Light Detection and Ranging)로 이루어지거나 2차원 거리 센서들로 구성되며, 이러한 센서들의 조합을 통해 3차원 공간 상에서 센서로부터 주변 물체까지의 거리 정보를 얻을 수 있게 된다. 또한,상기 감지부는 센서로부터 물체까지의 거리 정보를 반환하는 환경 정보 측정데이터들을 직교좌표계 혹은 구좌표계를 기반으로 하는 3차원 점군 데이터(3D point cloud data)로 변환하여 제공할 수 있으며, 이들을 사용하여 단위 데이터 프레임을 생성하여 출력한다.
또한, 상기 감지부는 데이터 출력 주기를 조절하여 단위 데이터 프레임 내의 데이터량을 조절하는 기능을 포함할 수 있다.
한편, 상기 감지부는 측위부로부터 얻은 3차원 공간 상에서의 센서의 6축 자세를 기반으로 상기 취득된 환경 정보 데이터를 보정하는 기능을 포함할 수 있다.
상기 측위부(110)는 3차원 공간 상에서 각 단위 데이터 프레임을 생성하기 위한 환경 정보 데이터를 측정할 때의 감지부의 센서의 정밀한 6축 자세(6 degree of freedom pose)를 측정하여 제공한다. 상기 측위부는 상기 측정된 일련의 단위 데이터 프레임들을 이용하여 센서의 6축 자세를 추정 및 보정하거나, 측위 센서를 이용하여 센서의 6축 자세를 측정할 수 있다. 상기 측위부를 구성하는 측위 센서는 GPS 위성으로부터 위치 정보를 수신하여 차량의 절대 위치 정보를 획득하는 GPS 모듈, 자이로스코프 센서나 가속도계를 통해 차량의 움직임을 측정하는 IMU 센서를 포함할 수 있으며 주행환경 정보 측정을 위해 차량의 이동거리, 바퀴나 프로펠러 등의 방향 및 회전속도, 또는 운전대의 조향각 등을 측정하는 장비들, 예컨대 휠 인코더(wheel encoder) 등을 포함할 수 있다.
또한, 상기 측위부는 감지부의 3차원 환경 정보 측정 센서를 통해 취득한 일련의 단위 데이터 프레임들을 바탕으로 3차원 공간 상의 센서의 위치를 추정 및 보정하는 기능을 포함할 수 있다.
상기 탐지부(120)는 각 단위 데이터 프레임들로부터 자유 공간 영역을 탐지하여 제공한다. 상기 탐지부는 감지부로부터 취득된 환경 정보를 기반으로 센서와 주변 물체 사이의 가시선(line of sight)들을 기반으로 자유 공간 영역을 탐지하는 기능을 포함한다.
또한, 상기 탐지부는 측정점들을 기반으로 다각형 그물망(polygon mesh)을 형성하고 최종적으로 이 그물망으로 둘러쌓인 오목 구조(concave hull) 내부를 자유 공간 영역으로 정의한다. 상기 탐지부는 다각형 그물망으로 삼각형 그물망을 생성하게 되는데, 센서의 위치를 중심으로 각각의 측정점들의 상대적인 위치를 방사 거리(radial distance), 방위각(azimuth angle), 및 천정각(zenith angle)를 기저(basis)로 하는 구좌표계(spherical coordinate)에서의 점군 데이터들로부터 방위각과 천정각을 기저로 하는 2차원 평면의 들로네 삼각화(Delaunay triangulation) 과정을 통해 균일한 형태를 갖는 삼각형 그물망(triangular mesh)을 생성할 수 있다.
도 4는 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 탐지부가 삼각형 그물망을 구성한 것을 도시한 것으로서, (a)는 구 좌표계에서의 점군 데이터(point cloud data)를 도시한 것이며, (b)는 (a)의 점군 데이터를 이용하여 극 좌표계에서의 들로네 삼각화 과정을 통해 생성한 삼각형 그물망(triangular mesh)을 도시한 것이다.
도 5는 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 탐지부에 의해 생성된 자유 공간 영역의 기본 단위를 사면체(a spherical triangular pyramid)의 형태로 도시한 것이다. 도 5에 있어서, S 는 감지부의 센서의 위치이며 x1, x2, x3 은 각각의 vertices를 나타내며,
Figure pat00031
은 센서 환경 정보 센서의 측정 거리 오차를 기반으로 한 허용 가능 오차범위 임계치(threshold)이며,
Figure pat00032
는 세 측정점 중 가장 긴 호의 길이로서 측정점 사이에 장애물에 존재할 가능성을 기반으로 한 임계치를 나타낸다.
또한, 상기 탐지부는 상기 명시된 감지부 센서의 거리 측정 오차에 대한 불확실성 수치 외에도 구좌표계 기반의 센서 데이터를 직교좌표계로 변환하는 과정에서 발생할 수 있는 오차 또는 측위부에서의 측위 오차로 인해 발생하는 오차 등이, 탐지된 자유 공간 영역에 미치는 영향을 반영하여 자유 공간 영역 내에서 불확실성 임계치를 설정하거나 가중치를 부여할 수 있다.
또한, 상기 탐지부는 상기 명시된 측정점 간의 최대 호의 길이를 기반으로 한 자유 공간 영역에 대한 불확실성 수치 외에도 삼각형 그물망에서 각각 생성된 삼각형의 넓이, 삼각형의 변의 최대 길이, 센서로부터의 거리등을 기반으로 공간 상에서 해당 영역에 물체가 존재할 가능성에 대한 불확실성 임계치(uncertainty threshold)를 설정하거나 가중치를 부여할 수 있다.
또한, 상기 탐지부는 현재 자차(ego-vehicle)가 점유하고 있는 공간을 자유 공간 영역으로 판별할 수 있다.
한편, 상기 탐지부는 후술되는 전경/배경 추출 시스템에 의해 데이터 프레임에서 전경으로 분리된 물체의 움직임을 트래킹(tracking)함으로써, 해당 물체가 지나는 영역을 자유 공간 영역으로 판별할 수 있다.
한편, 본 발명에 따른 자유 공간 지도 생성 시스템은 상기 불확실성 임계치 또는 가중치를 입력받기 위한 입력부를 더 포함할 수 있다.
상기 융합부(130)는 상기 측위부를 통해 생성된 6축 자세를 이용해 감지부에서 생성된 단위 데이터 프레임과 탐지부에서 생성된 개별 자유 공간 정보들을 각각 융합하여 누적 지도(
Figure pat00033
)과 자유 공간 지도(
Figure pat00034
)를 생성하여 제공한다. 상기 융합부는 자유 공간 지도를 생성하는 과정에서 탐지부에서 생성된 삼각형 그물망에서 각각의 삼각형과 센서의 위치점이 만드는 사면체(pyramid)를 단위 영역으로 설정하고 이 사면체들에 속하는 격자점들을 기반으로 공간 격자를 재구성하는 방식을 통해 탐지된 자유 공간 영역 내부에 속하는 공간 격자들을 찾아낸다. 각 단위 영역인 사면체들에서의 공간 격자들을 재구성하여 자유 공간 영역 내부에 속하는 공간 격자들을 찾아내고, 이들을 융합하여 자유 공간 지도를 생성하게 된다. 이와 같이, 상기 자유 공간 지도는 공간 격자들을 이용한 격자 구조로 표현될 수 있으며, 그 외에도 다각형 그물망 구조 또는 오목 구조(concave hull)로 표현될 수도 있다.
도 6은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, 융합부가 탐지부에서 탐지된 자유 공간 영역을 공간 격자 구조로 재구성하고 이상점를 제거한 것을 2차원으로 도시한 것이다.
도 7은 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 있어서, (a)는 탐지부에 의해 탐지된 자유 공간 영역을 도시한 것이며, (b)는 감지부에서 생성한 자유 공간 영역에 대응되는 3차원 점군 데이터(3D point cloud data)이다.
또한, 상기 융합부는 생성한 지도 정보를 기록매체에 저장하거나 불러들이는 기능을 포함할 수 있으며, 상기 융합부는 기존에 기록된 지도 정보를 갱신하는 기능을 포함할 수 있다. 또한, 상기 융합부는 다각형 그물망(polygon mesh)이나 오목 구조(concave hull), 그리고 공간 격자(voxel grid)를 기반으로 하여 점유 영역 또는 자유 공간 영역을 표현 및 저장하는 기능을 포함할 수 있다.
또한, 상기 융합부는 지도 정보를 압축하여 저장함으로써 저장 공간을 최소화하는 기능을 포함할 수 있다. 또한, 상기 융합부는 지도 정보를 단위 크기로 나누어 저장하고 관리하는 기능을 포함할 수 있다. 또한, 상기 융합부는 지도 상에서 현재 차량의 위치를 기반으로 가(可)측정 범위 내에 있는 지도 정보만을 불러오는 기능을 포함할 수 있다.
< 전경/배경 추출 시스템 >
전술한 본 발명의 제1 특징에 따른 자유 공간 지도 생성 시스템에 의해 생성된 자유 공간 지도를 이용하여, 전경/배경 추출 시스템을 구성할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 제2 특징에 따른 전경/배경 추출 시스템의 구성 및 동작에 대하여 구체적으로 설명한다.
본 발명의 제2 특징에 따른 전경/배경 추출 시스템(20)은, 전술한 자유 공간 지도 생성 시스템(10)으로부터 생성된 자유 공간 지도를 제공받고, 상기 자유 공간 지도를 이용하여 특정 데이터 프레임의 전경(foreground)과 배경(background)를 분할하여 추출하여 제공한다. 도 8은 본 발명의 제2 특징에 따른 전경/배경 추출 시스템의 구조를 개략적으로 도시한 구성도이다.
도 8을 참조하면, 상기 전경/배경 추출 시스템(20)은, 자유 공간 지도를 입력받는 제1 입력부(200); 전경과 배경을 추출하기 위한 데이터 프레임을 입력받는 제2 입력부(210); 및 상기 자유 공간 지도를 이용하여 상기 입력부로부터 제공된 데이터 프레임에서 전경과 배경을 분할하여 제공하는 분할부(220);를 구비한다.
상기 분할부(220)는 자유 공간 지도를 사용하여 데이터 프레임의 각 측정점들에 대하여 전경 및 배경 중 하나로 분류하여 데이터 프레임을 전경과 배경으로 분할시키게 된다. 상기 분할부는 전경과 배경으로 분할시키기 위하여, 먼저 3차원 점군 데이터로 구성된 데이터 프레임의 각 측정점들에 대하여 각 측정점들이 속하는 공간 격자 셀(voxel grid cell)을 검출하고, 자유 공간 지도(free space grid map)에서 상기 공간 격자 셀에 대응되는 셀을 확인한다. 만약, 자유 공간 지도에서의 대응되는 셀이 비어 있는 경우 해당 측정점은 고정된 점(static point)으로 분류하고, 자유 공간 지도에서의 대응되는 셀이 비어 있지 않는 경우, 그 대응되는 셀은 자유 공간(free space)으로 표현되고 그 측정점은 동적인 점로 분류된다. 여기서, 동적인 점으로 분류된 측정점들은 전경을 구성하게 되며, 고정된 점으로 분류된 측정점들은 배경을 구성하게 된다.
한편, 상기 분할부는 상기 데이터 프레임의 각 측정점이 전경일 확률 및 배경일 확률을 계산하여 출력할 수 있으며, 각 측정점은 확률의 크기에 따라 전경 또는 배경으로 분류될 수 있게 된다.
도 9는 본 발명의 제2 특징에 따른 전경/배경 추출 시스템에 있어서, (a)는 입력된 데이터 프레임이며, (b)는 데이터 프레임으로부터 분할된 전경(foreground)이며, (c)는 데이터 프레임으로부터 전경이 제거된 배경(background)이다. 도 9를 참조하면, (a)는 배경과 보행자인 전경을 포함하고 있으며, (b)는 보행자인 전경만을 추출한 것이며, (c)는 데이터 프레임에서 전경에 해당하는 보행자가 제거된 배경만을 추출한 것이다.
도 10은 본 발명의 제2 특징에 따른 전경/배경 추출 시스템에 있어서, (a)는 자동차와 보행자가 있는 데이터 프레임이며, (b)는 데이터 프레임으로부터 전경인 자동차와 보행자가 제거된 배경을 도시한 것이다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 따른 방법 및 시스템은 3차원 지도 제작 및 자율 주행 차량 분야에서 널리 사용될 수 있다.
10 : 자유 공간 지도 생성 시스템
20 : 배경/전경 추출 시스템
100 : 감지부
110 : 측위부
120 : 탐지부
130 : 융합부
220 : 분할부

Claims (25)

  1. 3차원 공간상에서 3차원 환경 정보를 측정하는 하나 또는 둘 이상의 센서를 구비하고, 상기 센서를 이용하여 센서로부터 주변 물체들까지의 거리 정보를 감지하고, 감지된 정보들을 이용하여 단위 데이터 프레임을 생성하여 제공하는 감지부;
    상기 단위 데이터 프레임을 위한 거리 정보를 감지할 때의 센서의 6축 자세(6 degree of freedom pose)를 측정하는 측위부;
    상기 감지부에 의해 제공된 상기 단위 데이터 프레임들로부터 자유 공간 영역들을 검출하여 제공하는 탐지부;
    상기 측위부로부터 제공된 각 단위 데이터 프레임에 대한 센서의 6축 자세 정보를 이용하여, 각 단위 데이터 프레임들과 그에 대응하는 자유 공간 영역들을 융합하여 자유 공간 지도를 생성하는 융합부;
    를 구비하여 자유 공간 지도를 생성하는 자유 공간 지도 생성 시스템.
  2. 제1항에 있어서, 상기 감지부의 센서는 3차원 환경 정보 측정 센서 또는 2차원 거리 센서로 이루어지는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  3. 제1항에 있어서, 상기 감지부는 센서의 데이터 출력 주기를 조절하여 단위 데이터 프레임 내의 데이터 량을 조절하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  4. 제1항에 있어서, 상기 감지부는 센서로부터 얻은 환경 정보 측정 데이터를 직교 좌표계 또는 구 좌표계를 기반으로 하는 3차원 점군 데이터(3-dimensional point cloud data)로 변환하고, 이를 이용하여 3차원 단위 데이터 프레임을 생성하여 제공하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  5. 제1항에 있어서, 상기 측위부는 상기 감지부의 센서의 절대 위치 정보를 획득하는 GPS 모듈 및 상기 감지부의 센서가 장착된 물체의 움직임을 측정하는 측위센서를 구비하여, 상기 GPS 모듈 및 상기 측위 센서를 이용하여 상기 감지부의 센서에 대한 6축 자세 정보를 감지하여 제공하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  6. 제1항에 있어서, 상기 측위부는 상기 감지부에 의해 획득된 일련의 단위 데이터 프레임들을 이용하여 3차원 공간 상의 상기 감지부의 센서의 위치를 추정하여 센서에 대한 6축 자세 정보를 획득하여 제공하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  7. 제1항에 있어서, 상기 탐지부는 각 단위 데이터 프레임을 구성하는 각 측정점들을 기반으로 다각형 그물망(polygon mesh)을 생성하고, 상기 생성된 다각형 그물망으로 둘러쌓인 오목 구조(concave hull)의 내부를 자유 공간 영역(free space)으로 정의하여 제공하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  8. 제7항에 있어서, 상기 탐지부가 다각형 그물망을 생성하기 위하여, 감지부의 센서의 위치를 중심으로 하여 각 측정점들의 상대적인 위치를 방사 거리(radial distance), 방위각(azimuth angle), 및 천정각을 기저로 하는 구 좌표계(spherical coordinate)로부터 방위각과 천정각을 기저로 하는 극 좌표계의 2차원 평면으로 변환하는 들로네 삼각화 과정을 통해 균일한 형태를 갖는 삼각형 그물망(triangular mesh)을 생성하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  9. 제7항에 있어서, 상기 탐지부는 다각형 그물망에서 생성된 다각형의 넓이, 다각형의 변의 최대 길이, 감지부의 센서로부터의 거리 중 어느 하나 이상을 기반으로 하여 3차원 공간상에서 해당 영역에 물체가 존재할 가능성에 대한 불확실성 임계치(uncertainty threshold)를 설정하거나 가중치를 부여하거나,
    상기 탐지부는 상기 감지부의 센서의 측정 오차 또는 측위부의 측위 오차로 인해 발생되는 불확실성(uncertainty)이 탐지된 자유 공간 영역에 미치는 영향을 반영하여 자유 공간 영역에서 불확실성 임계치를 설정하거나 가중치를 부여하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  10. 제1항에 있어서, 상기 융합부는 탐지부에서 생성된 삼각형 그물망에서 각각의 삼각형과 센서의 위치점이 만드는 사면체(pyramid)를 단위 영역으로 설정하고, 각 사면체들이 속하는 격자점들을 기반으로 하여 공간 격자(voxel grid)를 재구성하고, 상기 탐지부에 의해 생성된 자유 공간 영역의 내부에 속하는 공간 격자들을 찾아내고, 상기 공간 격자들을 이용하여 자유 공간 지도를 생성하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  11. 제1항에 있어서, 상기 융합부는 각 단위 데이터 프레임들을 융합하여 누적 지도를 생성하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  12. 제1항에 있어서, 상기 융합부는 자유 공간 지도를 생성하고, 공간 격자들을 이용한 격자 구조, 다각형 그물망 구조 및 오목 구조(concave hull) 중 어느 하나로 표현하고 저장하는 것을 특징으로 하는 자유 공간 지도 생성 시스템.
  13. 청구항 제1항 내지 제12항 중 어느 한 항에 따른 자유 공간 지도 생성 시스템에 의하여 획득된 자유 공간 지도를 이용하는 전경/배경 추출 시스템에 있어서,
    전경과 배경을 추출하기 위한 데이터 프레임을 입력받는 입력부; 및
    상기 자유 공간 지도를 이용하여 상기 입력부로부터 제공된 데이터 프레임에서 전경과 배경을 분할하여 제공하는 분할부;
    를 구비하는 것을 특징으로 하는 전경/배경 추출 시스템.
  14. 제13항에 있어서, 상기 분할부는 상기 데이터 프레임의 각 측정점이 전경일 확률 및 배경일 확률을 계산하여 출력하는 것을 특징으로 하는 전경/배경 추출 시스템.
  15. 제13항에 있어서, 상기 분할부는,
    데이터 프레임을 구성하는 각 측정점이 속하는 공간 격자 셀을 검출하고,
    자유 공간 지도에서 상기 검출된 공간 격자 셀에 대응되는 셀을 확인하고,
    상기 자유 공간 지도의 대응되는 셀이 비어있는 경우, 해당 측정점은 배경으로 분류하고, 상기 자유 공간 지도의 대응되는 셀이 비어있지 아니한 경우, 해당 측정점은 전경으로 분류하는 것을 특징으로 하는 전경/배경 추출 시스템.
  16. (a) 3차원 공간상에서 3차원 환경 정보를 측정하는 센서를 이용하여 센서로부터 주변 물체들까지의 거리 정보를 감지하고, 감지된 정보들을 이용하여 단위 데이터 프레임을 생성하는 단계;
    (b) 상기 단위 데이터 프레임을 위한 거리 정보를 감지할 때의 센서의 6축 자세(6 degree of freedom pose)를 측정하는 단계;
    (c) 상기 단위 데이터 프레임들로부터 자유 공간 영역들을 검출하여 제공하는 단계;
    (d) 각 단위 데이터 프레임에 대한 센서의 6축 자세 정보를 이용하여, 각 단위 데이터 프레임들에 대한 자유 공간 영역들을 융합하여 하나의 자유 공간 지도를 생성하는 단계;
    를 구비하여 자유 공간 지도를 생성하는 자유 공간 지도 생성 방법.
  17. 제16항에 있어서, (a) 단계의 센서는 3차원 환경 정보 측정 센서 또는 2차원 거리 센서로 이루어지는 것을 특징으로 하는 자유 공간 지도 생성 방법.
  18. 제16항에 있어서, 상기 (a) 단계는, 센서로부터 얻은 환경 정보 측정 데이터를 직교 좌표계 또는 구 좌표계를 기반으로 하는 3차원 점군 데이터(3-dimensional point cloud data)로 변환하고, 이를 이용하여 3차원 단위 데이터 프레임을 생성하여 제공하는 것을 특징으로 하는 자유 공간 지도 생성 방법.
  19. 제16항에 있어서, 상기 (c) 단계는 각 단위 데이터 프레임을 구성하는 각 측정점들을 기반으로 다각형 그물망(polygon mesh)을 생성하고, 상기 생성된 다각형 그물망으로 둘러쌓인 오목 구조(concave hull)의 내부를 자유 공간 영역(free space)으로 정의하여 제공하는 것을 특징으로 하는 자유 공간 지도 생성 방법.
  20. 제19항에 있어서, 상기 (c) 단계는 다각형 그물망을 생성하기 위하여, 센서의 위치를 중심으로 하여 각 측정점들의 상대적인 위치를 방사 거리(radial distance), 방위각(azimuth angle), 및 천정각을 기저로 하는 구 좌표계(spherical coordinate)로부터 방위각과 천정각을 기저로 하는 극 좌표계의 2차원 평면으로 변환하는 들로네 삼각화 과정을 통해 균일한 형태를 갖는 삼각형 그물망(triangular mesh)을 생성하는 것을 특징으로 하는 자유 공간 지도 생성 방법.
  21. 제16항에 있어서, 상기 (d) 단계는 (c) 단계에서 생성된 삼각형 그물망에서 각각의 삼각형과 센서의 위치점이 만드는 사면체(pyramid)를 단위 영역으로 설정하고, 각 사면체들이 속하는 격자점들을 기반으로 하여 공간 격자(voxel grid)를 재구성하고, 상기 탐지부에 의해 생성된 자유 공간 영역의 내부에 속하는 공간 격자들을 찾아내고, 상기 공간 격자들을 이용하여 자유 공간 지도를 생성하는 것을 특징으로 하는 자유 공간 지도 생성 방법.
  22. 제16항에 있어서, 상기 (d) 단계는 각 단위 데이터 프레임에 대한 센서의 6축 자세 정보를 이용하여, 각 단위 데이터 프레임들에 대한 자유 공간 영역들을 융합하여 하나의 자유 공간 지도를 생성하고, 각 단위 데이터 프레임들을 누적하여 누적 지도를 생성하는 것을 특징으로 하는 자유 공간 지도 생성 방법.
  23. 청구항 제16항 내지 제22항 중 어느 한 항에 따른 자유 공간 지도 생성 방법에 의하여 획득된 자유 공간 지도를 이용하는 전경/배경 추출 방법에 있어서,
    (a) 전경과 배경을 추출하기 위한 데이터 프레임을 입력받는 단계; 및
    (b) 상기 자유 공간 지도를 이용하여 상기 입력된 데이터 프레임에서 전경과 배경을 분할하여 제공하는 단계;
    를 구비하는 것을 특징으로 하는 전경/배경 추출 방법.
  24. 제23항에 있어서, 상기 (b) 단계는 상기 데이터 프레임의 각 측정점이 전경일 확률 및 배경일 확률을 계산하여 출력하는 것을 특징으로 하는 전경/배경 추출 방법.
  25. 제23항에 있어서, 상기 (b) 단계는, 데이터 프레임을 구성하는 각 측정점이 속하는 공간 격자 셀을 검출하고, 자유 공간 지도에서 상기 검출된 공간 격자 셀에 대응되는 셀을 확인하고, 상기 자유 공간 지도의 대응되는 셀이 비어있는 경우, 해당 측정점은 배경으로 분류하고, 상기 자유 공간 지도의 대응되는 셀이 비어있지 아니한 경우, 해당 측정점은 전경으로 분류하는 것을 특징으로 하는 전경/배경 추출 방법.
KR1020150099771A 2015-07-14 2015-07-14 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 KR101711964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150099771A KR101711964B1 (ko) 2015-07-14 2015-07-14 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150099771A KR101711964B1 (ko) 2015-07-14 2015-07-14 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템

Publications (2)

Publication Number Publication Date
KR20170008505A true KR20170008505A (ko) 2017-01-24
KR101711964B1 KR101711964B1 (ko) 2017-03-13

Family

ID=57993253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150099771A KR101711964B1 (ko) 2015-07-14 2015-07-14 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템

Country Status (1)

Country Link
KR (1) KR101711964B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190070514A (ko) * 2017-12-13 2019-06-21 연세대학교 산학협력단 격자지도 생성 장치 및 방법
KR20190104304A (ko) * 2019-09-03 2019-09-09 주식회사 모빌테크 점군을 포함하는 라이다 지도 생성 방법
KR20190117354A (ko) * 2018-04-06 2019-10-16 고려대학교 산학협력단 실내공간의 3차원 지도 생성 방법 및 장치
KR20200028813A (ko) * 2018-09-07 2020-03-17 (주)위지윅스튜디오 지도 서비스를 활용한 실시간 cg 영상 제작 시스템 및 그 방법
DE102018122374A1 (de) * 2018-09-13 2020-03-19 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
WO2020251151A1 (ko) * 2019-06-14 2020-12-17 고려대학교 산학협력단 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
US10957100B2 (en) 2018-04-06 2021-03-23 Korea University Research And Business Foundation Method and apparatus for generating 3D map of indoor space
US11035958B2 (en) 2018-11-15 2021-06-15 Bejing Didi Infinity Technology And Development Co., Ltd. Systems and methods for correcting a high-definition map based on detection of obstructing objects
JP2021531524A (ja) * 2019-06-14 2021-11-18 高麗大学校産学協力団Korea University Research And Business Foundation ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
KR102444672B1 (ko) * 2021-08-27 2022-09-20 (주)뷰런테크놀로지 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054926B1 (ko) * 2018-02-27 2019-12-12 주식회사 만도 Free Space 신호 기반 근거리 컷인 차량 검출 시스템 및 방법
KR102334177B1 (ko) * 2020-07-21 2021-12-03 대한민국 실내대피를 위한 3차원 실내지도 구축 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004799A (ja) * 1998-01-07 2005-01-06 Toshiba Corp 物体抽出装置
JP2005115420A (ja) * 2003-10-02 2005-04-28 Kazuo Iwane 三次元形状生成装置
JP2009199572A (ja) * 2008-01-25 2009-09-03 Kazuo Iwane 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
KR101041930B1 (ko) 2010-12-30 2011-06-16 국방과학연구소 자율 이동 차량의 장애물 지도 생성 장치, 이를 구비하는 자율 이동 차량 및 자율 이동 차량의 장애물 지도 생성 방법
JP2011528438A (ja) * 2008-07-17 2011-11-17 メムシック，インコーポレイテッド 位置及び経路地図生成データ取得解析システム
KR20120065067A (ko) 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
KR101329583B1 (ko) 2013-07-09 2013-11-14 주식회사 두레텍 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템
KR101376687B1 (ko) 2012-12-06 2014-03-20 국방과학연구소 쿼드트리를 활용한 격자지도 기반의 지형분석 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004799A (ja) * 1998-01-07 2005-01-06 Toshiba Corp 物体抽出装置
JP2005115420A (ja) * 2003-10-02 2005-04-28 Kazuo Iwane 三次元形状生成装置
JP2009199572A (ja) * 2008-01-25 2009-09-03 Kazuo Iwane 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
JP2011528438A (ja) * 2008-07-17 2011-11-17 メムシック，インコーポレイテッド 位置及び経路地図生成データ取得解析システム
KR20120065067A (ko) 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
KR101041930B1 (ko) 2010-12-30 2011-06-16 국방과학연구소 자율 이동 차량의 장애물 지도 생성 장치, 이를 구비하는 자율 이동 차량 및 자율 이동 차량의 장애물 지도 생성 방법
KR101376687B1 (ko) 2012-12-06 2014-03-20 국방과학연구소 쿼드트리를 활용한 격자지도 기반의 지형분석 방법
KR101329583B1 (ko) 2013-07-09 2013-11-14 주식회사 두레텍 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190070514A (ko) * 2017-12-13 2019-06-21 연세대학교 산학협력단 격자지도 생성 장치 및 방법
KR20190117354A (ko) * 2018-04-06 2019-10-16 고려대학교 산학협력단 실내공간의 3차원 지도 생성 방법 및 장치
US10957100B2 (en) 2018-04-06 2021-03-23 Korea University Research And Business Foundation Method and apparatus for generating 3D map of indoor space
KR20200028813A (ko) * 2018-09-07 2020-03-17 (주)위지윅스튜디오 지도 서비스를 활용한 실시간 cg 영상 제작 시스템 및 그 방법
DE102018122374A1 (de) * 2018-09-13 2020-03-19 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
US11035958B2 (en) 2018-11-15 2021-06-15 Bejing Didi Infinity Technology And Development Co., Ltd. Systems and methods for correcting a high-definition map based on detection of obstructing objects
WO2020251151A1 (ko) * 2019-06-14 2020-12-17 고려대학교 산학협력단 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
JP2021531524A (ja) * 2019-06-14 2021-11-18 高麗大学校産学協力団Korea University Research And Business Foundation ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
EP3770809A4 (en) * 2019-06-14 2022-03-09 Korea University Research and Business Foundation METHOD AND APPARATUS FOR ESTIMATING A USER'S POSE USING A VIRTUAL THREE-DIMENSIONAL SPACE MODEL
US11915449B2 (en) 2019-06-14 2024-02-27 Korea University Research And Business Foundation Method and apparatus for estimating user pose using three-dimensional virtual space model
KR20190104304A (ko) * 2019-09-03 2019-09-09 주식회사 모빌테크 점군을 포함하는 라이다 지도 생성 방법
KR102444672B1 (ko) * 2021-08-27 2022-09-20 (주)뷰런테크놀로지 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치

Also Published As

Publication number Publication date
KR101711964B1 (ko) 2017-03-13

Similar Documents

Publication Publication Date Title
KR101711964B1 (ko) 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
KR102063534B1 (ko) 라이다를 이용한 지도 생성 방법
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
US11808581B2 (en) Lane-level map matching
Schreiber et al. Laneloc: Lane marking based localization using highly accurate maps
CN110617821B (zh) 定位方法、装置及存储介质
CN110573901A (zh) 激光传感器和视觉传感器的校准
CN112640417A (zh) 匹配关系确定方法、重投影误差计算方法及相关装置
CN112639502A (zh) 机器人位姿估计
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
KR102083911B1 (ko) 점군을 포함하는 라이다 지도 생성 방법
EP2101277B1 (en) Method and device for three-dimensional path planning to avoid obstacles using multiple planes
KR102127679B1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
JP2017090239A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2023021098A (ja) マップ構築方法、装置及び記憶媒体
AU2020356082A1 (en) Vehicle and method for generating map corresponding to three-dimensional space
JPWO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
US11238607B2 (en) System and method for measuring the accuracy of an electronic map or a localization of a vehicle
Tse et al. 3D city modelling from LIDAR data
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
KR102083913B1 (ko) 라이다를 이용한 지도 생성 장치
KR102506411B1 (ko) 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체
CN113227713A (zh) 生成用于定位的环境模型的方法和系统
CN117635721A (zh) 目标定位方法及相关系统、存储介质
JP7179687B2 (ja) 障害物検知装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 4