KR20170126740A - 물체 탐지 장치 및 방법 - Google Patents

물체 탐지 장치 및 방법 Download PDF

Info

Publication number
KR20170126740A
KR20170126740A KR1020160057185A KR20160057185A KR20170126740A KR 20170126740 A KR20170126740 A KR 20170126740A KR 1020160057185 A KR1020160057185 A KR 1020160057185A KR 20160057185 A KR20160057185 A KR 20160057185A KR 20170126740 A KR20170126740 A KR 20170126740A
Authority
KR
South Korea
Prior art keywords
data
point
raw data
group
point group
Prior art date
Application number
KR1020160057185A
Other languages
English (en)
Other versions
KR101822373B1 (ko
Inventor
서승우
신명옥
Original Assignee
서울대학교산학협력단
주식회사 토르드라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 주식회사 토르드라이브 filed Critical 서울대학교산학협력단
Priority to KR1020160057185A priority Critical patent/KR101822373B1/ko
Publication of KR20170126740A publication Critical patent/KR20170126740A/ko
Application granted granted Critical
Publication of KR101822373B1 publication Critical patent/KR101822373B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S17/936—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B60W2420/62—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈, 센서 모듈로부터 원시 데이터를 입력받고, 기 설정된 기준에 따라서 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈, 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈, 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈을 포함하는 물체 탐지 장치, 방법 및 시스템에 관한 것이다.

Description

물체 탐지 장치 및 방법 {Apparatus and method for detecting object}
본 발명은 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈, 센서 모듈로부터 원시 데이터를 입력받고, 기 설정된 기준에 따라서 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈, 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈, 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈을 포함하는 물체 탐지 장치, 방법 및 시스템에 관한 것이다.
센서 인근의 지형 정보를 정확하게 측정해주는 LIDAR(LIght Detection And Ranging)는 첨단 운전자 보조 시스템(Adaptive Driver Assistance Systems, ADAS) 및 자율 주행 자동차의 환경 인식 시스템에 유용하게 이용될 수 있는 센서 중 하나이다. 이러한 LIDAR는 카메라나 레이더에 비해 그 정확도가 종/횡의 모든 방향에 대해 우수하고, 종래에 단점으로 지적되었던 LIDAR 센서 자체의 크기와 가격 문제가 최근 해결되는 추세이기 때문에, 자율 주행 자동차 분야에서의 LIDAR의 역할은 점점 커질 것으로 기대되고 있다.
LIDAR는 제품의 종류에 따라 인식 가능 거리, 측정 데이터의 양 등 그 성능과 수집하는 데이터의 종류가 달라지게 되는데, 현재 상용되어 있는 제품 중 가장 많은 데이터를 제공해주는 3D LIDAR제품의 경우 회전당 100,000개가 넘는 3차원 좌표값들을 반환하여 준다. 그런데, 한번에 수많은 데이터를 처리하게 되는 경우, LIDAR 기반 물체 탐지에 걸리는 시간이 급격히 증가하는 문제점이 발생하게 된다.
ADAS 및 자율 주행 기술의 구현을 위해 가장 먼저 수행되어야 하는 업무 중 하나가 환경 인식이라는 점을 감안할 때, LIDAR가 수집하게 되는 방대한 데이터의 실시간 처리는 인식 지연으로 인한 사고의 방지 차원에서 반드시 필요하며, 종래의 LIDAR가 가지고 있는 문제점을 해결하여야 한다.
한편, LIDAR는 레이저를 사용하는 본질적 특징으로 인해 특정 물체 표면에서 데이터가 누락되는 경우가 발생하는데, 이는 하나의 물체를 2개 이상으로 나눠서 인식하는 잘못된 결과를 초래한다. LIDAR를 통해 차량 인근 물체의 3D 형태 정보를 얻을 수 있다는 점을 감안할 때, 물체의 3D 형태 정보를 보다 정확히 얻기 위해 반드시 해결되어야 하는 문제이다.
본 발명은 상술한 바와 같이 종래의 물체 탐지 장치가 가지는 문제점을 해결하기 위하여, 회전당 최대 10만개 이상의 측정값을 제공하는 3D LIDAR 센서를 이용하는 경우라도 실시간으로 물체를 인식할 수 있으며, 데이터가 누락되는 물체의 표면에서도 물체의 추가적인 분리 없이 인식이 가능하며, 보다 정확한 형태를 제공할 수 있는 고정밀/실시간 물체 탐지 장치, 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 포함될 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 물체 탐지 장치는, 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈, 상기 센서 모듈로부터 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈, 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈, 상기 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 센서 모듈이 2D 또는 3D LIDAR(LIght Detection And Ranging) 센서인 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 센서 모듈이 1주기 또는 1프레임을 기준으로 원시 데이터를 수집하여 누적하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 상기 원시 데이터의 영역별 정보를 파악하기 위한 격자(grid) 구조를 생성하는 것을 특징으로 한다.
이 때, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 상기 원시 데이터를 기 저장된 점유 격자(occupancy grid)에 투사하고, 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 것을 특징으로 한다. 또한, 상기 점유 격자는 직교좌표계 또는 극좌표계 격자이고, 상기 원시 데이터는 3D 데이터 포인트이며, 상기 데이터 분류 모듈이 상기 3D 데이터 포인트를 상기 점유 격자의 좌표값에 할당하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 격자별로 포함하는 원시 데이터의 높이값 중 가장 낮은 값을 해당 격자의 지면 높이로 판단하여 저장하고, 상기 지면 높이보다 기 설정된 이상 높은 원시 데이터의 집합을 물체 후보군 데이터로 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 원시 데이터를 포함하는 2차원 또는 3차원 격자 구조를 통해 2차원 격자 셀(grid cell) 또는 3차원 격자 복셀(grid voxel)을 생성하는 것을 특징으로 한다. 이 때, 상기 데이터 분류 모듈은, 상기 격자 셀 또는 상기 격자 복셀에 포함되는 원시 데이터의 평균(mean), 분산(variance), 표준편차 중 어느 하나를 연산하여 원시 데이터의 대표 원시 데이터를 산출하고, 각각의 대표 원시 데이터들을 꼭짓점(node)으로 선정하여, 이를 변(edge)로 연결하는 그래프(graph)를 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 클러스터 모듈이 상기 물체 후보군 데이터간 유클리드 거리, 반사율, 법선 벡터 중 어느 하나를 포함하는 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 것을 특징으로 한다.
그리고, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 물체 후보군 데이터의 밀도에 따라서, 상기 센서 모듈이 수집하는 원시 데이터의 탐색 범위를 조절하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 처리 모듈이 상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 한다. 이 때, 상기 데이터 처리 모듈은, 물체 후보군 데이터에 포함되지 않은 원시 데이터를 지면 데이터로 추출하고, 상기 지면 데이터 중 인근 포인트 그룹과 유사도가 높은 포인트들을 상기 포인트 그룹에 포함시키는 것을 특징으로 한다.
이 때, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 처리 모듈이 상기 포인트 그룹에 포함되어 있는 포인트를 선택하여, 상기 포인트의 법선 벡터, 반사율, 기울기 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점 데이터까지 확장하는 것을 특징으로 한다. 또한, 상기 데이터 처리 모듈은, 상기 포인트 그룹에 포함되어 있는 임의의 2개 포인트를 선택하여, 상기 포인트 간 연결선이 이루는 직선의 기울기, 연결선과 연결선 사이의 각도 차이 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 포인트 그룹 생성 과정에서 과분할(over-segmentation)이 발생하는 경우, 상기 포인트 그룹의 회귀(regression)를 수행하는 회귀 보정 모듈을 더 포함할 수 있다.
이 때, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 회귀 보정 모듈이 상기 포인트 그룹 간 거리가 기 설정된 값 이하인 경우에만 회귀를 수행하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 회귀 보정 모듈이 수집된 포인트의 롤(roll), 피치(pitch), 요(yaw) 값을 추출하여, 회귀값(regression parameter)을 보정하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 회귀 보정 모듈이 회귀를 통해 예측한 값과, 그에 인접한 포인트 그룹에 포함된 포인트 값을 비교하여, 그 차이가 기 설정된 값 이하인 경우 두 포인트 그룹을 하나의 포인트 그룹으로 변환하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 물체 탐지 방법은, (a) 주변 환경에 대한 원시 데이터를 수집하는 단계, (b) 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 단계, (c) 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 단계, (d) 상기 포인트 그룹에서 물체 데이터를 추출하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 물체 탐지 시스템은, 주변 환경에 대한 원시 데이터를 수집하고, 물체 탐지 서버에 송신하는 센서 장치, 상기 원시 데이터를 수신하고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하며, 상기 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하고, 상기 포인트 그룹에서 물체 데이터를 추출하여 컨트롤러에 송신하는 물체 탐지 서버, 상기 물체 데이터를 수신하는 컨트롤러를 포함할 수 있다.
본 발명의 물체 탐지 장치, 방법 및 시스템은, 과속 방지턱, 오르막/내리막 등의 불규칙적인 경사로가 있는 도심 주행환경에서도 안정적으로 작동하고, 3D LIDAR로부터 제공되는 데이터의 수가 100,000개 이상으로 많은 경우에도 실시간으로 작동할 수 있다.
또한, 종래의 물체 탐지 장치가 수집한 데이터 중 지면 인식 방법을 먼저 수행함으로써 복잡하고 데이터 처리에 많은 시간이 걸리는 반면, 본 발명의 물체 탐지 장치는 기 설정된 기준에 따라서 물체 후보군 및 포인트 그룹을 생성하여 물체 데이터를 곧바로 추출하므로, 빠른 물체 탐지가 가능하게 된다.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, 물체의 종류에 관계 없이, 주행 환경에서 마주칠 수 있는 모든 장애물, 예컨대 자동차, 사람, 구조물, 표지판, 신호등, 가로등, 나무 등의 인식이 가능하여 안전한 ADAS 및 자율 주행 자동차의 구현에 기여할 수 있다.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, LIDAR의 본질적인 특징으로 인해 하나의 물체가 두 개 이상으로 쪼개져서 인식되는 문제를 해결함으로써 물체의 형태 정보를 기존의 방법들에 비해 정확히 얻을 수 있다.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, 물체 데이터를 추출하는 경우 격자 또는 영역을 지정한 후, 격자에 포함되는 다수의 데이터의 대표값을 추출하여 샘플링하므로, 모든 데이터를 추출하지 않더라도 빠른 연산과 계산이 가능하게 된다.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, 포인트 분할(segmentation) 수행시 과분할(over-segmentation)이 발생하게 되면, 해당 데이터에 회귀 연산(regression)을 수행함으로써 물체 탐지의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 물체 탐지 장치를 나타내는 구성도이다.
도 2a 및 도 2b는 본 발명의 물체 탐지 장치가 원시 데이터를 수집하는 예시도이다.
도 3은 본 발명의 물체 탐지 장치가 격자를 이용하는 예시도이다.
도 4a 및 도 4b는 본 발명의 물체 탐지 장치가 대표 포인트를 추출하는 예시도이다.
도 5a 및 도 5b는 본 발명의 물체 탐지 장치가 원시 데이터에서 물체 후보군 데이터를 생성하고, 포인트 그룹을 생성하는 예시도이다.
도 6 및 도 7은 본 발명의 물체 탐지 장치가 지면 접점 데이터를 추출하는 예시도이다.
도 8은 본 발명의 물체 탐지 장치가 포인트 그룹을 생성한 뒤 회귀 보정하는 예시도이다.
도 9는 본 발명의 물체 탐지 방법을 나타내는 순서도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '물체 탐지 장치, 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 통상의 기술자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
또한, '제1, 제2' 등과 같은 표현은, 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
실시예들의 설명에 있어서, 각 층(막), 영역, 패턴 또는 구조물들이 기판, 각 층(막), 영역, 패드 또는 패턴들의 “상/위(on)”에 또는 “하/아래(under)”에 형성된다는 기재는, 직접(directly) 또는 다른 층을 개재하여 형성되는 것을 모두 포함한다. 각 층의 상/위 또는 하/아래에 대한 기준은 도면을 기준으로 설명한다.
어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
도 1은 본 발명의 물체 탐지 장치를 나타내는 구성도이다.
도 1을 참조하면, 본 발명의 물체 탐지 장치(100)는 센서 모듈(110), 데이터 분류 모듈(120), 클러스터 모듈(130), 데이터 처리 모듈(140), 회귀 보정 모듈(150)을 포함할 수 있다.
센서 모듈(110)은 주변 환경에 대한 원시 데이터(raw data)를 수집할 수 있다. 이 때, 본 발명의 센서 모듈은 2D 또는 3D LIDAR 센서일 수 있으며, 센서 모듈이 설치된 주변 환경의 2D 데이터 또는 3D 데이터를 수신할 수 있다. 특히, 본 발명의 센서 모듈은 자율주행 자동차에 설치될 수 있으며, 자동차 주변의 물체 표면 또는 센서 모듈 주변의 물체 표면에서 반사되어 돌아온 데이터를 측정하여 입력할 수 있다.
또한, 본 발명의 센서 모듈은 3D LIDAR 데이터를 이용할 수 있다. 이 때, 3D LIDAR 데이터라면 3D 정보를 가지는 일련의 포인트들의 집합을 말하며, 3D 정보는 하나의 LIDAR에서 뿐만이 아니라 서로 다른 위치에 장착된 다수의 2D 또는 3D LIDAR로부터 수신된 센싱정보를 융합하여 생성한 3D 정보일 수 있다.
또한, 본 발명의 센서 모듈은 자동차의 천장 또는 전면/후면 등 자율주행 자동차의 물체 탐지에 적합한 위치로 형성될 수 있다. 도 2a 및 도 2b를 참조하면, 본 발명의 물체 탐지 장치(100)는 자동차에 설치되어, 물체 탐지 장치 및 센서 모듈의 일정한 거리 내에 존재하는 물체(210, 220, 230)를 감지하고 그에 대한 원시 데이터를 수신할 수 있다.
또한, 본 발명의 센서 모듈은 레이저 포인터 등으로 구현되어, 360도 회전하면서 전후좌우 사방에 레이저 포인터를 방출하여 반사된 신호를 수신하는 등으로 원시 데이터를 수집할 수 있다. 이 때, 센서 모듈은 회전하면서 원시 데이터를 수집하며, 1주기 또는 1프레임(frame)을 기준으로 원시 데이터를 수집하여 누적할 수 있다.
예를 들어, 센서 모듈이 수신하는 원시 데이터의 수를 NP라 할 때, 직교좌표계 상에서의 데이터 입력은 아래와 같이 표현될 수 있다.
P = {pi|pi=(x,y,z)i,i=0,1,…,NP-1}
데이터 분류 모듈(120)은 센서 모듈로부터 원시 데이터를 입력받고, 기 설정된 기준에 따라서 원시 데이터 중 물체 후보군 데이터를 생성할 수 있다. 이 때, 종래의 물체 탐지 장치와 달리, 본 발명의 물체 탐지 장치는 지면 인식 과정 없이 물체를 인식하도록 하므로, 빠른 연산 속도와 효율적인 처리 과정이 가능하게 된다.
또한, 본 발명의 데이터 분류 모듈(120)은 원시 데이터의 영역별 정보를 파악하기 위한 격자(grid) 구조를 생성할 수 있다. 이러한 격자는 센서 모듈(110) 또는 물체 탐지 장치(100)를 기준으로 하여 주변 구역을 일정한 또는 임의의 크기를 가지는 가상 구역으로 나뉘는 것을 의미한다. 예를 들어, 3차원 격자의 경우, 물체 탐지 장치를 기준(0, 0, 0)으로 가로, 세로, 높이 1m를 하나의 격자로 설정하고, 해당 격자 내부에 포함되는 원시 데이터를 수집할 수 있다.
또한, 본 발명의 데이터 분류 모듈(120)은 원시 데이터를 기 저장된 점유 격자(occupancy grid)에 투사하고, 원시 데이터 중 물체 후보군 데이터를 생성할 수 있다. 이 때, 점유 격자는 직교좌표계 또는 극좌표계 격자이고, 원시 데이터는 3D 데이터 포인트일 수 있다. 또한, 데이터 분류 모듈이 3D 데이터 포인트를 점유 격자의 좌표값에 할당할 수 있다.
이러한 격자 또는 점유 격자 내부에서 감지되는 원시 데이터들은, 물체의 형상 또는 크기에 따라서 많은 원시 데이터가 수집될 수도 있고, 원시 데이터가 수집되지 않을 수도 있다. 다만, 이 때 수집되는 원시 데이터는 별도의 순서나 형상을 알 수 없는 말 그대로의 원시(raw) 데이터이므로, 후술하는 바와 같이 그 가공에 있어 속도를 향상시키기 위한 방식을 사용할 수 있다.
도 3을 참조하면, 본 발명의 물체 탐지 장치(100)의 주변에서 격자(310, 320, 330)를 일정한 또는 임의의 크기를 가지도록 가상 구획한다. 이어, 물체 탐지 장치의 센서 모듈이 각각의 격자에 포함되어 있는 물체(210, 220, 230)에서 감지되는 다수의 원시 데이터들을 수집하게 된다. 수집된 원시 데이터들은 후술하는 바와 같이 일정한 기준에 따라서 물체 후보군 데이터로 생성된다.
데이터 분류 모듈(120)은 격자별로 포함하는 원시 데이터의 높이값 중 가장 낮은 값을 해당 격자의 지면 높이로 판단하여 저장하고, 상기 지면 높이보다 기 설정된 이상 높은 원시 데이터의 집합을 물체 후보군 데이터로 생성할 수 있다. 본 발명의 물체 탐지 장치의 경우, 종래와 달리 지면인지 아닌지를 별도로 확인하는 과정을 제외하므로, 격자별로 수집된 원시 데이터들 중 가장 낮은 값을 지면 높이로 임의 설정하고 기 설정된 높이(ex; 30cm) 이상에 위치하는 데이터들을 물체 후보군 데이터로 생성하도록 한다.
예를 들어, 물체 탐지 장치(100)가 설치된 자율 주행 자동차가 주행을 하는 경우, 지면에서 기 설정된 높이 이하(20cm)의 보도블록은 물체 후보군 데이터에 제외할 수 있다. 그러나, 기 설정된 높이 이상(1.2m)의 다른 자동차는 물체 후보군 데이터에 포함시킬 수 있다.
본 발명의 데이터 분류 모듈이 원시 데이터를 입력받아 물체 후보군 데이터를 생성하기까지에 대한 실시예를 설명하면 다음과 같다. 2D 점유 격자(occupancy grid)에 기반한 물체 후보군 데이터 생성은, 3D 데이터 입력의 영역별 정보를 파악하기 위해 2차원 격자구조를 생성할 수 있다. 이 때, 2차원 격자구조는 2차원 직교좌표계상의 격자구조일 수도 있고, 극좌표계상의 격자구조일 수도 있다. 또한, 3D LIDAR 센서 입력으로 들어온 3D 데이터 포인트들은, 생성된 2차원 격자에 해당 좌표값에 따라 할당된다.
각 격자에는 할당된 3D 데이터 포인트들이 갖는 높이값(직교좌표상에서의 z값)중 가장 낮은 값이 저장된다. 각 격자에서는 높이값보다 높은 z값을 갖는 모든 포인트들을 물체 후보군 데이터로 추출한다. 일례로, 총 NC개의 격자 중, j번째 격자에 저장된 가장 낮은 높이값을 hj라 하면, j번째 격자에 포함된 모든 포인트들 중, z값이 hj보다 큰 포인트들은 물체 후보군 데이터 C의 원소가 된다. 이를 수식으로 표현하면 아래와 같다.
C = {pi|pi>hj+t1, pi∈P, j=0,1,…,NC-1}
t1 은 물체로서 인식되기 위한 최소한의 높이를 결정하는 문턱값이다. 일례로, hj가 -2.2(m), t1이 0.3(m) 이라면, 해당 격자에 속하는 포인트들 중, z값이 -1.9보다 큰 모든 포인트들은 C에 포함된다. 또한, C에 포함된 포인트들은, 향후 개별 물체로 클러스터링 되는데, 이 때 클러스터링 속도 향상을 위해 2차원 또는 3차원의 격자구조가 이용되거나, 해당 격자구조들을 통해 생성된 셀들을 꼭짓점(node)으로 정의하고, 이를 변(edge)으로 연결하는 그래프(graph)등이 이용될 수 있다. 또한, 상기 그래프의 경우 격자구조 기반이 아닌 개별 포인트가 하나의 꼭짓점(node)이 되는 구조 또한 이용이 가능하다.
또한, 본 발명의 데이터 분류 모듈(120)은 원시 데이터를 포함하는 2차원 또는 3차원 격자 구조를 통해 생성된 2차원 격자 셀(grid cell) 또는 3차원 격자 복셀(grid voxel)을 생성할 수 있다. 이 때, 본 발명의 데이터 분류 모듈은, 격자 셀 또는 격자 복셀에 포함되는 원시 데이터의 평균(mean), 분산(variance), 표준편차 중 어느 하나를 연산하여 원시 데이터의 대표 원시 데이터를 산출하고, 각각의 대표 원시 데이터들을 연결하여 물체 후보군 데이터를 생성할 수 있다.
물체 후보군 데이터에 포함되는 포인트들을 빠르게 클러스터링할 수 있도록 2차원 또는 3차원 격자 구조를 생성할 수 있다. 격자 구조가 없이 원시 데이터를 수집하는 경우, 지나치게 넓은 범위에서 수집되는 원시 데이터의 정리에 대한 데이터 처리가 지연되지만, 일정한 격자를 설정하고 격자 내부에 포함되는 원시 데이터끼리 먼저 그룹핑한 후 처리하게 되면 보다 빠른 연산이 가능하게 된다.
앞서 설명한 바와 같이, 센서 모듈에 의해 수집된 원시 데이터들은 별도의 순서가 없기 때문에, 원시 데이터들이 서로 인접하고 있는지 또는 이격되어 있는지 등 물체 후보군 데이터를 생성할 때, 원시 데이터가 많아지면 많아질수록 순서를 정하는 데 기하급수적으로 처리속도가 늘어나게 된다.
도 4a 및 도 4b를 참조하면, 본 발명의 물체 탐지 장치가 포인트 그룹의 빠른 처리를 위하여, 격자(340, 350) 내부에 있는 다수의 원시 데이터를 모두 사용하지 않고, 대표 원시 데이터(341, 351)를 선정한 후 대표 원시 데이터들만을 추후 연산에 사용하도록 한다. 이를 통하여 샘플링 효과를 얻을 수 있으며, 기하급수적으로 늘어날 수 밖에 없는 원시 데이터들의 정리를 간편하게 해결할 수 있다.
이 때, 대표 원시 데이터를 설정하는 경우, 다수의 원시 데이터의 평균, 분산, 표준편차, 중간값, 최빈값 등 통계적으로 사용될 수 있는 대표값은 모두 적용될 수 있다.
도 5a 및 도 5b는 본 발명의 물체 탐지 장치가 생성한 원시 데이터에서 물체 후보군 데이터를 생성하고, 포인트 그룹을 생성하는 예시도이다.
클러스터 모듈(130)은 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성할 수 있다.
본 발명의 물체 탐지 장치가 원시 데이터에서 물체 후보군 데이터를 선정하는 경우, 여러 물체 후보군 데이터가 산출될 수 있다. 도 5a를 참조하면, 물체 탐지 장치(100)가 제1 물체(210) 및 제3 물체(230)에 대한 원시 데이터를 수집하고, 일정 기준에 따라서 그 기준에 충족하는 물체 후보군 데이터(211, 231)를 생성하게 된다.
이러한 물체 후보군 데이터는 물체로 추정되는 유력한 데이터일 뿐, 이 데이터가 정말로 물체인지를 확인하기 위해서는, 해당 물체의 형상을 확인하여야 한다. 따라서, 물체 후보군 데이터들(211, 231) 중 유사도를 기준으로 포인트 그룹(213, 214, 215, 233, 234)을 생성하여, 해당 물체를 보다 명확하게 확인할 수 있도록 한다.
이 때, 클러스터 모듈은 물체 후보군 데이터간 유클리드 거리, 반사율, 법선 벡터 중 어느 하나를 포함하는 유사도에 따라 적어도 하나의 포인트 그룹을 생성할 수 있다. 이는 물체 후보군 데이터에서, 동일한 물체 표면에서 나타날 수 있는 모든 유사도를 확인하기 위함으로, 물체 데이터의 정확한 추출에 필요하다.
또한, 물체 후보군 데이터의 밀도에 따라서, 상기 센서 모듈이 수집하는 원시 데이터의 탐색 범위를 조절할 수 있다. 유사도의 계산시, 계산에 이용되는 포인트의 수에 따라서 유사도 값이 달라질 수 있다. 특히, 특정 범위보다 더 가까운 포인트들을 이용하여 유사도를 계산하는 경우, 센서 오차의 영향이 커지는 문제점이 발생할 수 있으며, 포인트간 멀리 떨어져 있는 경우 계산에 필요할 정도로 충분한 데이터를 확보하지 못할 수 있다. 따라서, 계산에 필요한 포인트의 수를 확보하기 위하여 인근 포인트의 탐색 범위를 넓히거나 좁혀 유사도 판단에 사용할 수 있다.
데이터 처리 모듈(140)은 포인트 그룹에서 물체 데이터를 추출할 수 있다.
이 때, 데이터 처리 모듈은 물체 데이터의 정확한 추출을 위하여 상기 포인트 그룹을 지면 접점까지 확장할 수 있다. 또한, 데이터 처리 모듈은, 물체 후보군 데이터에 포함되지 않은 원시 데이터를 지면 데이터로 추출하고, 상기 지면 데이터 중 인근 포인트 그룹과 유사도가 높은 포인트들을 상기 포인트 그룹에 포함시킬 수 있다.
예를 들어, 데이터 분류 모듈이 물체 후보군 데이터를 생성하는 경우, 기 설정된 기준이 지면으로부터 일정 높이(ex; 30cm)이라면, 일정 높이 이하에 위치하는 원시 데이터들은 지면과 물체의 접점이 어디인지를 확인할 때 사용될 수 있다. 도 6을 살펴보면, 지면(200)에 일정 높이(240)를 기준으로, 높이에 미치지 못하는 원시 데이터(212)들의 포인트를 모두 산출하고, 해당 포인트의 여러 상태를 확인 후 접점(216)을 찾을 수 있다.
또한, 물체의 하단 경계를 찾을 때, 지면과의 접점을 파악하기 위하여 물체와 지면이 직교하는 영역을 찾아내어 클러스터링할 수 있다. 이 때, 상기 포인트 그룹에 포함되어 있는 포인트를 선택하여, 상기 포인트의 법선 벡터, 반사율, 기울기 중 어느 하나에 따라 지면 접점 데이터를 추출할 수도 있고, 상기 포인트 그룹에 포함되어 있는 임의의 2개 포인트를 선택하여, 상기 포인트 간 연결선이 이루는 직선의 기울기, 연결선과 연결선 사이의 각도 차이 중 어느 하나에 따라 지면 접점 데이터를 추출할 수 있다.
본 발명의 물체 탐지 장치가 포함하는 클러스터 모듈(130)이 수행하는 물체 탐지 방법의 구체적인 실시예를 설명하면 다음과 같다.
유사도 기반 인접 데이터 클러스터링 단계에서는 상기 물체 후보군 C에 포함되는 포인트들 중, 유사도가 높은 것들을 하나의 동일한 그룹으로 만들어주는 클러스터링을 수행한다. 이 때, 유사도는 동일한 물체 표면에서 관측될 수 있는 다양한 특징들이 이용될 수 있다. 일례로, 포인트간 유클리드 거리, 각 포인트의 반사율, 특정 포인트의 인접 포인트들을 이용하여 계산되는 surface normal 등이 이용될 수 있다.
이 때, 상기 유사도 계산시, 계산에 이용되는 포인트의 수에 따라 유사도 값이 달라지는 문제가 발생할 수 있다. 즉, 포인트간 간격이 멀어져 포인트의 밀도가 낮아지는 경우 surface normal 등의 값이 달라지거나 Euclidean distance가 멀어져 클러스터링이 중단되는 경우가 발생 가능하다. 본 발명에서는 상기의 경우 인근 포인트의 탐색 영역을 일정 범위 내에서 늘림으로써 계산에 요구되는 포인트의 수를 확보한다.
유사도 기반 인접 데이터 클러스터링의 결과로 생성된 포인트 그룹의 수가 NS개라면, 이들은 모두 센서 인근에 존재하는 물체라 가정할 수 있고, 이 집합을 O라 하면, 이는 아래와 같이 표현될 수 있다.
O={Ot|t=0,1,…,NS-1}
지면 접점 인식 단계에서는, 상기 유사도 기반 인접 데이터 클러스터링 단계의 결과로 생성된 물체들 Ot 의 하단 경계면을 찾는다. 상기 물체후보군 C의 원소들은 2D grid 상에서 가장 낮은 점보다 특정 높이(t1)만큼 높은 포인트들만 포함되었으므로, C에 속하지 않았던 포인트들 중, 물체에 포함되는 데이터들을 찾는 과정이 수행된다.
이는 Ot에 포함된 포인트들과, 그 인근 포인트들 중 C에 속하지 않았던 포인트들의 유사도 기반 클러스터링을 통해 수행되는데, 이 때에는 물체와 지면의 경계의 수직성이 이용된다. 도 7은 수직성의 일례로 물체상의 포인트와 C에 속하지 않은 인근 포인트가 형성하는 기울기를 이용하여 지면의 접점을 인식하는 예시 이미지이다.
t2 는 지면의 접점으로서 인식되기 위한 기울기를 결정하는 문턱값이다. 이 때, 물체와 지면의 경계가 이루는 수직성은 기울기뿐만이 아니라 해당 포인트들이 형성하는 각도 등, 수직성을 표현할 수 있는 다른 정보 역시 이용될 수 있다.
도 8은 본 발명의 물체 탐지 장치가 포인트 그룹을 생성한 뒤 회귀 보정하는 예시도이다.
본 발명의 물체 탐지 장치의 경우, 포인트 그룹 생성 과정에서 과분할(over-segmentation) 현상이 발생할 수 있다. 이 때, 물체 탐지 장치에 포함되는 회귀 보정 모듈(150)은 포인트 그룹의 회귀(regression)를 수행하여, 회귀 보정으로 정확도를 향상시킬 수 있다. 회귀에는 일차, 이차 방정식 등의 선형 모델과 가우시안 프로세스(Gaussian Process) 등의 비선형 모델을 모두 이용할 수 있다.
이 때, 본 발명의 회귀 보정 모듈은, 포인트 그룹 간 거리가 기 설정된 값 이하의 경우에만 회귀를 수행할 수 있다. 특히, 포인트 그룹 간 가장 가까운 유클리드 거리가 특정 문턱값 이하인 포인트 그룹간에만 회귀를 수행하여, 과분할이 아닌 명백히 서로 다른 물체에 대한 불필요한 연산을 줄이도록 할 수 있다.
또한, 본 발명의 회귀 보정 모듈은, 상기 회귀 보정 모듈이 회귀를 통해 예측한 값과, 그에 인접한 포인트 그룹에 포함된 포인트의 값을 비교하여, 그 차이가 기 설정된 값 이하인 경우 두 포인트 그룹을 하나의 포인트 그룹으로 변환할 수 있다.
또한, 본 발명의 회귀 보정 모듈은, 도로의 경사 등으로 인하여 센서 모듈로부터 들어오는 입력 데이터의 왜곡으로 인해 발생하는 성능 저하를 개선하기 위하여, 수집된 포인트의 롤(roll), 피치(pitch), 요(yaw) 값을 추출하여, 회귀값(regression parameter)을 보정할 수 있으며, 회귀 성능을 개선할 수 있다.
차량의 움직임으로 인해 센서 데이터가 왜곡되는 경우, 정상적인 데이터를 이용하여 회귀값을 설정한 경우 최적의 성능으로 수행되지 않을 수도 있으므로, 이를 방지하기 위해 본 발명에서는 roll, pitch, yaw 값을 이용하여 regression parameter를 보정함으로써 성능을 개선시킨다. 이는 센서 데이터에 포함된 도로의 상태 등을 파악하고 그 상태값(parameter)을 보정하는 것으로, 경사가 있는 경우 회귀가 제대로 되지 않을 수 있는 상황을 보정하여 준다.
본 발명의 물체 탐지 장치가 포함하는 회귀 보정 모듈(150)이 수행하는 물체 탐지 방법의 구체적인 실시예를 설명하면 다음과 같다.
3D LIDAR는 레이저를 사용하는 본질적 특징으로 인해 특정 물체 표면에서 데이터가 누락되는 경우가 발생하는데, 이는 3D LIDAR의 레이저 측정값간 간격이 불규칙적으로 변화하는 현상을 일으켜 유사도 기반으로 클러스터링 시 하나의 물체가 두 개 이상으로 나뉘어지는 문제를 유발한다.
따라서, 물체 탐지 장치의 분할(Segmentation) 결과로 발생할 수 있는 과분할(over-segmentation) 문제의 경우, 단일 프레임 내에서의 회귀(regression)를 통해 개선하여, 정확도를 향상할 수 있다. 이 때, 물체 인식 결과들 중, 하나의 물체가 두 개 이상으로 쪼개져 있는 부분을 찾아 하나로 합쳐주게 된다.
본 발명에서 회귀 연산(regression)을 통해 정확도를 향상하는 방법은, 인접한 두 물체간 표면 정보가 서로의 표면 정보를 갖고 예측될 수 있다면 두 물체가 동일한 하나의 물체라고 판단하는 방식이다. 도 8을 참조하면, 본 발명의 물체 탐지 장치의 센서 모듈이 측정한 측정값들이 선형 관계에 있다고 가정하는 선형 회귀(linear regression)를 적용한 일례이다. 하나의 자동차를 측정한 포인트들이 두 개의 그룹 A, B로 나뉘어 있는데, 그룹 A에 속하는 포인트들로 생성한 직선의 연장선이 그룹 B에 속하는 포인트들과 이루는 오차의 차이가 작은 경우, 두 물체를 하나로 묶는 방식이다.
회귀(regression) 수행시, 이용되는 포인트들의 수가 많아질수록 계산량이 늘어나 처리 속도가 느려질 수 있다. 이를 방지 하기 위해, 두 그룹에 속한 포인트들 중, 거리가 가까운 포인트들만을 선별하여 계산에 이용할 수 있다. 이 때, 오차는 평균 제곱근 오차 (Root Mean Square Error) 혹은 평균 제곱 오차(Mean Square Error)로 계산되는데, 해당 오차가 특정 문턱값 t3보다 작은 경우, 두 물체는 하나로 합해진다. 일례로 RMSE의 경우, 수식은 아래와 같이 정리될 수 있다.
Figure pat00001
상기 n은 regression에 의해 예측된 값들의 개수이다.
도 8에서는 선형 회귀가 일례로 제시되어 있으나, 이는 특정 회귀 모델의 제한을 의미하는 것은 아니며, 본 발명은 기타 quadratic, cubic 등 선형 모델 뿐 아니라 Gaussian process 등 비선형 모델 또한 역시 적용이 가능하다.
도 9는 본 발명의 물체 탐지 방법을 나타내는 순서도이다.
도 9를 참조하면, 본 발명의 물체 탐지 방법은 (a) 주변 환경에 대한 원시 데이터를 수집하는 단계, (b) 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 단계, (c) 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 단계, (d) 상기 포인트 그룹에서 물체 데이터를 추출하는 단계를 포함할 수 있다.
이 때, 본 발명의 물체 탐지 방법은 앞서 도 1 내지 도 8에서 설명한 상세한 부가 내용들을 적용하여, 물체 탐지 방법을 수행할 수 있다.
한편, 본 발명의 물체 탐지 시스템은 주변 환경에 대한 원시 데이터를 수집하고, 물체 탐지 서버에 송신하는 센서 장치, 상기 원시 데이터를 수신하고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하며, 상기 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하고, 상기 포인트 그룹에서 물체 데이터를 추출하여 컨트롤러에 송신하는 물체 탐지 서버, 상기 물체 데이터를 수신하는 컨트롤러를 포함할 수 있다.
상술한 본 발명의 물체 탐지 장치의 경우, 자율주행 자동차 등에 설치되어 해당 물체 탐지 장치가 자체적으로 그 연산을 수행하지만, 센서 장치와 별도로 원거리에 위치하여 독립적인 하드웨어로 구현되는 물체 탐지 서버로 원시 데이터를 송신하여 서버에서 해당 연산을 처리하고, 자동차 등에 설치된 컨트롤러로 다시 물체 데이터를 송신하여 자동차를 제어할 수도 있다.
본 발명은 기본적으로 차량 환경에서의 물체 인식을 염두에 두고 고안되었으나, 상기 기술한 LIDAR를 이용하여, 움직이는 모든 물체를 포함한, 충돌 가능성이 있는 물체의 인식이 필요한 모든 기술분야에 활용이 가능하다. 일례로 공장의 무인 전동지게차가 사전에 정의된 구간을 자동주행하며 물건을 나르는 경우, 주변의 다른 로봇이나 보행자들을 피해 움직여야 할 경우 본 발명이 적용될 수 있다. 또한 LIDAR를 특정 위치에 고정시켜두고 사용하는 경우, 백화점 입구, 고속도로의 톨게이트 등을 통행하는 보행자 및 차량의 수를 세는 데에도 이용될 수 있다.
위에서 설명된 본 발명의 실시 예들은 예시의 목적을 위해 개시된 것이며, 이들에 의하여 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 대한 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 사상과 범위 안에서 다양한 수정 및 변경을 가할 수 있을 것이며, 이러한 수정 및 변경은 본 발명의 범위에 속하는 것으로 보아야 할 것이다.
100 : 물체 탐지 장치
110 : 센서 모듈
120 : 데이터 분류 모듈
130 : 클러스터 모듈
140 : 데이터 처리 모듈
150 : 회귀 보정 모듈
200 : 지면
210, 220, 230 : 물체
211, 212, 231, 232 : 원시 데이터
211, 231 : 물체 후보군 데이터
213, 214, 215, 233, 234 : 포인트 그룹
216, 221 : 지면 접점 데이터
222 : 포인트 그룹
223 : 물체 후보군 데이터에 포함되지 않는 원시 데이터
241, 241 : 포인트 그룹
240 : 기 설정된 기준(높이)
310, 320, 330, 340, 350, 360, 370, 380 : 격자
341, 351, 361, 371, 381 : 대표 포인트

Claims (21)

  1. 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈;
    상기 센서 모듈로부터 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈;
    상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈;
    상기 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈;
    을 포함하는 물체 탐지 장치.
  2. 제 1항에 있어서,
    상기 센서 모듈은,
    2D 또는 3D LIDAR(LIght Detection And Ranging) 센서인 것을 특징으로 하는 물체 탐지 장치.
  3. 제 1항에 있어서,
    상기 센서 모듈은, 1주기 또는 1프레임을 기준으로 원시 데이터를 수집하여 누적하는 것을 특징으로 하는 물체 탐지 장치.
  4. 제 1항에 있어서,
    상기 데이터 분류 모듈은,
    상기 원시 데이터의 영역별 정보를 파악하기 위한 격자(grid) 구조를 생성하는 것을 특징으로 하는 물체 탐지 장치.
  5. 제 4항에 있어서,
    상기 데이터 분류 모듈은,
    상기 원시 데이터를 기 저장된 점유 격자(occupancy grid)에 투사하고, 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 것을 특징으로 하는 물체 탐지 장치.
  6. 제 5항에 있어서,
    상기 점유 격자는 직교좌표계 또는 극좌표계 격자이고,
    상기 원시 데이터는 3D 데이터 포인트이며,
    상기 데이터 분류 모듈이 상기 3D 데이터 포인트를 상기 점유 격자의 좌표값에 할당하는 것을 특징으로 하는 물체 탐지 장치.
  7. 제 4항에 있어서,
    상기 데이터 분류 모듈은,
    격자별로 포함하는 원시 데이터의 높이값 중 가장 낮은 값을 해당 격자의 지면 높이로 판단하여 저장하고, 상기 지면 높이보다 기 설정된 이상 높은 원시 데이터의 집합을 물체 후보군 데이터로 생성하는 것을 특징으로 하는 물체 탐지 장치.
  8. 제 1항에 있어서,
    상기 데이터 분류 모듈은,
    원시 데이터를 포함하는 2차원 또는 3차원 격자 구조를 통해 2차원 격자 셀(grid cell) 또는 3차원 격자 복셀(grid voxel)을 생성하는 것을 특징으로 하는 물체 탐지 장치.
  9. 제 8항에 있어서,
    상기 데이터 분류 모듈은,
    상기 격자 셀 또는 상기 격자 복셀에 포함되는 원시 데이터의 평균(mean), 분산(variance), 표준편차 중 어느 하나를 연산하여 원시 데이터의 대표 원시 데이터를 산출하고, 각각의 대표 원시 데이터들을 꼭짓점(node)으로 선정하여, 이를 변(edge)로 연결하는 그래프(graph)를 생성하는 것을 특징으로 하는 물체 탐지 장치.
  10. 제 1항에 있어서,
    상기 클러스터 모듈은,
    상기 물체 후보군 데이터간 유클리드 거리, 반사율, 법선 벡터 중 어느 하나를 포함하는 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 것을 특징으로 하는 물체 탐지 장치.
  11. 제 1항에 있어서,
    상기 물체 후보군 데이터의 밀도에 따라서, 상기 센서 모듈이 수집하는 원시 데이터의 탐색 범위를 조절하는 것을 특징으로 하는 물체 탐지 장치.
  12. 제 1항에 있어서,
    상기 데이터 처리 모듈은,
    상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 하는 물체 탐지 장치.
  13. 제 12항에 있어서,
    상기 데이터 처리 모듈은,
    물체 후보군 데이터에 포함되지 않은 원시 데이터를 지면 데이터로 추출하고, 상기 지면 데이터 중 인근 포인트 그룹과 유사도가 높은 포인트들을 상기 포인트 그룹에 포함시키는 것을 특징으로 하는 물체 탐지 장치.
  14. 제 13항에 있어서,
    상기 데이터 처리 모듈은,
    상기 포인트 그룹에 포함되어 있는 포인트를 선택하여, 상기 포인트의 법선 벡터, 반사율, 기울기 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점 데이터까지 확장하는 것을 특징으로 하는 물체 탐지 장치.
  15. 제 13항에 있어서,
    상기 데이터 처리 모듈은,
    상기 포인트 그룹에 포함되어 있는 임의의 2개 포인트를 선택하여, 상기 포인트 간 연결선이 이루는 직선의 기울기, 연결선과 연결선 사이의 각도 차이 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 하는 물체 탐지 장치.
  16. 제 1항에 있어서,
    포인트 그룹 생성 과정에서 과분할(over-segmentation)이 발생하는 경우, 상기 포인트 그룹의 회귀(regression)를 수행하는 회귀 보정 모듈;
    을 더 포함하는 물체 탐지 장치.
  17. 제 16항에 있어서,
    상기 회귀 보정 모듈은,
    상기 포인트 그룹 간 거리가 기 설정된 값 이하인 경우에만 회귀를 수행하는 것을 특징으로 하는 물체 탐지 장치.
  18. 제 16항에 있어서,
    상기 회귀 보정 모듈은,
    수집된 포인트의 롤(roll), 피치(pitch), 요(yaw) 값을 추출하여, 회귀값(regression parameter)을 보정하는 것을 특징으로 하는 물체 탐지 장치.
  19. 제 16항에 있어서,
    상기 회귀 보정 모듈은,
    회귀를 통해 예측한 값과, 그에 인접한 포인트 그룹에 포함된 포인트 값을 비교하여, 그 차이가 기 설정된 값 이하인 경우 두 포인트 그룹을 하나의 포인트 그룹으로 변환하는 것을 특징으로 하는 물체 탐지 장치.
  20. (a) 주변 환경에 대한 원시 데이터를 수집하는 단계;
    (b) 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 단계;
    (c) 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 단계;
    (d) 상기 포인트 그룹에서 물체 데이터를 추출하는 단계;
    를 포함하는 물체 탐지 방법.
  21. 주변 환경에 대한 원시 데이터를 수집하고, 물체 탐지 서버에 송신하는 센서 장치;
    상기 원시 데이터를 수신하고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하며, 상기 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하고, 상기 포인트 그룹에서 물체 데이터를 추출하여 컨트롤러에 송신하는 물체 탐지 서버;
    상기 물체 데이터를 수신하는 컨트롤러;
    를 포함하는 물체 탐지 시스템.
KR1020160057185A 2016-05-10 2016-05-10 물체 탐지 장치 및 방법 KR101822373B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160057185A KR101822373B1 (ko) 2016-05-10 2016-05-10 물체 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160057185A KR101822373B1 (ko) 2016-05-10 2016-05-10 물체 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170126740A true KR20170126740A (ko) 2017-11-20
KR101822373B1 KR101822373B1 (ko) 2018-03-08

Family

ID=60809445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057185A KR101822373B1 (ko) 2016-05-10 2016-05-10 물체 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101822373B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019143174A1 (ko) * 2018-01-20 2019-07-25 삼성전자 주식회사 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
WO2019216469A1 (ko) * 2018-05-11 2019-11-14 서울대학교 산학협력단 자동차 레이더 시스템에서 탐지된 타겟들의 클러스터링 방법 및 이를 위한 장치
KR20200016130A (ko) * 2018-08-06 2020-02-14 국방과학연구소 3차원 라이다를 활용한 물체 인식 방법
KR20200126141A (ko) * 2019-04-29 2020-11-06 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
JP2021509710A (ja) * 2017-12-18 2021-04-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 地形予測方法、設備、システム及び無人機
WO2021206282A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102664699B1 (ko) * 2023-07-21 2024-05-10 주식회사 모빌테크 항공 라이다를 이용한 건물 모델링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615196B1 (ko) 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
KR20240002503A (ko) 2022-06-29 2024-01-05 인하대학교 산학협력단 부대 환경의 유사율을 반영한 경계 시스템의 연합학습 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG195031A1 (en) * 2011-05-16 2013-12-30 Ergon Energy Corp Ltd Method and system for processing image data
JP2014109537A (ja) * 2012-12-04 2014-06-12 Mitsubishi Electric Corp レーザーレーダー装置
KR101404655B1 (ko) * 2014-04-18 2014-06-09 국방과학연구소 레이저 레이더의 3차원 원시 데이터의 고유값 비율을 이용한 송전선 추출 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021509710A (ja) * 2017-12-18 2021-04-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 地形予測方法、設備、システム及び無人機
WO2019143174A1 (ko) * 2018-01-20 2019-07-25 삼성전자 주식회사 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
US11317074B2 (en) 2018-01-20 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for processing data for three-dimensional image
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
WO2019216469A1 (ko) * 2018-05-11 2019-11-14 서울대학교 산학협력단 자동차 레이더 시스템에서 탐지된 타겟들의 클러스터링 방법 및 이를 위한 장치
KR20200016130A (ko) * 2018-08-06 2020-02-14 국방과학연구소 3차원 라이다를 활용한 물체 인식 방법
KR20200126141A (ko) * 2019-04-29 2020-11-06 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
WO2021206282A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115428442A (zh) * 2020-04-11 2022-12-02 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN115428442B (zh) * 2020-04-11 2024-04-16 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR102664699B1 (ko) * 2023-07-21 2024-05-10 주식회사 모빌테크 항공 라이다를 이용한 건물 모델링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR101822373B1 (ko) 2018-03-08

Similar Documents

Publication Publication Date Title
KR101822373B1 (ko) 물체 탐지 장치 및 방법
CN109829386B (zh) 基于多源信息融合的智能车辆可通行区域检测方法
US11885910B2 (en) Hybrid-view LIDAR-based object detection
US10209081B2 (en) System and method for precision localization and mapping
US11790668B2 (en) Automated road edge boundary detection
US20190147320A1 (en) "Matching Adversarial Networks"
JP6664470B2 (ja) 高精度地図データの処理方法、装置、記憶媒体及び機器
US20190310651A1 (en) Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
US8818702B2 (en) System and method for tracking objects
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US20190094858A1 (en) Parking Location Prediction
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
CN115049700A (zh) 一种目标检测方法及装置
RU2744012C1 (ru) Способы и системы для автоматизированного определения присутствия объектов
Börcs et al. Fast 3-D urban object detection on streaming point clouds
Kellner et al. Road curb detection based on different elevation mapping techniques
CN116830164A (zh) LiDAR去相关对象检测系统与方法
Ma et al. A convolutional neural network method to improve efficiency and visualization in modeling driver’s visual field on roads using MLS data
Kellner et al. Multi-cue, model-based detection and mapping of road curb features using stereo vision
Schlichting et al. Vehicle localization by lidar point correlation improved by change detection
CN116311127A (zh) 一种道路边界检测方法、计算机设备、可读存储介质及机动车
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
Bălănescu et al. Intersection detection based on mono-camera sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant