KR102444672B1 - 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치 - Google Patents

라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치 Download PDF

Info

Publication number
KR102444672B1
KR102444672B1 KR1020210114234A KR20210114234A KR102444672B1 KR 102444672 B1 KR102444672 B1 KR 102444672B1 KR 1020210114234 A KR1020210114234 A KR 1020210114234A KR 20210114234 A KR20210114234 A KR 20210114234A KR 102444672 B1 KR102444672 B1 KR 102444672B1
Authority
KR
South Korea
Prior art keywords
cell
cells
dynamic map
change
occupancy frequency
Prior art date
Application number
KR1020210114234A
Other languages
English (en)
Inventor
김재광
이승용
Original Assignee
(주)뷰런테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뷰런테크놀로지 filed Critical (주)뷰런테크놀로지
Priority to KR1020210114234A priority Critical patent/KR102444672B1/ko
Priority to US17/462,336 priority patent/US20230060270A1/en
Application granted granted Critical
Publication of KR102444672B1 publication Critical patent/KR102444672B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G06K9/6217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 일 실시예에 따른 동적 맵 생성 장치에 의해 수행되는 동적 맵을 생성하는 방법은, 라이다 센서로부터 획득한 포인트 데이터를, 복셀(voxel)에 포함된 복수의 셀들에 배치하는 단계; 상기 복수의 셀들 각각의 속성 및 상태에 따라, 상기 복수의 셀들 각각의 점유 빈도수 변화를 계산하는 단계; 및 상기 복수의 셀들 중에서, 상기 점유 빈도수 변화를 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성하는 단계를 포함할 수 있다.

Description

라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치 {METHOD OF GENERATING DYNAMIC MAP USING LIDAR SENSOR AND DETERMINING OBJECT USING GENERATED DYNAMIC MAP, AND APPARATUS PERFORMING METHOD}
본 발명은 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 검출하는 방법 및 상기 방법을 수행하는 장치에 관한 것이다.
<기반시설(infrastructure)에 라이다 센서를 장착하여 사용하는 산업>
최근 라이다 센서의 활용도가 높아지면서, 다양한 산업 환경에 라이다 센서를 적용하는 방안이 검토되고 있다.
자율주행 산업의 성장으로 라이다 센서 시장도 성장하며, 자율주행에 있어 꼭 필요한 센서로 주목받았던 라이다 센서가 위치 정확도가 높고 조도 변화에 둔감하다는 등의 장점을 바탕으로 다양한 산업에서도 그 가치를 인정받고 있다.
적용 분야에 따라, 라이다 센서를 이동체에 장착하는 분야와 라이다 센서를 기반시설(infrastructure)에 장착하는 분야로 나뉠 수 있다.
라이다 센서를 이동체에 장착하는 분야에서 라이다 센서는 자율주행, 로봇, 무인 선박 등 이동체 주변의 장애물을 검출하고 자율 운행하기 위한 경로를 생성하는 역할을 수행한다.
반면, 라이다 센서를 기반시설에 장착하는 분야에서 라이다 센서는 소정의 위치에 고정된 채로, 정해진 지역의 침입자를 감지하거나, 이동 물체를 검출하거나, 특정 공간 및 상대 이동체의 크기를 측정하는 등의 역할을 수행한다.
<라이다를 이용한 기존 맵 생성 및 보안 시스템의 문제점>
종래에는 라이다 센서를 이용하여 맵을 생성하는 다양한 기술들이 연구되었다. 다만, 해당 기술들은 대부분 다수의 포인트 처리에 취약하여, 맵 생성에 오랜 시간이 걸리거나, 실시간으로 맵을 업데이트하기 어렵다는 단점이 있다.
또한, 종래의 라이다 센서를 이용한 보안 시스템에서는 주로 사람을 검출하는 것에 초점이 맞추어져 있다. 이를 위해, 딥러닝 기술을 활용하여 학습된 사람의 특징을 검출하는 것이 일반적이나, 이런 기술만으로는 다양한 형태의 객체들을 검출하는데 어려움이 있다.
본 발명이 해결하고자 하는 과제는, 전술한 문제점을 해결하기 위하여, 라이다 센서를 이용하여 동적 맵을 생성하고, 생성한 동적 맵을 이용하여 객체를 판단하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 동적 맵 생성 장치에 의해 수행되는 동적 맵을 생성하는 방법은, 라이다 센서로부터 획득한 포인트 데이터를, 복셀(voxel)에 포함된 복수의 셀들에 배치하는 단계; 상기 복수의 셀들 각각의 속성 및 상태에 따라, 상기 복수의 셀들 각각의 점유 빈도수 변화를 계산하는 단계; 및 상기 복수의 셀들 중에서, 상기 점유 빈도수 변화를 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성하는 단계를 포함할 수 있다.
상기 속성은 일반 셀과, 상기 배경 셀이 될 가능성이 상기 일반 셀보다 높은 지원 셀을 포함하고, 상기 복수의 셀들 각각의 점유 빈도수 변화를 계산하는 단계는, 상기 복수의 셀들 중에서 기 설정된 조건들 중에서 적어도 하나를 만족하는 셀의 속성을 상기 지원 셀로 설정하는 단계를 포함할 수 있다.
상기 기 설정된 조건들은, 상기 복수의 셀들 각각의 인접 셀들이 모두 상기 배경 셀로 결정되는지 여부, 및 상기 복수의 셀들 각각은 점유 셀이고, 상기 복수의 셀들 각각과 로 성분의 값과 세타 성분의 값이 동일한 다른 셀들은 비점유 셀인지 여부를 포함할 수 있다.
상기 지원 셀은 상기 일반 셀에 비해 상기 점유 빈도수 변화의 정도가 클 수 있다.
상기 상태는 상기 점유 빈도수 변화가 없는 가려진 셀과, 상기 점유 빈도수 변화가 있는 가려지지 않은 셀을 포함하고, 상기 복수의 셀들 각각의 점유 빈도수 변화를 계산하는 단계는, 상기 복수의 셀들 중에서 점유 셀이 존재하는 경우, 상기 점유 셀과 세타 성분의 값 및 파이 성분의 값이 동일하면서, 상기 점유 셀보다 로 성분의 값이 큰 셀을 상기 가려진 셀로 판단하는 단계를 포함할 수 있다.
상기 방법은, 상기 복수의 셀들 중에서 움직이는 객체에 대응되는 전경 셀들을 적어도 하나의 군집으로 군집화하는 단계; 기 학습된 객체 판단 신경망을 이용하여, 상기 적어도 하나의 군집 각각이 나타내는 적어도 하나의 전경 객체가, 상기 동적 맵 생성 장치가 검출하고자 하는 목표 객체에 해당하는지 여부를 판단하는 단계; 및 상기 적어도 하나의 전경 객체 중에서 상기 목표 객체에 해당하는 전경 객체를 상기 동적 맵에 표시하는 단계를 더 포함할 수 있다.
상기 객체 판단 신경망은, 학습용 전경 객체의 특징 값들과 함께, 상기 학습용 전경 객체의 특징 값들에 대한 레이블 데이터로서, 상기 학습용 전경 객체의 특징 값들이 나타내는 정답 객체를 입력 받으면, 상기 학습용 전경 객체를 분류한 결과를 출력하도록 기 학습된 것일 수 있다.
본 발명의 다른 실시예에 따른 동적 맵을 생성하는 동적 맵 생성 장치는, 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및 상기 송수신기를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 포인트 데이터를, 복셀에 포함된 복수의 셀들에 배치하고, 상기 복수의 셀들 각각의 속성 및 상태에 따라, 상기 복수의 셀들 각각의 점유 빈도수 변화를 계산하고, 상기 복수의 셀들 중에서, 상기 점유 빈도수 변화를 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성할 수 있다.
본 발명의 또 다른 실시예에 따른 동적 맵 생성 시스템은, 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및 상기 포인트 데이터를, 복셀에 포함된 복수의 셀들에 배치하고, 상기 복수의 셀들 각각의 속성 및 상태에 따라, 상기 복수의 셀들 각각의 점유 빈도수 변화를 계산하고, 상기 복수의 셀들 중에서, 상기 점유 빈도수 변화를 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성하는 동적 맵 생성 장치를 포함할 수 있다.
본 발명의 실시예에 의하면, 복셀을 복수의 셀로 분할하여 동적 맵을 생성함으로써, 라이다 센서를 이용하여 획득한 복수의 포인트들을 효율적이고 빠르게 처리할 수 있다.
또한, 본 발명의 실시예에 의하면, 복셀을 복수의 셀로 분할하여 동적 맵을 생성함으로써, 실시간으로 동적 맵을 생성하고 업데이트할 수 있다.
도 1은 본 발명의 실시예에 따른 동적 맵 생성 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 동적 맵 생성 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 3은 로 성분, 세타 성분 및 파이 성분으로 표현된 복셀을 나타낸다.
도 4는 본 발명의 실시예에 따른 셀 가려짐 판단부가 가려진 셀을 판단하는 방법의 일 예시를 나타낸다.
도 5는 본 발명의 실시예에 따른 동적 맵의 일 예시이다.
도 6은 본 발명의 실시예에 따른 셀 종류 판단부에서 셀의 종류를 결정하는데 이용되는 프레임 별 점유 빈도수 그래프의 일 예시이다.
도 7은 본 발명의 실시예에 따른 동적 맵 생성부가 배경 셀을 이용하여 동적 맵을 생성한 결과를 나타내는 일 예시이다.
도 8은 본 발명의 실시예에 따른 군집화 수행부에서 전경 셀들을 군집화한 결과의 일 예시를 나타낸다.
도 9는 본 발명의 실시예에 따른 객체 판단부에서 적어도 하나의 전격 객체를 분류한 결과의 일 예시를 나타낸다.
도 10은 본 발명의 실시예에 따라 동적 맵을 생성하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 동적 맵 생성 시스템을 나타내는 블록도이다.
도 1을 참조하면, 동적 맵 생성 시스템(10)은 라이다 센서(20) 및 동적 맵 생성 장치(100)를 포함할 수 있다.
본 명세서에서는, 설명의 편의상, 동적 맵 생성 시스템(10)이 자율주행차량(이하 간략하게, 차량)에 탑재되는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 동적 맵 생성 시스템(10)은 자율주행차량 뿐만 아니라 드론 등의 무인 이동체에도 탑재될 수 있으며, 자율주행체나 무인 이동체가 아닌 다른 이동 가능한 이동체(자동차, 오토바이, 비행체 등)에도 탑재될 수 있다.
뿐만 아니라, 본 명세서에서 라이다 센서(20)는 동적 맵 생성 장치(100)와 구분되는 별개의 장치로서, 동적 맵 생성 장치(100)로 포인트 데이터를 전송하는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 라이다 센서(20)는 동적 맵 생성 장치(100)에 포함될 수 있으며, 이와 같은 경우, 라이다 센서(20)는 내부 시그널링 등을 통해 후술할 복셀 생성부(210)로 포인트 데이터를 전송할 수 있다.
라이다 센서(20)는 소정의 방향(예컨대, 동적 맵 생성 장치(100)의 이동 방향(전방) 뿐만 아니라, 측방, 후방을 포함하는 360도 방향으로 레이저를 방사하고, 방사된 레이저가 주위의 지형지물 등에 의해 반사된 포인트 데이터를 수신할 수 있다. 이때, 라이다 센서(20)가 방사하여 수신한 포인트 데이터는 하나 이상의 포인트를 포함할 수 있다.
동적 맵 생성 장치(100)는 라이다 센서(20)로부터 포인트 데이터를 수신하고, 수신한 포인트 데이터를 이용하여 동적 맵 생성 장치(100)(또는 동적 맵 생성 장치(100)가 탑재된 차량)의 주변에 대한 동적 맵을 생성하고, 생성한 동적 맵에 검출한 목표 객체를 표시할 수 있다.
보다 자세하게는, 동적 맵 생성 장치(100)는 복수의 셀들로 구분된 복셀(voxel)을 생성하고, 수신한 포인트 데이터에 포함된 복수의 포인트들을 상기 복수의 셀들 각각에 배치하고, 상기 복수의 셀들 각각에 대한 점유 빈도수를 계산하여 상기 복수의 셀들 각각이 전경 셀인지 또는 배경 셀이지 여부를 결정하고, 결정에 따라 동적 맵을 생성하고, 전경 셀들을 군집화하여 주변의 목표 객체를 검출하고, 검출한 목표 객체를 동적 맵에 표시할 수 있다.
이를 위해, 동적 맵 생성 장치(100)는 프로세서(100), 송수신기(110) 및 메모리(130)를 포함할 수 있다.
프로세서(110)는 동적 맵 생성 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는, 송수신기(120)를 이용하여, 라이다 센서(20)로부터 포인트 데이터를 수신할 수 있다.
본 명세서에서는, 동적 맵 생성 장치(100)는 송수신기(120)를 이용하여 포인트 데이터를 수신하는 것으로 설명하였지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 동적 맵 생성 장치(100)는 입출력기(미도시)를 포함하고, 입출력기(미도시)를 이용하여 포인트 데이터를 수신할 수 있다. 또한, 라이다 센서(20)가 동적 맵 생성 장치(100)에 포함되는 경우, 포인트 데이터는 동적 맵 생성 장치(100) 내에서 생성할 수도 있다.
메모리(130)는 동적 맵 생성 프로그램(200) 및 동적 맵 생성 프로그램(200)의 실행에 필요한 정보를 저장할 수 있다.
본 명세서에서 동적 맵 생성 프로그램(200)은 복수의 셀들로 구분된 복셀을 생성하고, 수신한 포인트 데이터에 포함된 복수의 포인트들을 상기 복수의 셀들 각각에 배치하고, 상기 복수의 셀들 각각에 대한 점유 빈도수를 계산하여 상기 복수의 셀들 각각이 전경 셀인지 또는 배경 셀이지 여부를 결정하고, 결정에 따라 동적 맵을 생성하고, 상기 전경 셀들을 군집화하여 주변의 목표 객체를 검출하고, 검출한 목표 객체를 상기 동적 맵에 표시하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.
프로세서(110)는 동적 맵 생성 프로그램(200)을 실행하기 위하여 메모리(130)에서 동적 맵 생성 프로그램(200) 및 동적 맵 생성 프로그램(200)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(110)는, 동적 맵 생성 프로그램(200)을 실행하여, 복수의 셀들로 구분된 복셀을 생성하고, 수신한 포인트 데이터에 포함된 복수의 포인트들을 상기 복수의 셀들 각각에 배치하고, 상기 복수의 셀들 각각에 대한 점유 빈도수를 계산하여 상기 복수의 셀들 각각이 전경 셀인지 또는 배경 셀이지 여부를 결정하고, 결정에 따라 동적 맵을 생성하고, 상기 전경 셀들을 군집화하여 주변의 목표 객체를 검출하고, 검출한 목표 객체를 상기 동적 맵에 표시할 수 있다.
동적 맵 생성 프로그램(200)의 기능 및/또는 동작에 대하여는 도 2를 통해 상세하게 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 동적 맵 생성 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 동적 맵 생성 프로그램(200)은 복셀 생성부(210), 셀 가려짐 판단부(220), 셀 속성 판단부(230), 셀 점유 빈도수 계산부(240), 셀 종류 판단부(250), 동적 맵 생성부(260), 군집화 수행부(270) 및 객체 판단부(280)를 포함할 수 있다.
도 2에 도시된 복셀 생성부(210), 셀 가려짐 판단부(220), 셀 속성 판단부(230), 셀 점유 빈도수 계산부(240), 셀 종류 판단부(250), 동적 맵 생성부(260), 군집화 수행부(270) 및 객체 판단부(280)는 동적 맵 생성 프로그램(200)의 기능을 쉽게 설명하기 위하여 동적 맵 생성 프로그램(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 복셀 생성부(210), 셀 가려짐 판단부(220), 셀 속성 판단부(230), 셀 점유 빈도수 계산부(240), 셀 종류 판단부(250), 동적 맵 생성부(260), 군집화 수행부(270) 및 객체 판단부(280)의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
복셀 생성부(210)는 라이다 센서(20)를 중심으로 구 형태의 복셀을 생성하고, 상기 복셀을 복수의 셀들로 분할하고, 수신한 포인트 데이터에 포함된 복수의 포인트들을 상기 복수의 셀들 각각에 배치할 수 있다.
예컨대, 도 3을 더 참조하면, 복셀(VX)에 포함된 복수의 셀들은 로(Rho) 성분(ρ), 세타(Theta) 성분(θ) 및 파이(Phi) 성분(φ)으로 표현될 수 있다.
로 성분(ρ)은 라이다 센서(20)로부터 셀까지의 거리를 나타내고, 세타 방향(θ)은 라이다 센서(20)를 중심으로 소정의 제1 기준 방향(예컨대, 도 3의 x축) 대비 좌우에 위치하는 정도를 나타내고, 파이 방향(φ)은 라이다 센서(20)를 중심으로 소정의 제2 기준 방향(예컨대, 도 3의 z축) 대비 상하에 위치하는 정도를 나타낼 수 있다.
다시 도 2를 참조하면, 셀 가려짐 판단부(220)는 세타 성분과 파이 성분이 동일한 셀들 중에서 점유 셀의 로 성분의 값을 이용하여, 복수의 셀들 각각의 가려짐 여부를 판단할 수 있다. 여기서, '셀을 점유한다' 또는 '점유 셀'이라 함은, 해당 셀에 포인트가 위치하는 것을 의미할 수 있다. 즉, 하나 이상의 포인트가 임의의 셀에 위치하는 경우, '임의의 셀은 점유되었다' 또는 '임의의 셀은 점유 셀이다' 라고 표현될 수 있다.
보다 자세하게는, 셀 가려짐 판단부(220)는, 세타 성분과 파이 성분이 동일한 셀들 중에 점유 셀이 존재하는 경우, 점유 셀보다 로 성분의 값이 큰 셀들을 가려진 셀들로 판단할 수 있다.
이는, 세타 성분과 파이 성분은 라이다 센서(20)를 기준으로 셀이 위치하는 방향을 나타내고, 로 성분은 라이다 센서(20)로부터 셀이 위치하는 거리를 나타내기 때문이다. 즉, 점유 셀이 존재하는 경우, 라이다 센서(20)가 방사한 레이저는 점유 셀에 의해 반사되기 때문에, 위치하는 방향이 점유 셀과 동일하면서, 점유 셀보다 로 성분의 값이 큰 가려진 셀들에는 레이저가 도달하지 않아, 상기 가려진 셀이 점유 셀이라 하더라도 라이다 센서(20)에 감지되지 않을 수 있기 때문이다.
뿐만 아니라, 만약 후술할 셀 점유 빈도수 계산부(240)가 '셀의 가려짐'을 고려하지 않고 셀의 점유 빈도수를 계산할 때, '셀이 가려지는' 상황이 지속된다면(즉, 가려진 셀들이 지속적으로 존재하게 된다면), 점유 셀과 세타 성분과 파이 성분이 동일하면서, 점유 셀보다 로 성분의 값이 큰 가려진 셀들은 지속적으로 점유 여부에 대한 판단을 받지 못하게 될 수 있다. 이러한 경우, 상기 가려진 셀들은 지속적으로 배경 셀로 결정되지 못하는 문제가 발생할 수 있다.
따라서, 셀 가려짐 판단부(220)는, 점유 셀이 존재하는 경우, 세타 성분의 값과 파이 성분의 값이 점유 셀과 동일하면서, 로 성분의 값은 점유 셀보다 큰 셀을 가려진 셀로 판단할 수 있다.
예컨대, 도 4는 본 발명의 실시예에 따른 셀 가려짐 판단부(220)가 가려진 셀을 판단하는 방법의 일 예시를 나타낸다.
도 4를 더 참조하면, 라이다 센서(20)를 기준으로 제1 셀(C1) 내지 제5 셀(C5)은 라이다 센서(20)로부터 위치하는 방향이 동일하므로, 세타 성분의 값과 파이 성분의 값이 동일하고, 제1 셀(C1)에서 제5 셀(C5)로 갈수록 라이다 센서(20)로부터 멀어지므로, 제1 셀(C1)에서 제5 셀(C5)로 갈수록 로 성분의 값은 커짐을 알 수 있다.
이때, 제3 셀(C3)이 점유 셀인 경우, 제4 셀(C4)과 제5 셀(C5)은 제3 셀(C3)보다 로 성분의 값이 크므로, 셀 가려짐 판단부(220)는 제4 셀(C4)과 제5 셀(C5)은 가려진 셀이라고 판단할 수 있다.
또한, 도 5는 본 발명의 실시예에 따른 동적 맵의 일 예시이다.
도 5를 참조하면, 도 5의 (a)의 경우, 라이다 센서(20)와 벽에 해당하는 셀들(CW) 사이에 점유 셀이 존재하지 않기 때문에, 벽에 해당하는 셀들(CW)은 가려지지 않고 모두 제대로 인식이 되었음을 확인할 수 있다.
하지만, 도 5의 (b)의 경우, 라이다 센서(20)와 벽에 해당하는 셀들(CW) 사이에 사람에 해당하는 셀들(CP)이 존재하며, 따라서, 셀 가려짐 판단부(220)는 벽에 해당하는 셀들(CW) 중에서 사람에 해당하는 셀들(CP)과 세타 성분의 값과 파이 성분의 값이 동일한 셀들(CB)은 가려진 셀들이라고 판단할 수 있다.
따라서, 벽에 해당하는 셀들(CW) 중에서 사람에 해당하는 셀들(CP)과 세타 성분 값과 파이 성분 값이 동일한 셀들(CB)는 벽으로 인식되지 않은 채(즉, 점유에 대해 판단받지 않은 채) 남아 있는 것을 확인할 수 있다.
한편, 셀 속성 판단부(230)는 복셀에 포함된 복수의 셀들을 일반 셀과 지원 셀로 구분할 수 있다.
여기서, 지원 셀은 주변 정보에 따라 배경 셀로 판단될 가능성이 높은 셀을 의미하고, 일반 셀은 지원 셀이 아닌 셀을 의미할 수 있다.
셀 속성 판단부(230)는 복셀에 포함된 복수의 셀들 중에서 아래의 두 조건 중에서 적어도 하나를 만족하는 셀을 지원 셀로 정의할 수 있다.
1) 인접 셀들이 모두 배경 셀로 결정되었는지 여부
2) 로 성분의 값과 세타 성분의 값은 동일하지만, 파이 성분의 값만 다른 셀들과 비교하여 자신만 점유 셀인지 여부
조건 1)의 경우, 라이다 센서(20)의 노이즈로 인해, 배경 셀이 전경 셀로 오인식되는 것을 방지하기 위함이며, 조건 2)와 같이, 자신만 점유 셀인 경우 해당 셀은 노면일 확률이 높기 때문이다.
이후, 셀 점유 빈도수 계산부(240)는, 셀의 속성 및 셀의 상태(예컨대, 가려진 셀인지 여부, 점유 셀인지 여부)에 따라, 복셀에 포함된 복수의 셀들의 점유 빈도수를 계산할 수 있다.
보다 자세하게는, 셀 점유 빈도수 계산부(240)는 프레임마다 복수의 셀들의 점유 빈도수 변화를 계산하고, 현재 프레임에서 계산한 점유 빈도수 변화를 직전 프레임까지의 점유 빈도수에 누적하여, 점유 빈도수를 업데이트할 수 있다.
실시예에 따라, 셀 점유 빈도수 계산부(240)는 아래의 표 1에 기초하여, 복셀에 포함된 복수의 셀들의 점유 빈도수 변화를 계산할 수 있다.
셀의 상태 점유 빈도수 변화
일반 셀 지원 셀
가려지지 않은 셀
(점유 셀 포함)		 점유 셀 +1 +5
비점유 셀 -3 -3
가려진 셀 점유 셀 계산 X
비점유 셀
표 1을 참조하면, 셀 점유 빈도수 계산부(240)는 점유 빈도수 계산의 대상이 되는 대상 셀의 상태가 가려지지 않은 셀이면서 점유 셀이고, 상기 대상 셀의 속성이 일반 셀인 경우, 상기 대상 셀의 점유 빈도수에 1을 더하고, 상기 대상 셀의 상태가 가려지지 않은 셀이면서 비점유 셀이고, 상기 대상 셀의 속성이 지원 셀인 경우, 상기 대상 셀의 점유 빈도수에 3을 뺄 수 있다.
한편, 표 1을 살펴보면, 지원 셀에 대한 점유 빈도수 변화의 정도가 일반 셀보다 큰 것을 확인할 수 있다. 이는, 지원 셀은 배경 셀로 판단될 가능성이 높기 때문에, 지원 셀의 점유 빈도수를 신속히 높여서, 지원 셀을 배경 셀로 빠르게 결정될 수 있도록 하기 위한 것일 수 있다.
또한, 표 1을 살펴보면, 가려진 셀은 속성에 관계없이 점유 빈도수 변화가 계산되지 않음을 확인할 수 있다.
한편, 표 1에 기재된 점유 빈도수 변화는 일 예시일 뿐이며, 실시예에 따라 변경될 수 있다. 즉, 실시예에 따라, 범유 빈도수 변화는, 지원 셀에 대한 점유 빈도수 변화의 정도가 일반 셀보다 크고, 가려진 셀은 점유 빈도수 변화를 계산하지 않는 범위 내에서 변경될 수 있다.
셀 종류 판단부(250)는 복수의 셀들 각각의 누적된 점유 빈도수에 기초하여, 복수의 셀들 각각의 종류를 결정할 수 있다.
보다 자세하게는, 셀 종류 판단부(250)는 복수의 셀들 각각의 누적된 점유 빈도수에 기초하여, 복수의 셀들 각각이 배경 셀인지 또는 전경 셀인지 여부를 결정할 수 있다.
여기서, 상기 배경 셀은 벽, 나무 등의 배경을 나타내는 셀을 의미할 수 있다. 배경은 시간에 따른 변화가 적거나 거의 없으므로, 배경 셀을 점유하는 포인트의 분포 또는 개수는 일정하거나 변화가 적을 수 있다.
또한, 상기 전경 셀은 사람 등의 객체를 나타내는 셀을 의미할 수 있다. 객체는 시간이 흐름에 따라 움직일 수 있으므로, 전경 셀은 배경 셀에 비해 점유하는 포인트의 분포 또는 개수의 변화가 클 수 있다.
실시예에 따라, 셀 종류 판단부(250)는 복수의 셀들 중에서 누적된 점유 빈도수가 기 설정된 임계 값 이상(초과)인 셀을 배경 셀이라고 결정하고, 누적된 점유 빈도수가 기 설정된 임계 값 미만(이하)인 셀을 전경 셀이라고 결정할 수 있다.
예컨대, 도 6은 본 발명의 실시예에 따른 셀 종류 판단부(250)에서 셀의 종류를 결정하는데 이용되는 프레임 별 점유 빈도수 그래프의 일 예시이다.
도 6을 더 참조하면, 셀 점유 빈도수 계산부(240)에서 점유 빈도수 계산의 대상이 되는 대상 셀의 점유 빈도수 변화를 프레임마다 계산하고, 현재 프레임에서 계산한 점유 빈도수 변화를 이전 프레임까지의 상기 대상 셀의 점유 빈도수에 누적함에 따라, 상기 대상 셀의 점유 빈도수는 프레임마다 업데이트될 수 있다.
셀 종류 판단부(250)는 점유 빈도수가 기 설정된 임계 값(TV) 이상이 되는 경우, 상기 대상 셀을 배경 셀이라고 결정할 수 있다.
한편, 실시예에 따라, 누적될 수 있는 점유 빈도수의 최대 값이 설정될 수 있다. 즉, 프레임마다 업데이트된 상기 대상 셀의 점유 빈도수가 기 설정된 최대 값(MV)에 도달하는 경우, 상기 대상 셀의 점유 빈도수는 더 이상 업데이트되지 않을 수 있다.
동적 맵 생성부(260)는 복수의 셀들 중에서 배경 셀로 결정된 셀들을 이용하여, 동적 맵을 생성할 수 있다.
예컨대, 도 7은 본 발명의 실시예에 따른 동적 맵 생성부(260)가 배경 셀을 이용하여 동적 맵을 생성한 결과를 나타내는 일 예시이다.
도 7을 참조하면, 동적 맵 생성부(260)는 현재 프레임까지 업데이트된 배경 셀들(BC, 초록색)을, 동적 맵(DM)을 생성하고, 실시예에 따라, 현재 프레임에서 결정된 전경 셀(FC)을 동적 맵(DM)에 표시할 수도 있다.
또한, 군집화 수행부(270)는 동적 맵 생성 프로그램(200)에서 생성한 동적 맵에 현재 프레임에서 결정된 전경 셀들을 표시할 수 있다.
이때, 군집화 수행부(270)는 전경 셀들의 위치를 이용하여, 상기 전경 셀들을 군집화할 수 있다. 예컨대, 군집화 수행부(270)는 상기 전경 셀들 중에서 서로 인접한 전경 셀들을 연결하고, 서로 연결된 전경 셀들이 하나의 군집에 포함되도록 상기 전경 셀들을 군집화할 수 있다.
군집화 수행부(270)는 상기 전경 셀들을 군집화하여 적어도 하나의 군집을생성할 수 있다.
예컨대, 도 8은 본 발명의 실시예에 따른 군집화 수행부(270)에서 전경 셀들을 군집화한 결과의 일 예시를 나타낸다.
도 8을 더 참조하면, 군집화 수행부(270)는 전경 셀들 중에서 서로 인접한 전경 셀들을 연결하고, 서로 연결된 전경 셀들이 하나의 군집에 포함되도록 상기 전경 셀들을 군집화할 수 있다.
그 결과, 군집화 수행부(270)는 상기 전경 셀들을 군집화한 복수의 군집들(C1, C2, C3, …)을 생성할 수 있다.
객체 판단부(280)는 국집화 수행부(310)에서 생성한 상기 적어도 하나의 군집으로부터, 상기 적어도 하나의 군집이 나타내는 객체에 대한 정보를 추출할 수 있다.
객체 판단부(280)는 상기 적어도 하나의 군집이 나타내는 객체에 대한 정보를 이용하여, 현재 프레임에 움직이고 있거나, 이전 프레임에 움직였었던 적어도 하나의 전경 객체를 생성할 수 있다.
이후, 객체 판단부(280)는 상기 적어도 하나의 전경 객체가 동적 맵 생성 장치(100)에서 검출하고자 하는 목표 객체인지 여부를 판단할 수 있다.
보다 자세하게는, 객체 판단부(280)는 기 학습된 객체 판단 신경망을 이용하여, 상기 적어도 하나의 전경 객체 각각이 상기 검출하고자 하는 목표 객체(예컨대, 사람)인지 여부를 판단할 수 있다.
즉, 객체 판단부(280)는 상기 적어도 하나의 전경 객체를 상기 객체 판단 신경망에 입력하고, 상기 객체 판단 신경망으로부터 출력된 상기 적어도 하나의 전경 객체를 분류한 결과를 이용하여, 상기 적어도 하나의 전경 객체 각각이 상기 목표 객체인지 여부를 판단할 수 있다.
이를 위해, 상기 객체 판단 신경망은, 학습용 전경 객체(또는 학습용 전경 객체의 특징 값들)와 함께, 상기 학습용 전경 객체에 대한 레이블 데이터로서, 상기 학습용 전경 객체가 나타내는 정답 객체를 입력 받으면, 상기 학습용 전경 객체를 분류한 결과를 출력하도록 기 학습된 것일 수 있다.
예컨대, 도 9는 본 발명의 실시예에 따른 객체 판단부(280)에서 적어도 하나의 전격 객체를 분류한 결과의 일 예시를 나타낸다.
도 9를 더 참조하면, 객체 판단부(280)는 군집화 수행부(310)에서 생성한 복수의 군집들(CC1, CC2, CC3, …)로부터, 복수의 군집들(CC1, CC2, CC3, …)이 나타내는 객체에 대한 정보를 추출하고, 추출한 복수의 군집들(CC1, CC2, CC3, …)이 나타내는 객체에 대한 정보를 이용하여, 복수의 전경 객체들(FO1, FO2, FO3, …)을 생성할 수 있다.
객체 판단부(280)는 복수의 전경 객체들(FO1, FO2, FO3, …)을 기 학습된 객체 판단 신경망에 입력하여, 복수의 전경 객체들(FO1, FO2, FO3, …)이 동적 맵 생성 장치(100)에서 검출하고자 하는 목표 객체인 사람을 나타낸다고 결정할 수 있다.
한편, 상기 적어도 하나의 전경 객체 중에서 상기 목표 객체가 존재하는 경우, 객체 판단부(280)는 동적 맵 생성 프로그램(200)에서 동적 맵을 생성할 때, 상기 목표 객체에 대응되는 전경 셀들을 제외시킬 수 있다.
이는, 상기 목표 객체에 대응되는 전경 셀들의 점유 빈도수가 증가함으로써, 상기 목표 객체에 대응되는 전경 셀들이 배경 셀로 변경되는 것을 방지하기 위함이다.
본 명세서에서는, 객체 판단부(280)가 상기 목표 객체에 대응되는 전경 셀들을, 동적 맵 생성에서 제외시키는 것으로 기재하고 있지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 동적 맵 생성 프로그램(200)에 포함된 셀 점유 빈도 계산부(240)가 상기 목표 객체에 대응되는 전경 셀들을 동적 맵 생성에서 제외시킬 수도 있다.
도 10은 본 발명의 실시예에 따라 동적 맵을 생성하는 방법을 나타내는 흐름도이다.
도 1, 도 2 및 도 10을 참조하면, 복셀 생성부(210)는 생성한 구 형태의 복셀을 복수의 셀들로 분할하고, 수신한 포인트 데이터에 포함된 복수의 포인트들을 상기 복수의 셀들 각각에 배치할 수 있다(S1000).
셀 가려짐 판단부(220)는, 세타 성분과 파이 성분이 동일한 셀들 중에 점유 셀이 존재하는 경우, 점유 셀보다 로 성분의 값이 큰 셀들을 가려진 셀들로 판단할 수 있다(S1010).
셀 속성 판단부(230)는 복셀에 포함된 복수의 셀들 중에서 기 설정된 조건들 중에서 적어도 하나를 만족하는 셀의 속성을 지원 셀로 정의할 수 있다(S1020).
이후, 셀 점유 빈도수 계산부(240)는, 셀의 속성 및 셀의 상태에 따라, 복수의 셀들의 점유 빈도수 변화를 계산하고, 현재 프레임에서 계산한 점유 빈도수 변화를 직전 프레임까지의 점유 빈도수에 누적할 수 있다(S1030).
셀 종류 판단부(250)는 점유 빈도수가 기 설정된 임계 값 이상이 되는 셀을 배경 셀로 결정하고(S1040), 동적 맵 생성부(260)는 복수의 셀들 중에서 배경 셀로 결정된 셀들을 이용하여, 동적 맵을 생성할 수 있다(S1050).
또한, 군집화 수행부(270)는 현재 프레임에서 결정된 전경 셀들을 군집화하고, 적어도 하나의 군집을 생성할 수 있다(S1060).
객체 판단부(280)는, 기 학습된 객체 판단 신경망을 이용하여, 상기 적어도 하나의 군집 각각에 대응되는 적어도 하나의 전경 객체 각각이 목표 객체에 해당하는지 여부를 판단하고, 목표 객체에 해당하는 전경 객체를 동적 맵에 표시할 수 있다(S1070).
본 발명의 실시예에 의하면, 복셀을 복수의 셀로 분할하여 동적 맵을 생성함으로써, 라이다 센서를 이용하여 획득한 복수의 포인트들을 효율적이고 빠르게 처리할 수 있다.
또한, 본 발명의 실시예에 의하면, 복셀을 복수의 셀로 분할하여 동적 맵을 생성함으로써, 실시간으로 동적 맵을 생성하고 업데이트할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 동적 맵 생성 시스템
20: 라이다 센서
100: 동적 맵 생성 장치
200: 동적 맵 생성 프로그램
210: 복셀 생성부
220: 셀 가려짐 판단부
230: 셀 속성 판단부
240: 셀 점유 빈도수 계산부
250: 셀 종류 판단부
260: 동적 맵 생성부
270: 군집화 수행부
280: 객체 판단부

Claims (11)

  1. 동적 맵 생성 장치에 의해 수행되는 동적 맵을 생성하는 방법에 있어서,
    복수의 프레임들 각각에 대해, 라이다 센서로부터 획득한 포인트 데이터를, 복셀(voxel)에 포함된 복수의 셀들에 배치하는 단계;
    상기 복수의 프레임들 각각에 대해, 상기 복수의 셀들 각각의 속성 및 상태에 따라, 현재 프레임에서의 점유 빈도수 변화를 계산하는 단계; 및
    상기 복수의 셀들 중에서, 상기 현재 프레임에서의 점유 빈도수 변화를 직전 프레임까지의 점유 빈도수에 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성하는 단계를 포함하고,
    상기 점유 빈도수 변화를 계산하는 단계는,
    상기 복수의 셀들 중에서 포인트가 위치하는 점유 셀과 세타(theta) 성분의 값 및 파이(phi) 성분의 값이 동일하면서, 상기 점유 셀보다 로(rho) 성분의 값이 큰 셀을 가려진 셀로 판단하는 단계; 및
    상기 가려진 셀에 대한 점유 빈도수 변화는 계산하지 않고, 상기 복수의 셀들 중에서 상기 가려진 셀이 아닌 셀에 대한 점유 빈도수 변화만을 계산하는 단계를 포함하는
    동적 맵을 생성하는 방법.
  2. 제1 항에 있어서,
    상기 속성은 일반 셀과, 상기 배경 셀이 될 가능성이 상기 일반 셀보다 높은 지원 셀을 포함하고,
    상기 점유 빈도수 변화를 계산하는 단계는,
    상기 복수의 셀들 중에서 기 설정된 조건들 중에서 적어도 하나를 만족하는 셀의 속성을 상기 지원 셀로 설정하는 단계를 포함하는
    동적 맵을 생성하는 방법.
  3. 제2 항에 있어서,
    상기 기 설정된 조건들은,
    상기 복수의 셀들 각각의 인접 셀들이 모두 상기 배경 셀로 결정되는지 여부, 및 상기 복수의 셀들 각각은 상기 점유 셀이고, 상기 복수의 셀들 각각과 상기 로 성분의 값과 상기 세타 성분의 값이 동일한 다른 셀들은 비점유 셀인지 여부를 포함하는
    동적 맵을 생성하는 방법.
  4. 제2 항에 있어서,
    상기 지원 셀은 상기 일반 셀에 비해 상기 점유 빈도수 변화의 정도가 큰
    동적 맵을 생성하는 방법.
  5. 삭제
  6. 제1 항에 있어서,
    상기 복수의 셀들 중에서 움직이는 객체에 대응되는 전경 셀들을 적어도 하나의 군집으로 군집화하는 단계;
    기 학습된 객체 판단 신경망을 이용하여, 상기 적어도 하나의 군집 각각이 나타내는 적어도 하나의 전경 객체가, 상기 동적 맵 생성 장치가 검출하고자 하는 목표 객체에 해당하는지 여부를 판단하는 단계; 및
    상기 적어도 하나의 전경 객체 중에서 상기 목표 객체에 해당하는 전경 객체를 상기 동적 맵에 표시하는 단계를 더 포함하는
    동적 맵을 생성하는 방법.
  7. 제6 항에 있어서,
    상기 객체 판단 신경망은,
    학습용 전경 객체의 특징 값들과 함께, 상기 학습용 전경 객체의 특징 값들에 대한 레이블 데이터로서, 상기 학습용 전경 객체의 특징 값들이 나타내는 정답 객체를 입력 받으면, 상기 학습용 전경 객체를 분류한 결과를 출력하도록 기 학습된 것인
    동적 맵을 생성하는 방법.
  8. 동적 맵을 생성하는 동적 맵 생성 장치에 있어서,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및
    상기 송수신기를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    복수의 프레임들 각각에 대해, 상기 포인트 데이터를, 복셀에 포함된 복수의 셀들에 배치하고,
    상기 복수의 프레임들 각각에 대해, 상기 복수의 셀들 각각의 속성 및 상태에 따라, 현재프레임에서의 점유 빈도수 변화를 계산하고,
    상기 복수의 셀들 중에서, 상기 현재 프레임에서의 점유 빈도수 변화를 직전 프레임까지의 점유 빈도수에 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성하고,
    상기 복수의 셀들 중에서 포인트가 위치하는 점유 셀과 세타(theta) 성분의 값 및 파이(phi) 성분의 값이 동일하면서, 상기 점유 셀보다 로(rho) 성분의 값이 큰 셀을 가려진 셀로 판단하고,
    상기 현재 프레임에서의 점유 빈도수 변화를 계산할 때, 상기 가려진 셀에 대한 점유 빈도수 변화는 계산하지 않고, 상기 복수의 셀들 중에서 상기 가려진 셀이 아닌 셀에 대한 점유 빈도수 변화만을 계산하는
    동적 맵 생성 장치.
  9. 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및
    복수의 프레임들 각각에 대해, 상기 포인트 데이터를, 복셀에 포함된 복수의 셀들에 배치하고, 상기 복수의 셀들 각각에 대해, 상기 복수의 셀들 각각의 속성 및 상태에 따라, 현재 프레임에서의 점유 빈도수 변화를 계산하고, 상기 복수의 셀들 중에서, 상기 현재 프레임에서의 점유 빈도수 변화를 직전 프레임까지의 점유 빈도수에 누적한 값이 기 설정된 임계 값 이상인 배경 셀들을 이용하여, 동적 맵을 생성하는 동적 맵 생성 장치를 포함하고,
    상기 동적 맵 생성 장치는,
    상기 복수의 셀들 중에서 포인트가 위치하는 점유 셀과 세타(theta) 성분의 값 및 파이(phi) 성분의 값이 동일하면서, 상기 점유 셀보다 로(rho) 성분의 값이 큰 셀을 가려진 셀로 판단하고,
    상기 현재 프레임에서의 점유 빈도수 변화를 계산할 때, 상기 가려진 셀에 대한 점유 빈도수 변화는 계산하지 않고, 상기 복수의 셀들 중에서 상기 가려진 셀이 아닌 셀에 대한 점유 빈도수 변화만을 계산하는
    동적 맵 생성 시스템.
  10. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제1 항 내지 제4 항, 제6 항 및 제7 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  11. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제1 항 내지 제4 항, 제6 항 및 제7 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
KR1020210114234A 2021-08-27 2021-08-27 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치 KR102444672B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210114234A KR102444672B1 (ko) 2021-08-27 2021-08-27 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치
US17/462,336 US20230060270A1 (en) 2021-08-27 2021-08-31 Method for generating dynamic map using lidar sensor and determining object using generated dynamic map, and apparatus performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210114234A KR102444672B1 (ko) 2021-08-27 2021-08-27 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
KR102444672B1 true KR102444672B1 (ko) 2022-09-20

Family

ID=83446642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210114234A KR102444672B1 (ko) 2021-08-27 2021-08-27 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치

Country Status (2)

Country Link
US (1) US20230060270A1 (ko)
KR (1) KR102444672B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11976940B2 (en) * 2021-09-30 2024-05-07 Woven By Toyota, Inc. Vehicle data collection system and method of using

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008505A (ko) * 2015-07-14 2017-01-24 서울대학교산학협력단 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
KR20190043035A (ko) * 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008505A (ko) * 2015-07-14 2017-01-24 서울대학교산학협력단 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
KR20190043035A (ko) * 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법

Also Published As

Publication number Publication date
US20230060270A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US20240192320A1 (en) Object detection and detection confidence suitable for autonomous driving
US11468660B2 (en) Pixel-level based micro-feature extraction
US11233976B2 (en) Anomalous stationary object detection and reporting
KR102462572B1 (ko) 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
US20200302237A1 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
JP2021082296A (ja) ３次元オブジェクトを分類するための方法及びそのシステム
JP2014067413A (ja) 移動物体の検知および追跡のためのシステムおよび方法
KR20150029006A (ko) 비디오 감시 시스템을 위한 피처 이례들의 무감독 학습
US20210209385A1 (en) Method and apparatus for recognizing wearing state of safety belt
US11783636B2 (en) System and method for detecting abnormal passenger behavior in autonomous vehicles
KR102444672B1 (ko) 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치
US20210243386A1 (en) Artificial intelligence display device
CN112783135A (zh) 用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法
WO2021131685A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112528781B (zh) 一种障碍物检测方法、装置、设备和计算机可读存储介质
CN112784867A (zh) 利用合成图像训练深度神经网络
US11415698B2 (en) Point group data processing device, point group data processing method, point group data processing program, vehicle control device, and vehicle
US20230031755A1 (en) Generative adversarial network for processing and generating images and label maps
US20240051553A1 (en) Sensor performance monitoring for autonomous systems and applications
CN113591869A (zh) 点云实例分割方法和装置、电子设备和存储介质
Lee et al. Development of Vehicle Detection Method on Water Surface Using LiDAR Data for Situation Awareness
KR102571915B1 (ko) 사운드 자동 할당 장치 및 방법
KR102628955B1 (ko) 비행 특징을 인식변수로 사용하여 비행체를 식별 탐지추적하는 시스템 과 그 방법
US20240355099A1 (en) Device and method for determining an albedo and a shading of an object