KR102275671B1 - 객체 형태 검출 장치 및 방법 - Google Patents

객체 형태 검출 장치 및 방법 Download PDF

Info

Publication number
KR102275671B1
KR102275671B1 KR1020210007695A KR20210007695A KR102275671B1 KR 102275671 B1 KR102275671 B1 KR 102275671B1 KR 1020210007695 A KR1020210007695 A KR 1020210007695A KR 20210007695 A KR20210007695 A KR 20210007695A KR 102275671 B1 KR102275671 B1 KR 102275671B1
Authority
KR
South Korea
Prior art keywords
shape
information
scanning
point
points
Prior art date
Application number
KR1020210007695A
Other languages
English (en)
Inventor
이승용
천창환
Original Assignee
(주)뷰런테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뷰런테크놀로지 filed Critical (주)뷰런테크놀로지
Priority to KR1020210007695A priority Critical patent/KR102275671B1/ko
Application granted granted Critical
Publication of KR102275671B1 publication Critical patent/KR102275671B1/ko
Priority to US17/399,475 priority patent/US20220229186A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G06K9/00201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Abstract

본 발명은 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및 생성된 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하여 이동체 주변의 객체 형태를 검출하는 객체 형태 검출 방법 및 장치가 개시된다.

Description

객체 형태 검출 장치 및 방법 {OBJECT CONTOUR DETECTION APPARATUS AND METHOD}
본 발명은 이동체 주변의 객체의 형태를 검출하기 위한 객체 형태 검출 장치 및 방법에 관한 것이다.
자율주행 시 차량 주변 물체들의 형태 정보를 검출하는 것은 필수적이다. 객체의 형태 정보는 인지 영역에서 객체 분류 및 추적 시 반드시 필요하고 위치 인지 또는 자율주행 판단 기술의 성능 향상을 위해 사용될 수 있다.
객체 추적의 경우, 라이다 센서로 감지된 모든 포인트를 추적하는 것이 불가능하기 때문에 물체로부터 감지된 포인트들을 하나의 객체로 표현할 수 있는 형태 정보가 필요하다. 그리고 객체의 형태 정보가 정확하게 검출되는 것은 추적 기술의 성능에 큰 영향을 미친다. 또한, 객체 분류의 경우에도 마찬가지로 모든 포인트를 이용해서 객체 분류를 수행하는 것은 연산 속도에 있어 상당한 부하를 주기 때문에 특정 물체를 간단한 객체의 형태 정보로 표현하는 것이 필요하다. 객체 형태 검출 기술은 객체 인지 영역에서뿐만 아니라 위치 인지 또는 인지 영역 외에 자율주행 판단 기술에서 정확한 객체 형태 정보를 사용함으로써 성능을 높이는데 큰 도움을 줄 수 있다.
객체 형태를 검출하는 기술은 다양한 환경들이 고려되어야 한다. 다양한 라이다 센서에서 동일한 성능으로 검출이 가능해야 하며, 다른 센서에 영향을 받지 않는 검출 방법이 필요하다.
또한, 라이다 센서의 입력 주기 내에 인지 판단 제어 기술이 동작해야 할 뿐 아니라 인지 영역에서 객체 인지의 경우, 노면제거 및 모든 객체에 대한 군집화, 형태 추정, 분류, 추적 단계를 거쳐야 한다.
이에 따라, 다양한 센서 타입에 영향을 받지 않고, 제한된 연산 시간 내에 객체를 나타내는 모든 포인트를 처리해야 하고, 정확한 객체 형태 정보를 검출할 수 있는 기술이 필요하다.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 라이다 센서를 이용한 자율주행 시 차량 주변의 물체를 인지하기 위해 객체의 형태를 검출하는 것을 포함한다.
또한, 객체 형태 정보를 검출 시 신속하고 정확하게 검출하도록 하는 것을 포함한다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상술한 본 발명의 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 이동체 주변의 객체를 검출하기 위해, 객체 형태 검출 장치에서 수행되는 객체 형태 검출 방법은, 상기 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및 생성된 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함한다.
여기서, 상기 스캐닝 정보는, 외부의 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 이동체 주변의 객체를 검출하기 위한 객체 형태 검출 장치는, 상기 이동체의 주변을 스캐닝한 스캐닝 정보를 저장하는 메모리 및 상기 스캐닝 정보로부터 상기 객체의 형태를 검출하는 프로세서를 포함하며, 상기 프로세서는, 상기 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하며, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하고, 생성된 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택한다.
여기서, 상기 스캐닝 정보는, 외부의 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터를 포함할 수 있다.
또한, 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및 생성된 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.
또한, 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및 생성된 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 라이다 센서를 이용한 자율주행 차량의 주변 객체를 인지하기 위해 필요한 객체 형태 정보를 정확하고 신속하게 검출하여 제공할 수 있다.
또한, 일정 간격의 높이에 따라 외곽선을 제공함으로써 고정밀지도의 정보들과 매칭 시 높이 정보를 포함하기 때문에 정확하게 위치 인지를 수행할 수 있다.
또한, 정밀하게 객체의 위치를 파악할 수 있고, 이를 바탕으로 보다 정확한 경로 생성과 주행 상황 판단을 수행할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 객체 형태 검출 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 객체 형태 검출 장치에서 이용하는 라이다 센서 정보를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 형태 검출 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 라인 정보를 획득하는 단계를 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 포인트 데이터를 예로 들어 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 외곽 포인트들을 결정하는 단계를 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 외곽 포인트들을 결정하는 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 전체 외곽선 검출 결과를 예로 들어 나타낸 것이다.
도 9는 본 발명의 또 다른 실시예에 따른 객체 형태 검출 방법의 높이 별 라인 정보를 획득하는 단계를 나타낸 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 객체 형태 검출 방법의 높이 별 포인트 데이터와 높이 별 외곽선 검출 결과를 예로 들어 나타낸 것이다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 패턴 형상들을 예로 들어 나타낸 것이다.
도 13은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 포인트를 예로 들어 나타낸 것이다.
도 14는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 패턴 형상을 선택하는 단계를 나타낸 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 패턴 형상을 예로 들어 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 객체 형태 검출 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)는 프로세서(11) 및 메모리(12)를 포함한다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치는 이동체 주변의 객체를 검출하기 위해 이동체에 구비될 수 있는 장치이다.
여기서, 이동체는 차량을 포함하며, 구체적으로 자율 주행이 가능한 이동체 또는 차량으로서 자율 주행이 적어도 일부 가능한 이동체를 의미하며, 차량의 종류에 특별한 제한이 있는 것은 아니다.
객체는 이동체의 주변에 위치하는 것으로 차량이 주행 시 인식하는 건물, 나무, 장애물 등을 포함할 수 있다.
자율주행 시 차량 주변 물체들의 형태 정보를 검출하는 것은 필수적이다. 객체의 형태 정보는 인지 영역에서 객체 분류 및 추적 시 반드시 필요하고 위치 인지 또는 자율주행 판단 기술의 성능 향상을 위해 사용될 수 있다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)는 객체를 추적하기 위해 먼저 수행되는 객체의 형태 정보를 검출하기 위한 것으로, 정확한 객체 형태 정보를 검출하기 위해, 객체로 추정되는 영역의 외곽선을 검출하여 외곽선 기반의 대표 패턴 형상을 생성하고, 대표 포인트를 이용하여 대표 패턴 형상을 선택함으로써 신속하고 정확한 객체 형태 검출 방법을 수행할 수 있다.
여기서, 검출된 객체 형태 정보는 객체 분류 및 추적을 위해 사용될 뿐만 아니라 위치 인지 또는 판단 영역에서도 성능을 고도화시키기 위해 이용할 수 있다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)에 포함되는 메모리(12)는 프로세서(11)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있고, 센서(20)로부터 입력 받은 이동체의 주변을 스캐닝한 스캐닝 정보가 저장되며, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.
여기서, 센서(20)는 객체 형태 검출 장치(10)의 외부에 위치하며, 이동체에 구비될 수 있다. 구체적으로, 센서(20)는 라이다 센서이며, 메모리(12)에 저장되는 상기 이동체의 주변을 스캐닝한 스캐닝 정보는, 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터를 포함할 수 있다.
메모리(12)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
프로세서(11)는 메모리(12)에 저장된 하나 이상의 인스트럭션을 실행하며, 구체적으로, 상기 스캐닝 정보를 객체로 추정되는 영역별로 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하며, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하고, 생성한 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택한다.
여기서, 프로세서(11)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 객체 형태 검출 장치에서 이용하는 라이다 센서 정보를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)는 센서(20)를 통해 이동체의 주변을 스캐닝한 스캐닝 정보를 입력 받는다.
여기서, 스캐닝 정보는, 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터이다.
도 2를 참조하면, 센서(20)는 일정 각도의 범위로 회전하며 영역(S) 내에 위치하는 다수의 객체(O1, O2, O3)를 검출할 수 있다. 여기서, 센서(20)는 이동체에 구비되어, 센서(20)의 위치는 이동체의 위치에 대응될 수 있다.
객체 추적의 경우, 라이다 센서로 감지된 모든 포인트를 추적하는 것이 불가능하기 때문에 물체로부터 감지된 포인트들을 하나의 객체로 표현할 수 있는 형태 정보가 필요하다. 그리고 객체의 형태 정보가 정확하게 검출되는 것은 추적 기술의 성능에 큰 영향을 미친다. 또한, 객체 분류의 경우에도 마찬가지로 모든 포인트를 이용해서 객체 분류를 수행하는 것은 연산 속도에 있어 상당한 부하를 주기 때문에 특정 물체를 간단한 객체의 형태 정보로 표현하는 것이 필요하다.
이를 위해 본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)는 상기 이동체의 주변을 스캐닝한 스캐닝 정보를 객체로 추정되는 영역별로 결정하여 다수의 객체(O1, O2, O3) 각각을 결정하고, 각각의 객체에 따른 형태를 추출하게 된다.
객체의 형태를 검출하는 기술은 다양한 환경들이 고려되어야 한다. 먼저, 다양한 라이다 센서에서 동일한 성능으로 검출이 가능해야 한다. 다양한 라이다 센서들이 존재하고, 하나의 차량에 필요에 따라 여러 센서 또는 다양한 센서들이 장착되기도 하기 때문에 센서에 영향을 받지 않는 검출 방법이 필요하다.
예를 들어, 자율 주행 차량에 필요한 센서들에는, 레이더, 라이다, 카메라 등이 있다. 라이다 센서는 차량 전방, 차량 후방이나 측방 또는 루프 등에 배치될 수 있으며, 실시예에 따라, 차량은 복수의 라이다 센서를 포함하여 전, 후, 좌, 우 사방에 설치될 수 있다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)는 라이다 센서로부터 스캐닝 정보를 입력 받아 3차원의 포인트를 2차원 평면에 투영하고, 대표 포인트 선정 방법을 통해 수행되므로, 이동체에 구비되는 다른 센서의 센서 위치나 센서 사양과 라이다 센서의 부착 위치에 영향을 받지 않을 수 있다.
또한, 일반적인 라이다 센서의 입력 주기는 약 100ms 정도이고 주기 내에 인지 판단 제어 기술이 동작해야 할 뿐 아니라 인지 영역에서 객체 인지의 경우, 노면제거 및 모든 객체에 대한 군집화, 형태 추정, 분류, 추적 단계를 거쳐야 한다. 이러한 상황에서 객체 형태를 검출하기 위해 사용할 수 있는 연산시간은 제한적이다. 이러한 여러 가지 상황을 고려하여 객체 형태 검출이 수행 되어야 하고 검출 결과는 객체 분류 및 추적은 물론 위치인지 또는 판단에 까지 영향을 미칠 수 있다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치(10)는 스캐닝 정보에서 객체로 추정되는 영역별로 결정하여 다수의 객체(O1, O2, O3) 각각을 단일의 객체로 결정하며, 단일의 객체 내의 모든 스캐닝 포인트를 기초로 하지 않고, 대표 포인트에 기초하여 각각의 객체에 따른 외곽선을 검출하고, 검출한 외곽선을 기반으로 객체의 형태를 추출하게 된다. 또한, 하기 도 12에서 설명한 바와 같이, 중복되는 패턴 형상들에서 하나를 제거할 수 있으며, 하기 도 15에서 설명한 바와 같이, 후보 박스들의 에러 값을 계산하고 후보 박스들 중 최소 에러 값을 가지는 후보 박스를 객체를 표현하는 최적의 박스로 결정하여 최종 대표 형상을 통해 객체의 형태를 추출하게 되므로 연산시간을 줄일 수 있고, 모든 영역에 대해 각각의 객체에 대한 형태를 검출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 객체 형태 검출 방법을 나타낸 흐름도이다.
도 3의 객체 형태 검출 방법은, 도 1에 도시된 프로세서(11)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 객체 형태 검출 방법은 이동체 주변의 객체를 검출하기 위해, 객체 형태 검출 장치(10)에서 수행되며, 단계 S100에서 이동체의 주변을 스캐닝한 스캐닝 정보를 객체로 추정되는 영역별로 결정하고, 상기 결정한 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득한다.
여기서, 상기 이동체의 주변을 스캐닝한 스캐닝 정보는, 외부의 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터이다. 또한, 포인트 데이터는, 3차원 좌표 정보를 갖는다.
포인트 데이터는, 단계 S200과 단계 S300에서 패턴 형상을 생성하기 위해 하나의 면에 투영되어 3차원 좌표 정보에서 2차원 좌표 정보로 변환된다.
단계 S200에서 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성한다.
여기서, 복수의 외곽 라인들 중 하나의 외곽 라인이 일변에 포함되는 다각형의 패턴 형상을 생성하되, 상기 객체의 포인트 데이터가 상기 다각형의 패턴 형상 내부에 포함된다.
단계 S300에서 생성한 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 객체의 형태에 대응되는 대표 패턴 형상을 선택한다.
단계 S100 내지 S300에서 라인 정보는 복수의 스캐닝 포인트에서 획득한 전체 외곽선, 높이 별 외곽선을 포함하며, 전체 외곽선, 높이 별 외곽선, 대표 패턴 형상을 객체의 형태 정보로 얻게 된다.
도 4는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 라인 정보를 획득하는 단계를 나타낸 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 라인 정보를 획득하는 단계(S100)는, 단계 S110에서 상기 복수의 스캐닝 포인트를 하나의 평면에 투영시킨다.
단계 S120에서 상기 투영된 복수의 스캐닝 포인트에서, 상기 이동체를 중심으로 각 포인트 데이터의 2차원 좌표를 2차원 극좌표계로 변환한 경우의 각 포인트 데이터의 극좌표값에 기초하여, 객체의 외곽 포인트들을 결정한다.
단계 S130에서 결정한 상기 외곽 포인트들에서 서로 가장 인접한 두 외곽 포인트를 각각 연결하여 복수의 외곽 라인들을 생성하고, 상기 생성한 외곽 라인들을 연결하여 라인 정보를 획득한다.
도 5는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 포인트 데이터를 예로 들어 나타낸 것이다.
이동체의 주변을 스캐닝한 스캐닝 정보는, 외부의 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터이며, 도 5의 (a)는 3차원 시각에서의 포인트 데이터(111)를 나타낸 것이고, 도 5의 (b)는 2차원 투영된 포인트 데이터(112)를 나타낸 것이다.
본 발명의 일 실시예에 따른 객체 형태 검출 방법의 라인 정보를 획득하는 단계(S100)에서, 전체 외곽선은 3차원 포인트들을 2차원으로 투영하여 검출한다. 2차원으로 투영된 포인트들을 센서 위치 기준으로 각도에 따라 포인트의 순서를 결정하고 외곽 포인트 검출 방법을 이용하여 각 포인트의 외곽 포인트 여부를 판단한다. 결정된 외곽 포인트를 연결하여 하기 도 8과 같은 전체 외곽선을 검출한다.
도 6은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 외곽 포인트들을 결정하는 단계를 나타낸 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 외곽 포인트들을 결정하는 단계(S120)는, 단계 S121에서 상기 투영된 복수의 스캐닝 포인트에 대해 스캐닝 각도의 크기에 따라 순차적으로 인덱스 값을 할당한다.
단계 S122에서 상기 인덱스 값이 할당된 순서에 기초하여, N번 포인트(여기서, N은 1이상의 자연수)와 N+2번 포인트를 연결하여 제1 연결선을 생성한다.
단계 S123에서 상기 센서의 위치를 기준점으로 하고, 상기 기준점과 N+1번 포인트를 연결하여 제2 연결선을 생성한다.
단계 S124에서 상기 기준점으로부터 상기 제1 연결선과 제2 연결선의 교차점까지의 거리와 상기 제2 연결선의 길이를 비교하여, 상기 제2 연결선의 길이가 상기 교차점까지의 거리보다 작은 경우 단계 S125에서 상기 N+1번 포인트를 외곽 포인트로 결정한다.
도 7은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 외곽 포인트들을 결정하는 단계를 설명하기 위한 도면이다.
외곽 포인트는 객체 내 포인트들 중 가장 외곽에 있는 포인트들을 의미한다. 도 7의 (a)는 투영된 복수의 스캐닝 포인트에 대해 스캐닝 각도의 크기에 따라 순차적으로 인덱스 값을 할당한 것을 도시한 것이다. 스캐닝 포인트들을 센서 위치를 기준으로 각도에 따라 정렬하여 각 포인트들의 순서를 결정하며, 결정된 순서에 따라 포인트를 검색하며 해당 포인트가 외곽 포인트인지에 대한 여부를 판단한다.
도 7의 (b)는 외곽 포인트 결정 방법을 나타낸 것이다. 인덱스 값이 할당된 순서에 기초하여, N번 포인트(여기서, N은 1이상의 자연수)와 N+2번 포인트를 연결하여 제1 연결선을 생성한다. 또한, 센서(20)의 위치를 기준점으로 하고, 상기 기준점과 N+1번 포인트를 연결하여 제2 연결선을 생성한다. 기준점으로부터 상기 제1 연결선과 제2 연결선의 교차점까지의 거리와 상기 제2 연결선의 길이를 비교하여, 상기 제2 연결선의 길이가 상기 교차점까지의 거리보다 작은 경우 단계 S125에서 상기 N+1번 포인트를 외곽 포인트로 결정한다.
예를 들면, 1번 포인트와 3번 포인트를 연결하여 제1 연결선을 생성할 수 있고, 기준점과 2번 포인트를 연결하여 제2 연결선을 생성할 수 있다.
여기서, 제2 연결선의 길이(L2)가 제1 연결선과 제2 연결선의 교차점(P)까지 거리(L1) 보다 크므로, 2번 포인트는 외곽 포인트가 아니며, 객체의 내부에 위치하는 포인트임을 알 수 있다.
만일, 2번 포인트와 4번 포인트를 연결하여 제3 연결선을 생성하고, 기준점과 3번 포인트를 연결하여 제4 연결선을 생성하면, 제4 연결선의 길이가 제3 연결선과 제4 연결선의 교차점까지의 거리 보다 작으므로, 3번 포인트는 외곽 포인트로 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 전체 외곽선 검출 결과를 예로 들어 나타낸 것이다.
결정한 상기 외곽 포인트들(120)에서 서로 가장 인접한 두 외곽 포인트를 각각 연결하여 복수의 외곽 라인들을 생성하고, 상기 생성한 외곽 라인들을 연결하여 라인 정보를 획득한다.
도 8에 나타난 바와 같이, 2차원 투영된 포인트 데이터(112)에서 외곽 포인트들(121, 122, 123, 124, 125, 126, 127)을 결정할 수 있고, 서로 가장 인접한 두 외곽 포인트를 각각 연결하여 복수의 외곽 라인들(131, 132, 133, 134, 135, 136)을 생성할 수 있다. 복수의 외곽 라인들을 연결한 전체 라인(130)을 라인 정보로 획득한다.
도 9는 본 발명의 또 다른 실시예에 따른 객체 형태 검출 방법의 높이 별 라인 정보를 획득하는 단계를 나타낸 흐름도이다.
도 9를 참조하면, 본 발명의 또 다른 실시예에 따른 객체 형태 검출 방법의 라인 정보를 획득하는 단계는, 단계 S111에서 수직 방향으로 소정의 높이 간격을 설정하고, 상기 높이 간격에 따라 상기 복수의 스캐닝 포인트를 분류한다.
단계 S112에서 상기 복수의 스캐닝 포인트를 하나의 평면에 투영시킨다.
단계 S120에서 상기 투영된 복수의 스캐닝 포인트에서, 상기 이동체를 중심으로 각 포인트 데이터의 2차원 좌표를 2차원 극좌표계로 변환한 경우의 각 포인트 데이터의 극좌표값에 기초하여, 객체의 외곽 포인트들을 결정한다.
단계 S130에서 결정한 상기 외곽 포인트들에서 서로 가장 인접한 두 외곽 포인트를 각각 연결하여 복수의 외곽 라인들을 생성하고, 상기 생성한 외곽 라인들을 연결하여 라인 정보를 획득한다.
도 10은 본 발명의 또 다른 실시예에 따른 객체 형태 검출 방법의 높이 별 포인트 데이터와 높이 별 외곽선 검출 결과를 예로 들어 나타낸 것이다.
도 10의 (a)는 높이별 영역을 나타낸 것이다. 높이 별 외곽선은 일정 간격의 높이에 해당하는 포인트들을 이용하여 검출한 외곽선들을 의미한다. 높이 별 외곽선을 검출하기 위해 도 10의 (a)와 같이 일정 간격의 영역을 설정하고 각 영역에 해당하는 포인트들을 수집한다. 즉, 3차원의 포인트 데이터에서 수직 방향으로 소정의 높이 간격(l)을 설정하고, 상기 높이 간격에 따라 상기 복수의 스캐닝 포인트를 분류한다.
여기서, 소정의 높이 간격(l)에 따라 H1 영역, H2 영역, H3 영역으로 분류할 수 있으며, 도 10의 (b)는 높이별 영역에 따라 구별되는 스캐닝 포인트를 나타낸 것이다. 이러한 방식으로 각 영역에 수집된 포인트들을 이용하여 해당 영역에 대한 외곽선을 검출한다. 상기 도 8에서 전술한 바와 같이 각 영역의 포인트들을 각도에 따라 순서를 결정하고 외곽 포인트 여부를 판단하여 도 10의 (c)와 같이 높이 별(H1, H2, H3) 외곽선을 검출할 수 있다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 패턴 형상들을 예로 들어 나타낸 것이다.
도 11을 참조하면, 객체 형태 검출 장치가 상기 단계 S200에서 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성한다.
라이다 센서를 통해 주변 물체를 감지할 경우, 객체의 한쪽 면을 스캔하는 것이 가능하기 때문에 정확한 객체 전체의 형태를 파악하기 어렵다. 따라서, 본 발명의 일 실시예에서는 라이다 센서를 통해 감지하기 어려운 객체의 반대편의 형태를 감지가 가능한 부분의 형태와 동일하다고 판단하여 사각형의 박스 형태로 객체의 형태 정보를 검출한다.
도 11의 (a)는 패턴 형상들을 생성하기 위한 각도 간격을 나타낸 것이고, 도 11의 (b)는 생성된 패턴 형상들을 도시한 것이다.
여기서, 패턴 형상을 박스로 지칭하고, 대표 패턴 형상을 선정하기 위한 패턴 형상을 후보 박스로 지칭하여 설명한다. 객체의 형태를 나타내는 박스를 검출하기 위해 본 발명의 일 실시예에서는 후보 박스들을 생성하고 후보 박스들 중 최적의 박스를 대표 패턴 형상으로 선정한다. 후보 박스는 360도를 도 11의 (a)와 같이 일정 간격으로 분할하여 객체를 나타내는 박스가 될 수 있는 후보 박스들을 생성한다. 본 발명의 일 실시예에서는 각도 간격을 N도 간격으로 선택하였고, 이로 인해 전체 360/N개의 각도를 가진 후보 박스들이 생성된다.
이후, 도 11의 (b)에 나타난 바와 같이, 전체 후보 박스 중에서 검출된 외곽선 정보를 이용하여 후보 박스들을 선정한다. 전체 외곽선과 높이 별 외곽선에서 외곽 포인트들 사이의 직선인 세그먼트를 추출한다. 추출된 세그먼트들의 각도를 계산하고 해당 각도가 포함된 후보 박스를 선정한다.
즉, 상기 복수의 외곽 라인들 중 하나의 외곽 라인이 일변에 포함되는 다각형의 패턴 형상을 생성하되, 다각형의 패턴 형상은 사각형의 박스 형태로써 상기 객체의 포인트 데이터가 상기 다각형의 패턴 형상 내부에 포함된다.
예를 들어, 상기 도 8에서 생성한 복수의 외곽 라인들(131, 132, 133, 134, 135, 136)각각을 일변으로 한 다각형의 패턴 형상들(210, 220, 230, 240, 250, 260)을 생성할 수 있다.
모든 후보 박스에 대해 최적의 박스를 검출하는 것은 상당한 연산 시간이 필요하므로, 본 발명의 일 실시예에 따르면 도 12에 나타난 바와 같이, 필요하지 않은 후보 박스를 제거함으로써 연산량을 개선시키고자 한다.
도 12는 본 발명의 다양한 실시예에 따른 객체 형태 검출 방법에서 중복되는 패턴 형상들에서 하나를 제거하기 위한 방법을 나타내 것이다.
도 12를 참조하면, 상기 다각형의 패턴 형상에서, 상기 복수의 외곽 라인들 중 서로 수직인 외곽 라인으로부터 생성된 패턴 형상 중 하나를 제외시킨다. 두 세그먼트(131, 134)의 각도는 90도 차이이며, 두 각도를 이용하여 객체 내 포인트를 포함하는 후보 박스를 생성할 경우, 동일한 박스가 생성되기 때문에 모든 후보 박스의 각도를 0~90도로 축약하고 동일한 각도를 가지는 후보 박스들은 제거한다.
도 13은 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 포인트를 예로 들어 나타낸 것이다.
대표 패턴 형상을 선택하기 위해서는 후보 박스들 중 최적의 박스를 선정하는 것이 필요하다. 후보 박스들의 에러 값을 계산하고 최소 에러 값을 가지는 박스를 선정한다. 에러 값은 박스와 포인트를 이용하여 계산한다. 모든 포인트를 이용하여 후보 박스에 대한 에러 값을 계산하는 것은 상당한 연산량이 필요하다. 이러한 문제점을 개선하기 위해 본 발명에서는 객체를 대표할 수 있는 포인트들을 선정하고 선정된 대표 포인트들을 이용하여 후보 박스와의 에러 값을 계산하기 위해 사용한다. 대표 포인트는 스캐닝 센서의 하드웨어 특성을 이용한다. 센서(20) 위치를 기준으로 일정 각도 내의 포인트들을 수집하고 해당 포인트들 중 센서와 가장 가까운 위치의 포인트를 대표하는 포인트로 선정한다. 또한, 객체 내 포인트 중 최저 각도와 최대 각도를 가지는 두 포인트(D3, D4)를 대표 포인트로 선정한다.
도 14는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 패턴 형상을 선택하는 단계를 나타낸 흐름도이다.
하기 도 15에 나타난 바와 같이, 패턴 형상들은 외곽 포인트를 그 내부에 모두 포함하는 직사각형 형태를 갖고, 각 패턴 형상들은 서로 배치 각도가 상이하다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 패턴 형상을 선택하는 단계(S300)는, 단계 S310에서 상기 투영된 복수의 스캐닝 포인트에 대해 최저 각도와 최대 각도를 갖는 제1 대표 포인트와 제2 대표 포인트를 선택한다.
단계 S320에서 제1 대표 포인트와 제2 대표 포인트 사이의 복수의 대표 포인트를 더 선택한다.
단계 S330에서 제1 대표 포인트, 제2 대표 포인트 및 복수의 대표 포인트를 포함한 모든 대표 포인트 각각으로부터의 상기 패턴 형상들 중 하나의 패턴 형상의 네 변 중 거리가 가까운 변까지의 거리 값들을 산출하고 합산하여 합산 거리 값을 획득한다.
또한, 합산 거리 값을 획득하는 단계를 상기 하나의 패턴 형상 이외의 나머지 패턴 형상들 각각에 대해 반복 수행 한다.
단계 S340에서 각 패턴 형상 별 획득된 합산 거리 값들 중 가장 작은 합산 거리 값에 대응되는 패턴 형상을 대표 패턴 형상으로 선택한다.
도 15는 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 패턴 형상을 예로 들어 나타낸 것이다.
생성된 후보 박스 중 객체를 표현하기 위한 최적의 박스를 선택하기 위해 대표 포인트들과의 에러 값을 통해 선정한다. 후보 박스의 에러 값은 박스에 대한 대표 포인트들의 에러 값들을 합한 값으로 계산한다. 각 대표 포인트(e, D3, D4)들의 에러 값은 도 15의 (a)와 같이 후보 박스(310)를 구성하는 네 개 직선과의 수직 거리(L3, L4, L5, L6)를 계산하고 그 중 가장 근접한 거리의 직선과의 거리 값이 해당 포인트의 에러 값으로 결정한다. 대표 포인트(e)의 경우, L6이 에러 값으로 결정될 수 있다. 이러한 방식으로 후보 박스에 대한 대표 포인트들의 에러 값을 구하고 이를 통해 후보 박스의 에러 값을 계산한다.
도 15의 (b)와 같이 후보 박스들의 에러 값을 계산하고 후보 박스들 중 최소 에러 값을 가지는 후보 박스를 객체를 표현하는 최적의 박스로 결정하여 검출하며, 후보 박스(320)가 최종 대표 형상이 될 수 있다.
도 15에 나타난 바와 같이, 본 발명의 일 실시예에 따른 객체 형태 검출 방법의 대표 패턴 형상은 사각형의 박스 형태를 포함한다. 검출된 객체의 형태 정보 중 박스의 경우, 객체 연계 및 추적 시 현재 시간과 이전 시간의 동일 객체를 연계하고 해당 객체의 속도를 추정하기 위해 사용할 수 있다. 그리고 객체 분류의 경우, 객체를 구분하기 위해 다양한 정보들이 필요하다. 여러 정보들 중 라이다 센서의 포인트 형태 정보는 중요하게 사용될 수 있다. 하지만 모든 포인트 정보를 사용하기에는 상당한 연산 시간이 필요하기 때문에 높이 별 외곽선 정보를 통해 연산량 문제를 해결할 수 있다. 또한, 위치 인지를 위해 고정밀 지도(자율주행을 위한 HD맵)의 정보와 라이다 포인트 정보를 매칭하여 수행할 경우, 연산량이 많아 처리 시간이 상당히 오래 걸리는 문제가 있다. 이런 경우에 객체의 외곽 포인트 또는 외곽선의 세그먼트 정보를 이용하여 연산 시간에 있어 장점을 가질 수 있다. 뿐만 아니라, 경로 생성 및 주행 상황 판단 시 객체의 정밀한 위치 파악을 위해 도움을 줄 수 있다.
본 발명의 일 실시예에 따른 객체 형태 검출 장치 및 방법은 라이다 센서로부터 입력되는 모든 포인트들을 이용하여 객체 형태 정보를 검출 시 신속하고 정확하게 검출하기 위한 기술이다. 객체 내 모든 포인트들을 이용하여 객체의 형태 정보를 검출하기 위해서는 상당한 연산량이 필요하다. 본 발명의 일 실시예에 따른 객체 형태 검출 장치 및 방법은 객체의 외곽선 정보를 추출하여 외곽선 정보를 기반으로 후보 박스를 선정하고, 객체 내의 포인트들 중 대표 포인트들을 선정함으로써 연산 속도를 개선할 뿐만 아니라, 객체를 표현할 수 있는 후보 박스들 중 최소의 에러 값을 가지는 최적의 박스를 검출함으로써 보다 정확한 형태 정보를 제공한다. 또한, 다양한 센서 종류나 여러 센서가 장착된 환경에서도 동일한 연산 속도와 결과를 제공할 수 있는 장점이 있다.
또한, 이동체의 주변을 스캐닝한 스캐닝 정보를 객체로 추정되는 영역별로 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및 생성한 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.
또한, 이동체의 주변을 스캐닝한 스캐닝 정보를 객체로 추정되는 영역별로 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일 객체의 라인 정보를 획득하는 단계, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및 생성한 상기 패턴 형상들에서, 상기 스캐닝 정보를 이용하여 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (14)

  1. 이동체 주변의 객체를 검출하기 위해, 객체 형태 검출 장치에서 수행되는 객체 형태 검출 방법에 있어서,
    상기 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계,
    상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및
    상기 스캐닝 정보에 포함된 대표 포인트와 상기 패턴 형상들 각각의 일변까지의 거리 값에 기초하여, 상기 패턴 형상들 중에서, 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법.
  2. 제1항에 있어서,
    상기 스캐닝 정보는, 외부의 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터를 포함하는 객체 형태 검출 방법.
  3. 제2항에 있어서,
    상기 포인트 데이터는, 3차원 좌표 정보를 갖는 객체 형태 검출 방법.
  4. 제3항에 있어서,
    상기 라인 정보를 획득하는 단계는,
    상기 복수의 스캐닝 포인트를 하나의 평면에 투영시키는 단계와
    상기 투영된 복수의 스캐닝 포인트에서, 상기 이동체를 중심으로 각 포인트 데이터의 2차원 좌표를 2차원 극좌표계로 변환한 경우의 각 포인트 데이터의 극좌표값에 기초하여, 객체의 외곽 포인트들을 결정하는 단계를 포함하는 객체 형태 검출 방법.
  5. 제4항에 있어서,
    상기 객체의 외곽 포인트들을 결정하는 단계는,
    상기 투영된 복수의 스캐닝 포인트에 대해 스캐닝 각도의 크기에 따라 순차적으로 인덱스 값을 할당하는 단계,
    상기 인덱스 값이 할당된 순서에 기초하여, N번 포인트(여기서, N은 1 이상의 자연수)와 N+2번 포인트를 연결하여 제1 연결선을 생성하는 단계,
    상기 라이다 센서의 2차원 좌표를 기준점으로 하고, 상기 기준점과 N+1번 포인트를 연결한 제2 연결선의 길이를 산출하는 단계 및
    상기 기준점으로부터 상기 제1 연결선까지의 수직 거리와 제2 연결선의 길이를 비교하여, 상기 제2 연결선의 길이가 상기 수직 거리보다 작은 경우 상기 N+1번 포인트를 외곽 포인트로서 결정하는 단계를 포함하는 객체 형태 검출 방법.
  6. 제4항에 있어서,
    상기 라인 정보를 획득하는 단계는,
    결정한 상기 외곽 포인트들에서 서로 가장 인접한 두 외곽 포인트를 각각 연결하여 복수의 외곽 라인들을 생성하고, 상기 생성한 외곽 라인들을 연결하여 라인 정보를 획득하는 단계를 더 포함하는 객체 형태 검출 방법.
  7. 제6항에 있어서,
    상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계는,
    상기 복수의 외곽 라인들 중 하나의 외곽 라인이 일변에 포함되는 다각형의 패턴 형상을 생성하되, 상기 객체의 모든 포인트 데이터가 상기 다각형의 패턴 형상 내부에 포함되는 객체 형태 검출 방법.
  8. 제7항에 있어서,
    상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계는,
    상기 다각형의 패턴 형상에서, 상기 복수의 외곽 라인들 중 서로 수직인 외곽 라인으로부터 생성된 패턴 형상 중 하나를 제외시키는 객체 형태 검출 방법.
  9. 제6항에 있어서,
    상기 패턴 형상들은 상기 외곽 포인트를 그 내부에 모두 포함하는 직사각형 형태를 갖고, 각 패턴 형상들은 서로 배치 각도가 상이하며,
    상기 스캐닝 정보를 이용하여 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계는,
    상기 투영된 복수의 스캐닝 포인트에 대해 최저 각도와 최대 각도를 갖는 제1 대표 포인트와 제2 대표 포인트를 선택하는 단계;
    상기 제1 대표 포인트와 제2 대표 포인트 사이의 복수의 대표 포인트를 더 선택하는 단계;
    상기 제1 대표 포인트, 제2 대표 포인트 및 복수의 대표 포인트를 포함한 모든 대표 포인트 각각으로부터의 상기 패턴 형상들 중 하나의 패턴 형상의 네 변 중 거리가 가까운 변까지의 거리 값들을 산출하고 합산하여 합산 거리 값을 획득하는 단계;
    상기 합산 거리 값을 획득하는 단계를 상기 하나의 패턴 형상 이외의 나머지 패턴 형상들 각각에 대해 반복 수행 하는 단계; 및
    상기 각 패턴 형상 별 획득된 합산 거리 값들 중 가장 작은 합산 거리 값에 대응되는 패턴 형상을 대표 패턴 형상으로 선택하는 단계;를 포함하는 객체 형태 검출 방법.
  10. 제4항에 있어서,
    상기 라인 정보를 획득하는 단계는,
    상기 복수의 스캐닝 포인트를 하나의 평면에 투영시키는 단계 이전에,
    수직 방향으로 소정의 높이 간격을 설정하고, 상기 높이 간격에 따라 상기 복수의 스캐닝 포인트를 분류하는 단계를 더 포함하는 객체 형태 검출 방법.
  11. 이동체 주변의 객체를 검출하기 위한 객체 형태 검출 장치에 있어서,
    상기 이동체의 주변을 스캐닝한 스캐닝 정보를 저장하는 메모리; 및
    상기 스캐닝 정보로부터 상기 객체의 형태를 검출하는 프로세서;를 포함하며,
    상기 프로세서는, 상기 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하며, 상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하고, 상기 스캐닝 정보에 포함된 대표 포인트와 상기 패턴 형상들 각각의 일변까지의 거리 값에 기초하여, 상기 패턴 형상들 중에서, 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 객체 형태 검출 장치.
  12. 제11항에 있어서,
    상기 스캐닝 정보는, 외부의 라이다 센서를 통해 획득된 복수의 스캐닝 포인트에 대한 포인트 데이터를 포함하는 객체 형태 검출 장치.
  13. 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계,
    상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및
    상기 스캐닝 정보에 포함된 대표 포인트와 상기 패턴 형상들 각각의 일변까지의 거리 값에 기초하여, 상기 패턴 형상들 중에서, 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체.
  14. 이동체의 주변을 스캐닝한 스캐닝 정보에서 단일의 객체로 추정되는 영역을 결정하고, 상기 결정된 단일의 객체의 컨투어를 추출하기 위하여 단일의 객체의 라인 정보를 획득하는 단계,
    상기 라인 정보를 이용하여, 상기 라인 정보의 적어도 일부가 일변에 포함되는 패턴 형상들을 생성하는 단계 및
    상기 스캐닝 정보에 포함된 대표 포인트와 상기 패턴 형상들 각각의 일변까지의 거리 값에 기초하여, 상기 패턴 형상들 중에서, 상기 단일의 객체의 형태에 대응되는 대표 패턴 형상을 선택하는 단계를 포함하는 객체 형태 검출 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
KR1020210007695A 2021-01-19 2021-01-19 객체 형태 검출 장치 및 방법 KR102275671B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210007695A KR102275671B1 (ko) 2021-01-19 2021-01-19 객체 형태 검출 장치 및 방법
US17/399,475 US20220229186A1 (en) 2021-01-19 2021-08-11 Object shape detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210007695A KR102275671B1 (ko) 2021-01-19 2021-01-19 객체 형태 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102275671B1 true KR102275671B1 (ko) 2021-07-12

Family

ID=76859281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007695A KR102275671B1 (ko) 2021-01-19 2021-01-19 객체 형태 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US20220229186A1 (ko)
KR (1) KR102275671B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858902B1 (ko) * 2017-06-26 2018-05-16 한국도로공사 컴포넌트를 활용한 점군 데이터의 객체 위치정보 추출 시스템
JP2020026981A (ja) * 2018-08-09 2020-02-20 株式会社Ihi 物体検出装置及び物体検出方法
KR20200126141A (ko) * 2019-04-29 2020-11-06 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858902B1 (ko) * 2017-06-26 2018-05-16 한국도로공사 컴포넌트를 활용한 점군 데이터의 객체 위치정보 추출 시스템
JP2020026981A (ja) * 2018-08-09 2020-02-20 株式会社Ihi 物体検出装置及び物体検出方法
KR20200126141A (ko) * 2019-04-29 2020-11-06 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법

Also Published As

Publication number Publication date
US20220229186A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US11709058B2 (en) Path planning method and device and mobile device
US10366310B2 (en) Enhanced camera object detection for automated vehicles
US10031231B2 (en) Lidar object detection system for automated vehicles
CN107766405B (zh) 自动车辆道路模型定义系统
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN116129376A (zh) 一种道路边缘检测方法和装置
CN109001757B (zh) 一种基于2d激光雷达的车位智能检测方法
CN112880694B (zh) 确定车辆的位置的方法
US20230251097A1 (en) Efficient map matching method for autonomous driving and apparatus thereof
CN114384492B (zh) 用于激光雷达的点云处理方法及装置、存储介质
CN114384491B (zh) 用于激光雷达的点云处理方法及装置、存储介质
CN114663526A (zh) 障碍物检测方法、装置、机器人及计算机可读存储介质
CN115268443A (zh) 一种机器人避障路径规划方法
CN113008296A (zh) 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元
US20220171975A1 (en) Method for Determining a Semantic Free Space
KR102275671B1 (ko) 객체 형태 검출 장치 및 방법
US20220363288A1 (en) Method and Apparatus for Tracking Object Using Lidar Sensor and Recording Medium Storing Program to Execute the Method
JP2019179495A (ja) センサ処理システム、測距システム、移動体、センサ処理方法及びプログラム
CN114489050A (zh) 沿直线行驶的避障路线控制方法、装置、设备及存储介质
JP7165630B2 (ja) 認識システム、車両制御システム、認識方法、およびプログラム
US20240085526A1 (en) Method and system for detecting object
US20220189040A1 (en) Method of determining an orientation of an object and a method and apparatus for tracking an object
US20220413147A1 (en) Method for detecting ground using lidar sensor and ground detection device performing same
US20220404467A1 (en) Method of detecting road-curb with lidar sensor and road-curb detecting apparatus for performing the method
US20230168378A1 (en) Object detection device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant