KR20210124789A - 라이다센서 기반의 객체 인식 장치 및 그 방법 - Google Patents

라이다센서 기반의 객체 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20210124789A
KR20210124789A KR1020200042291A KR20200042291A KR20210124789A KR 20210124789 A KR20210124789 A KR 20210124789A KR 1020200042291 A KR1020200042291 A KR 1020200042291A KR 20200042291 A KR20200042291 A KR 20200042291A KR 20210124789 A KR20210124789 A KR 20210124789A
Authority
KR
South Korea
Prior art keywords
point
contour
representative
points
lidar sensor
Prior art date
Application number
KR1020200042291A
Other languages
English (en)
Inventor
노미림
백주헌
김병광
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200042291A priority Critical patent/KR20210124789A/ko
Priority to US17/009,381 priority patent/US11423546B2/en
Priority to CN202010951281.4A priority patent/CN113552587A/zh
Publication of KR20210124789A publication Critical patent/KR20210124789A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 라이다센서 기반의 객체 인식 장치 및 그 방법에 관한 것으로, 라이다센서에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 객체의 유효 윤곽점으로 이루어진 윤곽선에 기초하여 객체의 형태를 인식함으로써, 도로상에 위치한 객체의 형태를 정확도 높게 인식할 수 있어 자율주행차량의 주행 안정성을 향상시킬 수 있는 라이다센서 기반의 객체 인식 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 라이다센서 기반의 객체 인식 장치에 있어서, 자율주행차량 주변의 포인트 클라우드를 생성하는 라이다센서; 및 상기 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 유효 윤곽점으로 이루어진 윤곽선에 기초하여 상기 객체의 형태를 인식하는 제어부를 포함한다.

Description

라이다센서 기반의 객체 인식 장치 및 그 방법{APPARATUS FOR RECOGNIZING OBJECT BASED ON LIDAR SENSOR AND METHOD THEREOF}
본 발명은 라이다센서에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점(Contour Point)을 추출하고, 이에 기초하여 객체의 형태를 인식하는 기술에 관한 것이다.
일반적으로, 포인트 클라우드는 좌표계상에서 데이터의 집합을 의미하는 것으로, 3차원 좌표계에서는 x,y,z 좌표로 정의되며, 대부분 객체의 외부 표면을 나타낸다.
이러한 포인트 클라우드는 3D 라이다(LiDAR, Light Detection And Ranging) 센서에 의해 생성될 수 있으며, 3D 라이다센서는 자율주행차량에 탑재되어 주변 차량과 차선 및 각종 장애물을 검출하는데 주로 사용된다.
3D 라이다센서는 자율주행차량의 주변영역에서 방대한 양의 포인트 클라우드를 생성하기 때문에 효율적인 클러스터링 기술이 요구된다. 일례로, 포인트 클라우드의 클러스터링 기술은 포인트 클라우드(3차원 포인트)를 2D 형태의 사각 그리드 맵에 투영하여 2차원 포인트로 변환하고, 상기 변환된 사각 그리드 맵 상의 2차원 포인트를 대상으로 "8-neighborhood" 기법을 사용한다.
이러한 포인트 클라우드로부터 객체의 형태를 인식하는 종래의 기술은, 단순히 'Convex hull' 알고리즘을 기반으로 객체의 형태를 인식하기 때문에 자율주행차량을 관점에서 위로 볼록한 형태의 객체를 정확도 높게 인식하지 못하는 문제점이 있다.
참고로, 'Convex hull' 알고리즘은 포인트 클라우드로부터 객체의 형태를 생성하는 알고리즘으로서, 구체적으로 두 점 사이에 위치한 점이 상기 두점을 잇는 선분(Segment)의 안쪽(자율주행차량의 위치를 기준으로 가까운 쪽)에 위치하면 객체의 윤곽점으로 추출하고, 바깥쪽에 위치하면 객체의 윤곽점으로 추출하지 않는 방식으로 객체의 형태를 생성한다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 라이다센서에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 객체의 유효 윤곽점으로 이루어진 윤곽선에 기초하여 객체의 형태를 인식함으로써, 도로상에 위치한 객체의 형태를 정확도 높게 인식할 수 있어 자율주행차량의 주행 안정성을 향상시킬 수 있는 라이다센서 기반의 객체 인식 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치는, 자율주행차량 주변의 포인트 클라우드를 생성하는 라이다센서; 및 상기 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 유효 윤곽점으로 이루어진 윤곽선에 기초하여 상기 객체의 형태를 인식하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 자율주행차량의 위치를 원점으로 설정하고, 상기 원점을 지나는 수평선을 0°로 설정하며, 상기 포인트 클라우드를 제1 기준각도 간격의 영역으로 구분한 후 각 영역별로 상기 원점에 가장 가까이 위치한 포인트를 해당 영역의 대표점으로 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 원점과 각 대표점 사이의 거리에 기초하여 상기 추출한 대표점들 중에서 객체의 윤곽점을 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 대표점들의 시작점과 끝점을 윤곽점으로 추출하고, 제1 대표점의 양옆에 위치한 상기 시작점과 제2 대표점을 잇는 제1 선분을 생성하며, 상기 원점과 제1 대표점을 잇는 제2 선분을 생성하고, 제1 선분과 제2 선분의 교점을 생성하며, 상기 제2 선분의 길이가 상기 원점과 상기 교점을 잇는 선분의 길이를 초과하지 않으면 상기 제1 대표점을 윤곽점으로 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 제2 대표점의 윤곽점 추출 여부 결정시, 상기 제1 대표점을 윤곽점으로 추출한 경우에는 상기 제2 대표점의 양옆에 위치한 대표점을 제1 대표점과 제3 대표점으로 설정하고, 상기 제1 대표점이 윤곽점으로 추출되지 않은 경우에는 상기 제2 대표점의 양옆에 위치한 대표점을 상기 시작점과 제3 대표점으로 설정할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 윤곽점들 사이의 거리에 기초하여 상기 대표점들 중에서 윤곽점을 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 제1 윤곽점과 제2 윤곽점 사이의 거리가 기준거리를 초과하는 경우, 상기 기준거리 지점을 기준점으로 정하고, 상기 기준점으로부터 기준거리 내에 위치한 대표점을 윤곽점으로 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 기준점으로부터 기준거리 내에 위치한 대표점이 복수인 경우, 상기 기준점에 가장 가까이 위치한 대표점을 윤곽점으로 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 기준점으로부터 기준거리 내에 위치한 대표점이 없는 경우, 상기 제2 윤곽점에 가장 가까이 위치한 대표점을 윤곽점으로 추출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 전체 윤곽점 중에서 유효도가 낮은 윤곽점을 제거할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 전체 윤곽점 중에서 첫번째 윤곽점과 마지막 윤곽점을 제거 대상에서 제외하고, 1차 필터링으로서 이전 윤곽점과의 거리가 최소거리를 초과하지 않는 윤곽점을 제거할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 2차 필터링으로서, 상기 1차 필터링한 윤곽점들을 순차적으로 잇는 각 선분 중에서, 그 길이가 기준거리 이내이면서, 첫번째 윤곽점과 마지막 윤곽점을 잇는 기준선분과 이루는 각도가 제2 기준각도를 초과하지 않는 선분의 끝점을 제거할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 2차 필터링의 결과인 유효 윤곽점의 개수가 기준개수를 초과하는 경우, 상기 제2 기준각도를 매회 증가시키면서 상기 2차 필터링을 반복 수행할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 방법은, 라이다센서가 자율주행차량 주변의 포인트 클라우드를 생성하는 단계; 제어부가 상기 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하는 단계; 및 상기 제어부가 상기 추출한 유효 윤곽점으로 이루어진 윤곽선에 기초하여 상기 객체의 형태를 인식하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 객체의 유효 윤곽점을 추출하는 단계에서, 상기 포인트 클라우드로부터 복수의 대표점을 추출하는 단계; 상기 자율주행차량과 각 대표점 사이의 거리에 기초하여 상기 복수의 대표점 중에서 윤곽점을 1차 추출하는 단계; 상기 윤곽점 사이의 거리에 기초하여 상기 복수의 대표점 중에서 윤곽점을 2차 추출하는 단계; 및 전체 윤곽점 중에서 유효도가 낮은 윤곽점을 제거하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 복수의 대표점을 추출하는 단계에서, 상기 자율주행차량의 위치를 원점으로 설정하는 단계; 상기 원점을 지나는 수평선을 0°로 설정하는 단계; 상기 포인트 클라우드를 제1 기준각도 간격의 영역으로 구분하는 단계; 및 각 영역별로 상기 원점에 가장 가까이 위치한 포인트를 해당 영역의 대표점으로 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 윤곽점을 1차 추출하는 단계에서, 상기 대표점들의 시작점과 끝점을 윤곽점으로 추출하는 단계; 제1 대표점의 양옆에 위치한 상기 시작점과 제2 대표점을 잇는 제1 선분을 생성하는 단계; 상기 원점과 제1 대표점을 잇는 제2 선분을 생성하는 단계; 상기 제1 선분과 상기 제2 선분의 교점을 생성하는 단계; 및 상기 제2 선분의 길이가 상기 원점과 상기 교점을 잇는 선분의 길이를 초과하지 않는 경우, 상기 제1 대표점을 윤곽점으로 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 윤곽점을 2차 추출하는 단계에서, 제1 윤곽점과 제2 윤곽점 사이의 거리가 기준거리를 초과하는 경우, 상기 기준거리 지점을 기준점으로 정하는 단계; 상기 기준점으로부터 기준거리 내에 위치한 대표점을 윤곽점으로 추출하는 단계; 상기 기준점으로부터 기준거리 내에 위치한 대표점이 복수인 경우, 상기 기준점에 가장 가까이 위치한 대표점을 윤곽점으로 추출하는 단계; 및 상기 기준점으로부터 기준거리 내에 위치한 대표점이 없는 경우, 상기 제2 윤곽점에 가장 가까이 위치한 대표점을 윤곽점으로 추출하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 유효도가 낮은 윤곽점을 제거하는 단계에서, 상기 전체 윤곽점 중에서 첫번째 윤곽점과 마지막 윤곽점을 제거 대상에서 제외하는 단계; 및 1차 필터링으로서 이전 윤곽점과의 거리가 최소거리를 초과하지 않는 윤곽점을 제거하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 유효도가 낮은 윤곽점을 제거하는 단계에서, 상기 1차 필터링한 윤곽점들을 순차적으로 잇는 각 선분 중에서, 그 길이가 기준거리 이내이면서, 첫번째 윤곽점과 마지막 윤곽점을 잇는 기준선분과 이루는 각도가 제2 기준각도를 초과하지 않는 선분의 끝점을 제거하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치 및 그 방법은, 라이다센서에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 객체의 유효 윤곽점으로 이루어진 윤곽선에 기초하여 객체의 형태를 인식함으로써, 도로상에 위치한 객체의 형태를 정확도 높게 인식할 수 있어 자율주행차량의 주행 안정성을 향상시킬 수 있다.
도 1 은 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 대한 구성도,
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 대표점 추출기가 포인트 클라우드로부터 대표점을 추출하는 과정을 나타내는 도면,
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제1 윤곽점 추출기가 제1 윤곽점을 추출하는 과정을 나타내는 도면,
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제2 윤곽점 추출기가 제2 윤곽점을 추출하는 과정을 나타내는 도면,
도 5 는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제1 필터가 전체 윤곽점 중에서 유효도가 낮은 윤곽점을 제거하는 과정(1차 필터링)을 나타내는 도면,
도 6 은 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제2 필터가 1차 필터링 결과에서 유효도가 낮은 윤곽점을 제거하는 과정(2차 필터링)을 나타내는 도면,
도 7 은 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 방법에 대한 흐름도,
도 8 은 본 발명의 일 실시예에 따른 커넥티드카 서비스 정보 보호 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 대한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치는, 저장부(Storage, 10), 라이다센서(20), 및 제어부(Controller, 30)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 라이다센서(20)에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 객체의 유효 윤곽점으로 이루어진 윤곽선에 기초하여 객체의 형태를 인식하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.
저장부(10)는 포인트 클라우드로부터 대표점을 추출하는데 이용되는 제1 기준 각도값(일례로, 0.25°)을 저장할 수 있다.
저장부(10)는 제1 윤곽점을 추출하는데 이용되는 'Convex hull' 알고리즘을 저장할 수 있다. 이때, 'Convex hull' 알고리즘은 주지 관용의 기술이다.
저장부(10)는 제2 윤곽점을 추출하거나 유효 윤곽점을 추출하는데 이용되는 기준 거리값(일례로, 3m)을 저장할 수 있다.
저장부(10)는 전체 윤곽점(제1 윤곽점 추출기(32)에 의해 추출된 윤곽점과 제2 윤곽점 추출기(33)에 의해 추출된 윤곽점을 통칭) 중에서 유효도가 낮은 윤곽점을 1차 제거(1차 필터링)하는데 이용되는 최소 거리값(일례로, 0.5m)을 저장할 수 있다.
저장부(10)는 제1 필터(34)에 의해 1차 필터링된 윤곽점(전체 윤곽점 중에서 유효도가 낮은 윤곽점이 1차 제거되고 남은 윤곽점) 중에서 유효도가 낮은 윤곽점을 2차 제거(2차 필터링)하는데 이용되는 제2 기준 각도값(일례로, 10°)을 저장할 수 있다.
저장부(10)는 유효 윤곽점에 대한 기준개수(일례로, 30개)를 저장할 수 있다.
저장부(10)는 2차 필터링의 결과인 유효 윤곽점의 개수가 기준개수를 초과하는 경우, 매회 제2 기준 각도값을 두배로 증가시키면서 상기 2차 필터링을 반복 수행하게 되는데, 이때 2차 필터링의 반복 횟수를 제한하는 값으로서 최대 기준 각도값(일례로, 80°)를 저장할 수 있다.
저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
라이다센서(20)는 자율주행차량에 장착되어 주변의 객체들에 대한 포인트 클라우드를 생성한다.
제어부(30)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(30)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(30)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
특히, 제어부(30)는 라이다센서(20)에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 객체의 유효 윤곽점으로 이루어진 윤곽선(Contour Line)에 기초하여 객체의 형태를 인식하는 과정에서 각종 제어를 수행할 수 있다.
이러한 제어부(30)는 기능 블록으로서, 대표점 추출기(Sample Point Extractor, 31), 제1 윤곽점 추출기(32), 제2 윤곽점 추출기(33), 제1 필터(34), 제2 필터(35), 객체 인식기(Object Recognizer, 36)를 포함할 수 있다.
이하, 도 2a 내지 도 6을 참조하여 제어부(30)의 상세 구성에 대해 살펴보기로 한다. 아울러, 이해를 돕기 위해 극히 제한된 개수의 포인트 클라우드를 예로 들어 설명하지만 이에 한정되는 것은 아니다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 대표점 추출기가 포인트 클라우드로부터 대표점을 추출하는 과정을 나타내는 도면이다.
도 2a는 라이다센서(20)에 의해 생성된 포인트 클라우드에 대한 클러스터링(Clustering) 결과를 나타낸다. 이렇게 클러스터링된 포인트들(
Figure pat00001
)은 하나의 객체를 구성하는 것으로 간주될 수 있다. 아울러, '200'은 본 발명의 일 실시예에 따른 객체 인식 장치가 장착된 자율주행차량을 나타내며, 상기 자율주행차량(200)의 임의의 부위(일례로 전방 가운데)를 원점(O)으로 하고, 상기 원점(O)을 지나는 수평선을 0°로 설정할 수 있다.
도 2b는 대표점 추출기(31)가 대표점을 추출하기 위해 포인트 클라우드를 제1 기준각도(일례로, 0.25°) 간격의 영역으로 구분한 결과를 나타낸다. 대표점 추출기(31)는 각 영역별로 자율주행차량(200)에 가장 가까이 위치한 포인트를 해당 영역의 대표점으로 추출할 수 있다.
일례로,
Figure pat00002
이 포함된 영역은 다른 포인트가 존재하지 않기 때문에
Figure pat00003
이 대표점으로 선택되며,
Figure pat00004
와
Figure pat00005
가 포함된 영역은 자율주행차량(200)에 더 가까이 위치한
Figure pat00006
가 대표점으로 선택된다.
도 2c는 대표점 추출기(31)에 의해 추출된 대표점들(p1 ~ p8)을 나타낸다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제1 윤곽점 추출기가 제1 윤곽점을 추출하는 과정을 나타내는 도면이다.
이러한 제1 윤곽점 추출기(32)는 'Convex hull' 알고리즘에 기초하여 제1 윤곽점을 추출할 수 있으며, 이하에서는 대표점 추출기(31)에 의해 추출된 대표점들(p1 ~ p8)을 대상으로 제1 윤곽점을 추출하는 과정에 대해 설명하기로 한다.
도 3a에 도시된 바와 같이, 제1 윤곽점 추출기(32)는 대표점 추출기(31)에 의해 추출된 대표점들(p1 ~ p8) 중에서 복수의 제1 윤곽점을 추출할 수 있다. 이때, 제1 윤곽점 추출기(32)는 기본적으로 시작점(p1)과 끝점(p8)을 제1 윤곽점으로 추출하며, 나머지 포인트들(p2 ~ p7)은 하기의 과정을 거쳐 제1 윤곽점으로 추출될 수 있다.
일례로, p2 포인트를 제1 윤곽점으로 추출할지의 여부를 판단하는 과정에 대해 설명한다. 제1 윤곽점 추출기(32)는 p2 포인트(A)의 양옆에 위치한 p1 포인트(B)와 p3 포인트(N) 사이를 잇는 선분(
Figure pat00007
) 긋고, 원점(O)과 p2 포인트(A)를 잇는 선분(
Figure pat00008
)을 긋는다. 이때, 선분
Figure pat00009
와 선분
Figure pat00010
의 교점을 l1 이라 한다.
이후, 제1 윤곽점 추출기(32)는 원점(O)과 p2 포인트(A)를 잇는 선분(
Figure pat00011
)의 길이가, 원점(O)과 교점(l1)을 잇는 선분의 길이를 초과하면 p2 포인트(A)를 제1 윤곽점으로 추출하지 않고, 초과하지 않으면 p2 포인트(A)를 제1 윤곽점으로 추출한다.
따라서, 제1 윤곽점 추출기(32)는 p2 포인트(A)를 제1 윤곽점으로 추출하지 않는다. 이렇게 p2 포인트(A)가 제1 윤곽점으로 추출되지 않았기 때문에, p3 포인트를 제1 윤곽점으로 추출할지의 여부를 결정하는 과정에서 p3 포인트의 양옆에 위치한 포인트는 p1 포인트와 p4 포인트가 된다. 물론, p2 포인트(A)가 제1 윤곽적으로 추출되었다면 p3 포인트의 양옆에 위치한 포인트는 p2 포인트와 p4 포인트가 된다.
도 3b는 상술한 방식으로 끝점(p8)을 제외한 나머지 포인트들(p3 ~ p7)에 대해 제1 윤곽점으로 추출할지의 여부를 결정하는 과정을 나타낸다.
도 3b에 도시된 바와 같이, 나머지 포인트들(p3 ~ p7) 역시 상기 조건을 만족하지 못하므로, 제1 윤곽점 추출기(32)는 시작점(p1)과 끝점(p8)을 제외한 모든 포인트들(p2 ~ p7)을 제1 윤곽점으로 추출하지 않는다. 그 결과는 도 3c에 도시된 바와 같다.
이렇게 객체의 윤곽점을 시작점(p1)과 끝점(p8)만으로 표현하는 경우, 객체의 형태를 명확히 나타낼 수 없다. 따라서, 이를 보완하기 위해 제2 윤곽선 추출기(33)를 구비할 수 있다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제2 윤곽점 추출기가 제2 윤곽점을 추출하는 과정을 나타내는 도면이다.
도 4a는 대표점 추출기(31)에 의해 추출된 대표점들(p1 ~ p8)을 나타내고, 이 중에서 p1 포인트와 p8 포인트는 제1 윤곽점 추출기(32)에 의해 추출된 제1 윤곽점을 나타내며, 아울러 d1은 기준거리(일례로, 3m)를 나타낸다.
일반적으로, p1 포인트와 p8 포인트 사이의 거리가 길면 객체의 형태를 정확히 표현할 수 없는 바, 제2 윤곽점 추출기(33)는 대표점 추출기(31)에 의해 추출된 대표점들(p1 ~ p8) 중에서 추가로 제2 윤곽점을 추출할 수 있다.
도 4a에 도시된 바와 같이, 제2 윤곽점 추출기(33)는 p1 포인트와 p8 포인트를 잇는 선분을 긋고, 상기 선분상에서 p1 포인트로부터 p8 포인트 방향으로 기준거리에 위치한 지점(s1)을 정한다.
이후, 제2 윤곽점 추출기(33)는 상기 지점(s1)으로부터 기준거리(일례로, 3m) 이내에 위치한 대표점들 중에서, 상기 지점(s1)에 가장 가까이 위치한 대표점(p3)을 제2 윤곽점으로 추출한다.
이후, 제2 윤곽점 추출기(33)는 도 4b에 도시된 바와 같이, p3 포인트와 p8 포인트를 잇는 선분을 긋고, 상기 선분상에서 p3 포인트로부터 p8 포인트 방향으로 기준거리에 위치한 지점(s2)을 정한다.
이후, 제2 윤곽점 추출기(33)는 상기 지점(s2)으로부터 기준거리 이내에 위치한 대표점들 중에서 상기 지점(s2)에 가장 가까이 위치한 대표점(p4)을 제2 윤곽점으로 추출한다.
이후, 제2 윤곽점 추출기(33)는 p4 포인트와 p8 포인트를 잇는 선분을 긋고, 상기 선분상에서 p4 포인트로부터 p8 포인트 방향으로 기준거리에 위치한 지점(s3)을 정한다.
이후, 제2 윤곽점 추출기(33)는 상기 지점(s3)으로부터 기준거리 이내에 위치한 대표점들 중에서 상기 지점(s3)에 가장 가까이 위치한 대표점(p6)을 제2 윤곽점으로 추출한다.
이후, 제2 윤곽점 추출기(33)는 p6 포인트와 p8 포인트를 잇는 선분을 긋고, 상기 선분상에서 p6 포인트로부터 p8 포인트 방향으로 기준거리에 위치한 지점(s4)을 정한다.
이후, 제2 윤곽점 추출기(33)는 상기 지점(s4)으로부터 기준거리 이내에 위치한 대표점들 중에서 상기 지점(s4)에 가장 가까이 위치한 대표점(p7)을 제2 윤곽점으로 추출한다.
이렇게 추출된 제2 윤곽점들은 p3, p4, p6, p7이며, 제1 윤곽점과 제2 윤곽점을 통칭하는 전체 윤곽점(p1, p3, p4, p6, p7, p8)은 도 4c에 도시된 바와 같다.
한편, 상기 s1 지점으로부터 기준거리 이내에 위치한 대표점들이 존재하지 않는 경우, 도 4d에 도시된 바와 같이 제2 윤곽점 추출기(33)는 P8 포인트에 가장 가까이 위치한 대표점(p7)을 제2 윤곽점으로 추출한다. 이 경우에 전체 윤곽점은 p1, p7, p8이 된다.
도 5 는 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제1 필터가 전체 윤곽점 중에서 유효도가 낮은 윤곽점을 제거하는 과정(1차 필터링)을 나타내는 도면이다.
도 5에서 p1, p3, p4, p6, p7, p8는 전체 윤곽점을 나타낸다. 제1 필터(34)는 전체 윤곽점 중에서 이전 윤곽점과의 거리가 최소거리를 초과하지 않는 윤곽점을 제거한다.
도 5에 도시된 바와 같이, p3 윤곽점으로부터 p4 윤곽점까지의 거리(점선)가 최소거리를 초과하지 않으므로, p4 윤곽점이 제거된 것을 알 수 있다. 따라서, 윤곽선은 p3 윤곽점에서 p6 윤곽점으로 직접 연결된다.
도 6 은 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 장치에 구비된 제2 필터가 1차 필터링 결과에서 유효도가 낮은 윤곽점을 제거하는 과정(2차 필터링)을 나타내는 도면이다.
도 6에서 윤곽점들(p1, p3, p6, p7, p8)은 제1 필터(34)에 의해 1차 필터링 결과를 나타낸다.
또한, p3 윤곽점과 p6 윤곽점 사이의 거리를 d6, p6 윤곽점과 p7 윤곽점 사이의 거리를 d7a, p3 윤곽점과 p7 윤곽점 사이의 거리를 d7b, p1 윤곽점과 p3 윤곽점을 잇는 선분과 p3 윤곽점과 p6 윤곽점을 잇는 선분이 이루는 각을 θ6, p3 윤곽점과 p6 윤곽점을 잇는 선분과 p6 윤곽점과 p7 윤곽점을 잇는 선분이 이루는 각을 θ7a, p1 윤곽점과 p3 윤곽점을 잇는 선분과 p6 윤곽점과 p7 윤곽점을 잇는 선분이 이루는 각을 θ7b로 각각 나타낸다.
이하, 제2 필터(35)가 p6 윤곽점의 제거 여부를 판단하는 과정에 대해 설명한다. 이때, p1 윤곽점과 p3 윤곽점을 잇는 선분은 기준선분이 되는 바, p3 윤곽점은 제거 대상에서 제외된다.
1) d6가 기준거리를 초과하면 p6 윤곽점은 제거되지 않는다.
2-1) d6가 기준거리를 초과하지 않으면서 θ6가 제2 기준각도를 초과하면 p6 윤곽점은 제거되지 않는다.
2-2) d6가 기준거리를 초과하지 않으면서 θ6가 제2 기준각도를 초과하지 않으면 p6 윤곽점은 제거된다.
3) p6 윤곽점이 제거된 경우에는 상기 기준선분(p1 윤곽점과 p3 윤곽점을 잇는 선분)을 유지하고, p6 윤곽점이 제거되지 않은 경우에는 p3 윤곽점과 p6 윤곽점을 잇는 선분이 새로운 기준선분이 된다.
이하, 제2 필터(35)가 p7 윤곽점의 제거 여부를 판단하는 과정에 대해 설명한다. 이때, p7 윤곽점의 제거 여부는 p6 윤곽점의 상태에 따라 달라지는 바, p6 윤곽점이 제거되지 않은 경우와 p6 윤곽점이 제거된 경우를 구분하여 설명한다.
[p6 윤곽점이 제거되지 않은 경우]
1) p3 윤곽점과 p6 윤곽점을 잇는 선분이 새로운 기준선분이 된다.
2-1) d7a가 기준거리를 초과하면 p7 윤곽점은 제거되지 않는다.
2-2) d7a가 기준거리를 초과하지 않으면서 θ7a가 제2 기준각도를 초과하면 p7 윤곽점은 제거되지 않는다.
2-3) d7a가 기준거리를 초과하지 않으면서 θ7a가 제2 기준각도를 초과하지 않으면 p7 윤곽점은 제거된다.
[p6 윤곽점이 제거된 경우]
1) 현재 기준선분은 유지된다.
2-1) d7b가 기준거리를 초과하면 이전에 제거된 p6 윤곽점을 되살린다.
2-2) 이후의 과정은 상기 [p6 윤곽점이 제거되지 않은 경우]와 동일하다.
3-1) d7b가 기준거리를 초과하지 않으면서 θ7b가 제2 기준각도를 초과하면 p7 윤곽점은 제거되지 않는다.
3-2) d7b가 기준거리를 초과하지 않으면서 θ7b가 제2 기준각도를 초과하지 않으면 p7 윤곽점은 제거된다.
이러한 과정을 통해, 최종적으로 남은 유효 윤곽점은 p1, p3, p7, p8이 된다. 이때, p6 윤곽점은 제거되었다.
본 발명의 일 실시예에서는 소수의 윤곽점(p1, p3, p6, p7, p8)을 예로 들어 설명하였지만, 상술한 방식을 적용하여 윤곽점의 개수에 상관 없이 유효도가 낮은 윤곽점을 제거할 수 있다.
한편, 객체 인식기(36)는 유효 윤곽점의 개수가 기준개수를 초과하지 않는 경우, 유효 윤곽점을 잇는 윤곽선에 기초하여 객체의 형태를 인식한다.
객체 인식기(36)는 유효 윤곽점의 개수가 기준개수를 초과하는 경우, 제2 필터링 과정을 반복 수행하되, 매회 제2 기준 각도값을 두배로 증가시켜 유효 윤곽점의 개수를 줄일 수 있다.
이상, 제어부(30)의 상세 구성에 대해 살펴 봤으며, 이러한 상세 구성의 모든 기능은 제어부(30)에 의해 수행될 수 있다.
도 7 은 본 발명의 일 실시예에 따른 라이다센서 기반의 객체 인식 방법에 대한 흐름도이다.
먼저, 라이다센서(20)가 자율주행차량 주변의 포인트 클라우드를 생성한다(701).
이후, 제어부(30)가 라이다센서(20)에 의해 생성된 포인트 클라우드로부터 객체의 유효 윤곽점을 추출한다(702). 이때, 제어부(30)는 주지 관용의 기술에 기초하여 포인트 클라우드를 클러스터링(Clustering) 하는 과정을 더 수행할 수 있다.
이후, 제어부(30)가 상기 추출한 유효 윤곽점으로 이루어진 윤곽선에 기초하여 상기 객체의 형태를 인식한다(703).
도 8 은 본 발명의 일 실시예에 따른 커넥티드카 서비스 정보 보호 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 8을 참조하면, 상술한 본 발명의 일 실시예에 따른 커넥티드카 서비스 정보 보호 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory, 1310) 및 RAM(Random Access Memory, 1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 저장부
20: 라이다센서
30: 제어부

Claims (20)

  1. 자율주행차량 주변의 포인트 클라우드를 생성하는 라이다센서; 및
    상기 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하고, 상기 추출한 유효 윤곽점으로 이루어진 윤곽선에 기초하여 상기 객체의 형태를 인식하는 제어부
    를 포함하는 라이다센서 기반의 객체 인식 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 자율주행차량의 위치를 원점으로 설정하고, 상기 원점을 지나는 수평선을 0°로 설정하며, 상기 포인트 클라우드를 제1 기준각도 간격의 영역으로 구분한 후 각 영역별로 상기 원점에 가장 가까이 위치한 포인트를 해당 영역의 대표점으로 추출하는 라이다센서 기반의 객체 인식 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 원점과 각 대표점 사이의 거리에 기초하여 상기 추출한 대표점들 중에서 객체의 윤곽점을 추출하는 라이다센서 기반의 객체 인식 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 대표점들의 시작점과 끝점을 윤곽점으로 추출하고, 제1 대표점의 양옆에 위치한 상기 시작점과 제2 대표점을 잇는 제1 선분을 생성하며, 상기 원점과 제1 대표점을 잇는 제2 선분을 생성하고, 제1 선분과 제2 선분의 교점을 생성하며, 상기 제2 선분의 길이가 상기 원점과 상기 교점을 잇는 선분의 길이를 초과하지 않으면 상기 제1 대표점을 윤곽점으로 추출하는 라이다센서 기반의 객체 인식 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 제2 대표점의 윤곽점 추출 여부 결정시, 상기 제1 대표점을 윤곽점으로 추출한 경우에는 상기 제2 대표점의 양옆에 위치한 대표점을 제1 대표점과 제3 대표점으로 설정하고, 상기 제1 대표점이 윤곽점으로 추출되지 않은 경우에는 상기 제2 대표점의 양옆에 위치한 대표점을 상기 시작점과 제3 대표점으로 설정하는 라이다센서 기반의 객체 인식 장치.
  6. 제 3 항에 있어서,
    상기 제어부는,
    상기 윤곽점들 사이의 거리에 기초하여 상기 대표점들 중에서 윤곽점을 추출하는 라이다센서 기반의 객체 인식 장치.
  7. 제 6 항에 있어서,
    상기 제어부는,
    제1 윤곽점과 제2 윤곽점 사이의 거리가 기준거리를 초과하는 경우, 상기 기준거리 지점을 기준점으로 정하고, 상기 기준점으로부터 기준거리 내에 위치한 대표점을 윤곽점으로 추출하는 라이다센서 기반의 객체 인식 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 기준점으로부터 기준거리 내에 위치한 대표점이 복수인 경우, 상기 기준점에 가장 가까이 위치한 대표점을 윤곽점으로 추출하는 라이다센서 기반의 객체 인식 장치.
  9. 제 7 항에 있어서,
    상기 제어부는,
    상기 기준점으로부터 기준거리 내에 위치한 대표점이 없는 경우, 상기 제2 윤곽점에 가장 가까이 위치한 대표점을 윤곽점으로 추출하는 라이다센서 기반의 객체 인식 장치.
  10. 제 6 항에 있어서,
    상기 제어부는,
    전체 윤곽점 중에서 유효도가 낮은 윤곽점을 제거하는 라이다센서 기반의 객체 인식 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 전체 윤곽점 중에서 첫번째 윤곽점과 마지막 윤곽점을 제거 대상에서 제외하고, 1차 필터링으로서 이전 윤곽점과의 거리가 최소거리를 초과하지 않는 윤곽점을 제거하는 라이다센서 기반의 객체 인식 장치.
  12. 제 11 항에 있어서,
    상기 제어부는,
    2차 필터링으로서, 상기 1차 필터링한 윤곽점들을 순차적으로 잇는 각 선분 중에서, 그 길이가 기준거리 이내이면서, 첫번째 윤곽점과 마지막 윤곽점을 잇는 기준선분과 이루는 각도가 제2 기준각도를 초과하지 않는 선분의 끝점을 제거하는 라이다센서 기반의 객체 인식 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 2차 필터링의 결과인 유효 윤곽점의 개수가 기준개수를 초과하는 경우, 상기 제2 기준각도를 매회 증가시키면서 상기 2차 필터링을 반복 수행하는 라이다센서 기반의 객체 인식 장치.
  14. 라이다센서가 자율주행차량 주변의 포인트 클라우드를 생성하는 단계;
    제어부가 상기 포인트 클라우드로부터 객체의 유효 윤곽점을 추출하는 단계; 및
    상기 제어부가 상기 추출한 유효 윤곽점으로 이루어진 윤곽선에 기초하여 상기 객체의 형태를 인식하는 단계
    를 포함하는 라이다센서 기반의 객체 인식 방법.
  15. 제 14 항에 있어서,
    상기 객체의 유효 윤곽점을 추출하는 단계는,
    상기 포인트 클라우드로부터 복수의 대표점을 추출하는 단계;
    상기 자율주행차량과 각 대표점 사이의 거리에 기초하여 상기 복수의 대표점 중에서 윤곽점을 1차 추출하는 단계;
    상기 윤곽점 사이의 거리에 기초하여 상기 복수의 대표점 중에서 윤곽점을 2차 추출하는 단계; 및
    전체 윤곽점 중에서 유효도가 낮은 윤곽점을 제거하는 단계
    를 포함하는 라이다센서 기반의 객체 인식 방법.
  16. 제 15 항에 있어서,
    상기 복수의 대표점을 추출하는 단계는,
    상기 자율주행차량의 위치를 원점으로 설정하는 단계;
    상기 원점을 지나는 수평선을 0°로 설정하는 단계;
    상기 포인트 클라우드를 제1 기준각도 간격의 영역으로 구분하는 단계; 및
    각 영역별로 상기 원점에 가장 가까이 위치한 포인트를 해당 영역의 대표점으로 추출하는 단계
    를 포함하는 라이다센서 기반의 객체 인식 방법.
  17. 제 15 항에 있어서,
    상기 윤곽점을 1차 추출하는 단계는,
    상기 대표점들의 시작점과 끝점을 윤곽점으로 추출하는 단계;
    제1 대표점의 양옆에 위치한 상기 시작점과 제2 대표점을 잇는 제1 선분을 생성하는 단계;
    상기 원점과 제1 대표점을 잇는 제2 선분을 생성하는 단계;
    상기 제1 선분과 상기 제2 선분의 교점을 생성하는 단계; 및
    상기 제2 선분의 길이가 상기 원점과 상기 교점을 잇는 선분의 길이를 초과하지 않는 경우, 상기 제1 대표점을 윤곽점으로 추출하는 단계
    를 포함하는 라이다센서 기반의 객체 인식 방법.
  18. 제 15 항에 있어서,
    상기 윤곽점을 2차 추출하는 단계는,
    제1 윤곽점과 제2 윤곽점 사이의 거리가 기준거리를 초과하는 경우, 상기 기준거리 지점을 기준점으로 정하는 단계;
    상기 기준점으로부터 기준거리 내에 위치한 대표점을 윤곽점으로 추출하는 단계;
    상기 기준점으로부터 기준거리 내에 위치한 대표점이 복수인 경우, 상기 기준점에 가장 가까이 위치한 대표점을 윤곽점으로 추출하는 단계; 및
    상기 기준점으로부터 기준거리 내에 위치한 대표점이 없는 경우, 상기 제2 윤곽점에 가장 가까이 위치한 대표점을 윤곽점으로 추출하는 단계
    를 포함하는 라이다센서 기반의 객체 인식 방법.
  19. 제 15 항에 있어서,
    상기 유효도가 낮은 윤곽점을 제거하는 단계는,
    상기 전체 윤곽점 중에서 첫번째 윤곽점과 마지막 윤곽점을 제거 대상에서 제외하는 단계; 및
    1차 필터링으로서, 이전 윤곽점과의 거리가 최소거리를 초과하지 않는 윤곽점을 제거하는 단계
    를 포함하는 라이다센서 기반의 객체 인식 방법.
  20. 제 19 항에 있어서,
    상기 유효도가 낮은 윤곽점을 제거하는 단계는,
    상기 1차 필터링한 윤곽점들을 순차적으로 잇는 각 선분 중에서, 그 길이가 기준거리 이내이면서, 첫번째 윤곽점과 마지막 윤곽점을 잇는 기준선분과 이루는 각도가 제2 기준각도를 초과하지 않는 선분의 끝점을 제거하는 단계
    를 더 포함하는 라이다센서 기반의 객체 인식 방법.
KR1020200042291A 2020-04-07 2020-04-07 라이다센서 기반의 객체 인식 장치 및 그 방법 KR20210124789A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200042291A KR20210124789A (ko) 2020-04-07 2020-04-07 라이다센서 기반의 객체 인식 장치 및 그 방법
US17/009,381 US11423546B2 (en) 2020-04-07 2020-09-01 Apparatus for recognizing object based on LiDAR sensor and method thereof
CN202010951281.4A CN113552587A (zh) 2020-04-07 2020-09-11 基于激光雷达传感器识别对象的装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200042291A KR20210124789A (ko) 2020-04-07 2020-04-07 라이다센서 기반의 객체 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210124789A true KR20210124789A (ko) 2021-10-15

Family

ID=77922856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200042291A KR20210124789A (ko) 2020-04-07 2020-04-07 라이다센서 기반의 객체 인식 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11423546B2 (ko)
KR (1) KR20210124789A (ko)
CN (1) CN113552587A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540627B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 객체의 엣지 노이즈 필터링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117111089B (zh) * 2023-10-24 2024-02-02 青岛慧拓智能机器有限公司 矿卡卸载点可用状态识别方法、系统、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507137A (ja) * 2017-12-11 2020-03-05 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 車両周辺の物体を識別して測位するためのシステムおよび方法
DE102018206751A1 (de) * 2018-05-02 2019-11-07 Continental Automotive Gmbh Konturerkennung eines fahrzeugs anhand von messdaten einer umfeldsensorik
US11048254B2 (en) * 2019-04-10 2021-06-29 Waymo Llc Generating simplified object models to reduce computational resource requirements for autonomous vehicles

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540627B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 객체의 엣지 노이즈 필터링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
CN113552587A (zh) 2021-10-26
US20210312633A1 (en) 2021-10-07
US11423546B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
KR102452550B1 (ko) 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
KR101281260B1 (ko) 차량 인식 방법 및 장치
CN108629231B (zh) 障碍物检测方法、装置、设备及存储介质
KR20200094384A (ko) 포인트 클라우드의 군집화 장치 및 그 방법
KR20210124789A (ko) 라이다센서 기반의 객체 인식 장치 및 그 방법
EP3605460A1 (en) Information processing method and apparatus, cloud processing device and computer program product
CN113341396B (zh) 机器人及其充电桩识别方法和装置
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
EP3979196A1 (en) Image processing method and apparatus for target detection
WO2019119752A1 (zh) 一种障碍物识别方法和终端
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
KR20200140527A (ko) 자율주행차량의 위치 인식 장치 및 그 방법
US11526706B2 (en) System and method for classifying an object using a starburst algorithm
JP6077785B2 (ja) 対象物検出装置及びプログラム
CN112861595A (zh) 数据点的识别方法、装置和计算机可读存储介质
US20230258813A1 (en) LiDAR Free Space Data Generator and LiDAR Signal Processing Method Using Multi-Modal Noise Filtering Scheme
KR102062708B1 (ko) 얼굴 인식 시스템의 위조 공격 탐지 장치 및 방법
CN116469073A (zh) 目标识别方法、装置、电子设备、介质及自动驾驶车辆
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
US20210286078A1 (en) Apparatus for tracking object based on lidar sensor and method therefor
CN114495049A (zh) 识别车道线的方法和装置
KR20180071552A (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
JP5901054B2 (ja) 物体の検出方法及びその方法を用いた物体の検出装置
US20230150500A1 (en) Apparatus and method for determining cut-in of vehicle
CN114998862A (zh) 车道线检测方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
A201 Request for examination