KR102346304B1 - 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법 - Google Patents

모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR102346304B1
KR102346304B1 KR1020210062288A KR20210062288A KR102346304B1 KR 102346304 B1 KR102346304 B1 KR 102346304B1 KR 1020210062288 A KR1020210062288 A KR 1020210062288A KR 20210062288 A KR20210062288 A KR 20210062288A KR 102346304 B1 KR102346304 B1 KR 102346304B1
Authority
KR
South Korea
Prior art keywords
information
probability
point
recognition
segment
Prior art date
Application number
KR1020210062288A
Other languages
English (en)
Inventor
이수목
Original Assignee
주식회사 토르 드라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토르 드라이브 filed Critical 주식회사 토르 드라이브
Priority to KR1020210062288A priority Critical patent/KR102346304B1/ko
Application granted granted Critical
Publication of KR102346304B1 publication Critical patent/KR102346304B1/ko

Links

Images

Classifications

    • G06K9/6288—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G06K9/481—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 라이다 센서로부터 얻어진 포인트 클라우드를 클러스터링하여, 분할된 포인트 세그먼트들을 포함하는 물체 분할 정보를 도출하고, 카메라 센서로부터 얻어진 이미지로부터 물체별로 물체 인식 정보를 도출하며, 상기 물체 분할 정보 및 상기 물체 인식 정보에 기초하여 산출된 각각의 포인트 세그먼트가 특정 물체에 해당하는지에 관한 제1 확률 및 서로 다른 두 개의 포인트 세그먼트가 동일한 물체에 해당하는지에 관한 제2 확률에 기초한 그래프 기반 확률 최적화 기법을 이용하여 상기 물체 포인트 그룹들을 도출하는 센서 융합 물체 인식 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 물체 인식 시스템 및 그 방법에 따르면, 모양이 불규칙하거나 크기가 큰 물체를 정확하게 인식할 수 있는 효과가 있다.

Description

모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법{SENSOR FUSION-BASED OBJECT DETECTION SYSTEM AND METHOD ESPECIALLY FOR BIG-SIZE OR COMPLEX SHAPE OBJECT}
본 발명은 물체 인식 방법 및 그 시스템에 관한 것으로서, 더욱 상세하게는 하나 이상의 센서에 의한 인식 결과를 최적화 기법에 기초하여 융합함으로써, 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 물체 인식 방법 및 그 시스템에 관한 것이다.
자율 주행(또는 자동 주행, 무인 주행)은 인간의 운전없이 자동으로 주행할 수 있는 것을 말하고, 이를 위하여 자율 주행 장치를 둘러싼 주행 환경을 파악하는 것은 필수적인 과정이다. 즉, 운행 가능한 이동 경로를 계획하고 이에 따라 실제 주행 장치를 구동하여 움직이기 위하여, 주행 경로 중에 위치한 물체(또는 객체, object)를 인식하는 과정이 선행되어야 한다.
자율 주행 장치는 주변의 물체를 인식하기 위하여 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 초음파(Ultrasonic) 센서 등을 이용한다.
카메라에서 얻는 정보는 카메라에 수직한 방향으로 투영되는 피사체의 가시광선대 빛의 세 가지 파장대에서 나타나는 세기이다. 카메라에서 얻은 정보로부터 물체를 인식하는 일반적인 방법은 물체가 놓여있는 영역을 잘라내고(region selection), 해당 영역에 있는 물체를 분류(classification)하는 것이다.
라이다 센서에서 얻는 정보는 레이저를 내보내고 피사체의 표면에서 반사된 빛을 분석하여 얻어진 3차원 공간의 포인트 클라우드(point cloud, 또는 점군)로 표현된 데이터이다. 라이다 센서로부터 얻은 정보로부터 물체를 인식하는 일반적인 방법은 각 물체별로 포인트(point, 점)들을 분할(segmentation)하는 것이다.
레이더 센서는 라이다 센서의 레이저 대신 전자기파를 방사하여 피사체의 표면에서 반사된 전자기파를 분석하는 것이고, 초음파 센서는 초음파를 송신한 후 주변 물체와의 반사를 측정하여 거리를 계산한다. 레이더 센서, 초음파 센서 등에 의하여 얻어진 데이터를 통하여도 주변 물체를 인식할 수 있다.
주행 환경에서 흔히 인식되는 일반적인 물체와는 달리, 모양이 복잡하거나 크기가 큰 물체에 대한 인식은 기존의 물체 인식 방법을 이용하여 달성하기가 쉽지 않다.
스테레오 카메라를 이용하면, 그 물체의 이미지와 더불어 거리(또는 깊이) 정보를 얻을 수 있으나, 물체가 다양한 오목(concave) 또는 볼록(convex) 부분을 다수 포함하는 불규칙한 형상을 가지는 경우에는 그 거리 정보가 균일하지 않기 때문에, 스테레오 카메라로부터 도출된 정보만 가지고는 정확인 거리 인식이 어려운 문제가 있었다.
또한, 라이다 센서를 통하여 모양이 복잡하거나 크기가 큰 물체를 인식하는 경우에는, 오목 또는 볼록 부분이 다양하게 포함되어 있을 뿐만 아니라 물체가 너무 커서 물체별로 포인트들이 분할되지 않고, 하나의 물체가 여러 개의 포인트 그룹으로 쪼개지는 과분할(over-segmentation) 현상이 발생한다.
결국, 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식하는 물체 인식 방법 및 그 시스템에 대한 요구가 있었으나, 종래의 기술에 따르면 이을 제공할 수 없는 문제점이 있었고, 본 발명은 이를 해결하기 위한 것이다.
한국 공개특허공보 제10-2016-0029645호 (2016. 03. 15.) 한국 공개특허공보 제10-2019-0026116호 (2019. 03. 13.)
본 발명은 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 개선된 물체 인식 방법 및 그 시스템을 제공하기 위한 것이다.
또한, 본 발명은 둘 이상의 센서로부터 얻어진 센싱 결과를 융합하여 물체의 정확한 크기, 외형, 방향, 종류(또는 레이블) 중 하나 이상의 정보를 정확하게 인식하는 방법 및 그 시스템을 제공하기 위한 것이다.
또한, 본 발명은 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식하여 주행 가능한 경로를 설정할 수 있는 자율 주행 장치를 제공하기 위한 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 센서 융합 물체 인식 시스템은, 라이다 센서로부터 얻어진 포인트 클라우드를 클러스터링한 포인트 세그먼트들을 포함하는 물체 분할 정보를 도출하는 라이다 탐지부; 카메라 센서로부터 얻어진 이미지로부터 물체별로 물체 인식 정보를 도출하는 카메라 탐지부; 및 상기 물체 인식 정보 및 상기 물체 분할 정보를 이용하여 물체별로 분할된 물체 포인트 그룹들을 도출하는 융합 인식부를 포함하고, 상기 융합 인식부는, 상기 물체 분할 정보 및 상기 물체 인식 정보에 기초하여 산출된 각각의 포인트 세그먼트가 특정 물체에 해당하는지에 관한 제1 확률 및 서로 다른 두 개의 포인트 세그먼트가 동일한 물체에 해당하는지에 관한 제2 확률에 기초한 그래프 기반 확률 최적화 기법을 이용하여 상기 물체 포인트 그룹들을 도출하는 최적화부를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보 및 물체 레이블 정보를 포함하고, 상기 융합 인식부는 상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 카메라 정보 연관부를 더 포함하며, 상기 최적화부는 상기 제3 확률에 기초하여 상기 제1 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체가 상기 물체 레이블 정보에 해당할 확률인 신뢰도 정보를 추가로 포함하고, 상기 카메라 정보 연관부는 상기 물체 분할 정보의 상기 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율에 상기 신뢰도 정보를 곱하여 상기 제3 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체별로 물체 방향 정보를 포함하고, 상기 융합 인식부는 상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 라이다 정보 분석부를 더 포함하고, 상기 최적화부는 상기 제4 확률에 기초하여 상기 제1 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 라이다 정보 분석부는 상기 중심 포인트 세그먼트의 방향 벡터와 상기 각각의 포인트 세그먼트의 방향 벡터가 수직 또는 수평인 기하학적인 관계가 있을 때 상기 제4 확률을 높게 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 융합 인식부는 상기 포인트 세그먼트들을 노드(node)로 표현하고, 상기 포인트 세그먼트들 사이의 관계를 에지(edge)로 표현하여, 상기 물체 분할 정보를 그래프 형식으로 변환하는 그래프 표현 변환부를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 그래프 표현 변환부에 의하여 상기 에지(edge)로 표현될 수 있는 상기 물체 포인트 세그먼트들 사이의 관계는 상기 물체 포인트 세그먼트들 사이의 기하학적인 관계 및/또는 상기 물체 포인트 세그먼트들의 사이의 특성 차이 관계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보, 물체 방향 정보 및 물체 레이블 정보를 포함하고, 상기 융합 인식부는 상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 카메라 정보 연관부; 및 상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 라이다 정보 분석부;를 더 포함하며, 상기 최적화부는 상기 제3 확률 및 상기 제4 확률에 기초하여 상기 제1 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 최적화부는 서로 다른 두 개의 포인트 세그먼트들 사이의 무게 중심의 차이(거리), 평균 높이의 차이, 방향 벡터의 방향 차이, 평균 반사강도(intensity)의 차이, 평균 색깔의 차이, 평균 흑백 강도의 차이, 평균 열 온도의 차이 중 하나 이상에 기초하여 제2 확률을 산출할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 센서 융합으로 물체를 인식하는 방법은 라이다 센서로부터 얻어진 포인트 클라우드를 클러스터링하여, 분할된 포인트 세그먼트들을 포함하는 물체 분할 정보를 도출하는 단계; 카메라 센서로부터 얻어진 이미지로부터 물체별로 물체 인식 정보를 도출하는 단계; 및 상기 물체 인식 정보 및 상기 물체 분할 정보를 이용하여 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계를 포함하고, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는, 상기 물체 분할 정보 및 상기 물체 인식 정보에 기초하여 산출된 각각의 포인트 세그먼트가 특정 물체에 해당하는지에 관한 제1 확률 및 서로 다른 두 개의 포인트 세그먼트가 동일한 물체에 해당하는지에 관한 제2 확률에 기초한 그래프 기반 확률 최적화 기법을 이용하여 상기 물체 포인트 그룹들을 도출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보 및 물체 레이블 정보를 포함하고, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에, 상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 단계를 더 포함하며, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 상기 제3 확률에 기초하여 상기 제1 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체가 상기 물체 레이블 정보에 해당할 확률인 신뢰도 정보를 추가로 포함하고, 상기 제3 확률을 산출하는 단계는 상기 물체 분할 정보의 상기 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율에 상기 신뢰도 정보를 곱하여 상기 제3 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체별로 물체 방향 정보를 포함하고, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에, 상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 단계를 더 포함하고, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 상기 제4 확률에 기초하여 상기 제1 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제4 확률을 산출하는 단계는 상기 중심 포인트 세그먼트의 방향 벡터와 상기 각각의 포인트 세그먼트의 방향 벡터가 수직 또는 수평인 기하학적인 관계가 있을 때 상기 제4 확률을 높게 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에, 상기 포인트 세그먼트들을 노드(node)로 표현하고, 상기 포인트 세그먼트들 사이의 관계를 에지(edge)로 표현하여, 상기 물체 분할 정보를 그래프 형식으로 변환하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 분할 정보를 그래프 형식으로 변환하는 단계에서, 상기 에지(edge)로 표현될 수 있는 상기 물체 포인트 세그먼트들 사이의 관계는 상기 물체 포인트 세그먼트들 사이의 기하학적인 관계 및/또는 상기 물체 포인트 세그먼트들의 사이의 특성 차이 관계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보, 물체 방향 정보 및 물체 레이블 정보를 포함하고, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에, 상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 단계; 및 상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 단계를 더 포함하며, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 상기 제3 확률 및 상기 제4 확률에 기초하여 상기 제1 확률을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 서로 다른 두 개의 포인트 세그먼트들 사이의 무게 중심의 차이(거리), 평균 높이의 차이, 방향 벡터의 방향 차이, 평균 반사강도(intensity)의 차이, 평균 색깔의 차이, 평균 흑백 강도의 차이, 평균 열 온도의 차이 중 하나 이상에 기초하여 제2 확률을 산출할 수 있다.
본 발명에 따른 물체 인식 시스템 및 그 방법에 따르면, 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 둘 이상의 센서로부터 얻어진 센싱 결과를 융합하여 물체의 정확한 크기, 외형, 방향, 종류(또는 레이블) 중 하나 이상의 정보를 정확하게 인식할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 자율 주행 장치가 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식하여 주행 가능한 경로를 설정할 수 있는 효과가 있다.
도 1은 불규칙한 형상의 큰 물체의 일 실시예로서 비행기를 도시한 것이다.
도 2는 본 발명에 따른 물체 인식 시스템의 일 실시예를 도시한 것이다.
도 3은 본 발명에 따른 라이다 탐지부에 의한 물체 분할의 일 실시예를 도시한 것이다.
도 4는 본 발명에 따른 카메라 탐지부가 출력하는 물체 방향 정보의 일 실시예를 도시한 것이다.
도 5는 본 발명에 따른 카메라 탐지부가 출력하는 물체의 전체가 아닌 일부에 대한 바운딩 박스를 포함하는 물체 인식 정보에 관한 일 실시예를 도시한 것이다.
도 6은 본 발명에 따라 카메라 탐지부에서 얻어진 이미지 및 물체 인식 정보에 라이다 탐지부에서 얻어진 물체 포인트 세그먼트들의 포인트들을 투영한 일 실시예를 도시한 것이다.
도 7은 본 발명에 따른 라이다 정보 분석부에 의하여 방향 벡터를 분석한 일 실시예를 도시한 것이다.
도 8은 본 발명에 따라 물체 포인트 세그먼트들을 딜로니 삼각 분할을 이용하여 그래프로 변환한 일 실시예를 도시한 것이다.
도 9는 본 발명에 따른 최종 물체 인식 결과에 관한 일 실시예를 도시한 것이다.
도 10은 본 발명에 따른 융합 인식부의 입력 및 출력에 관한 일 실시예를 도시한 것이다.
본 발명은 물체 인식 방법 및 그 시스템에 관한 것으로서, 더욱 상세하게는 하나 이상의 센서에 의한 인식 결과를 최적화 기법에 기초하여 융합함으로써, 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 물체 인식 방법 및 그 시스템에 관한 것이다.
도 1은 모양이 불규칙하고 크기가 큰 물체의 일 실시예로서 비행기를 도시한 것이다.
본 발명은 오목 및 볼록한 부분을 가진 불규칙한 외형을 가지거나 크기가 큰 물체를 탐지하기 위한 것이다. 불규칙한 외형을 가지면서 크기가 큰 물체의 일 예로서 도 1에 도시된 비행기(100)가 있다. 비행기(100)는 일반적인 주행 환경에서 인식되는 물체와 비교하여 큰 크기를 가지고, 앞뒤로 긴 유선형의 몸통과 이로부터 뻗어 나온 날개들 때문에 오목하고 볼록한 부분들을 포함하는 불규칙한 외형을 가진다. 또한, 비행기의 경우에 주날개와 꼬리 날개 사이의 빈 공간(120)에는 지정된 차량 이외에는 접근하면 안 되기 때문에, 비행기의 정확한 윤곽 정보(110)를 알아내는 것이 중요하다. 예를 들어, 자율 주행 장치가 공항에서 주행 가능한 이동 경로를 계산하기 위하여, 공항 내에 위치한 비행기를 인식하여야 하고, 이를 위하여 본 발명이 사용될 수 있다.
다른 예로서, 자율 주행 장치가 일반 도로에서 모양이 불규칙하거나 크기가 큰 외형을 가진 포크레인, 지게차 등 특수 목적 차량을 인식하는데 본 발명이 이용될 수도 있다. 또 다른 예로서, 불규칙한 형상의 화물을 실은 화물차를 인식하는데 본 발명이 사용될 수 있다. 또 다른 예로서, 일반적인 차량보다 길고 회전시에 굴절될 수 있는 굴절부를 갖는 굴절 차량을 인식하기 위하여 본 발명이 사용될 수도 있다. 또 다른 예로서, 공사 현장에서 사용되는 특수 목적 차량을 인식하는데 본 발명이 사용될 수도 있다. 또 다른 예로서, 공항에서 사용되는 특수 목적 차량을 인식하는데 본 발명이 사용될 수도 있다. 또한, 본 발명에서 인식하고자 하는 모양이 불규칙하거나 크기가 큰 물체는 상기 예시된 물체 중 어느 하나에 해당할 수 있으나 이에 한정되지 않는다.
도 2는 본 발명에 따른 물체 인식 시스템의 일 실시예를 도시한 것이다.
도 2에 도시된 본 발명의 일 실시예에 따른 물체 인식 시스템은 라이다 센서(210)로부터 물체 분할 정보를 탐지하는 라이다 탐지부(230); 카메라 센서(220)로부터 물체 방향 정보 및 물체 인식 정보를 추출하는 카메라 탐지부(240); 및 물체 분할 정보, 물체 방향 정보 및 물체 인식 정보 중 둘 이상을 융합하여 최종 객체를 결정하는 융합 인식부(250)를 포함할 수 있다.
[라이다 탐지부]
본 발명의 일 실시예에 따르면, 라이다 탐지부(230)의 지면 추출부(231)는 먼저 라이다 센서(210)로부터 얻어진 포인트 클라우드로부터 도로(road) 또는 지면(ground)에 해당하는 포인트들을 제거할 수 있다. 지면 추출부(231)는 포인트 클라우드 데이터로부터 도로 또는 지면에 해당하는 포인트들을 제거함으로써, 도로 또는 지면과 구별되는, 물체에 해당하는 포인트들을 추출할 수 있다.
본 발명의 일 실시예에 따르면, 라이다 탐지부(230)의 물체 분할부(235)는 물체에 해당되는 포인트들 중에서 서로 거리가 가까운 포인트들을 동일한 물체에 관한 것으로 군집화(clustering)할 수 있다. 포인트들 사이의 거리를 기반으로 연결성이 있는 포인트들을 하나의 대상으로 묶은 군집(cluster)을 하나의 물체로 간주하며, 이를 물체 포인트 세그먼트(object point segment) 또는 포인트 세그먼트(point segment)라고 부른다. 라이다 탐지부(230)의 물체 분할부(235)는 각 물체 별로 포인트들이 군집화되어, 물체 별로 나누어진 결과인 포인트 세그먼트들을 포함하는 물체 분할 정보를 출력할 수 있다.
자동차, 사람 등과 같은 일반적인 주행 환경에서 인식되는 물체들과는 달리, 불규칙한 모양이거나 크기가 큰 물체의 경우에 균일한 형상이 아니므로, 물체에 해당하는 포인트들도 균일하게 분포하지 않는다. 또한, 볼록(convex)한 영역에 포인트가 많이 분포하는 것에 반해, 오목(concave)한 영역의 중심부에서는 포인트가 많이 찍히지 않으므로, 이 부분을 경계로 하여 서로 다른 물체로 인식되어 포인트 세그먼트들이 여러 개로 쪼개지기 쉽다.
예를 들어, 비행기를 대상으로 라이다 센서(210)에서 얻어진 포인트 클라우드를 살펴보면, 도 3(a)에 도시한 바와 같이 비행기의 동체(fuselage)의 포인트들과 비행기 날개(wing)의 포인트들이 균일하지 않고 양 포인트들 사이의 거리도 커서, 물체 추출 위한 일반적인 포인트 클라우드 분할 알고리즘(point cloud segmentation algorithm)으로는 하나의 물체로 인식되기 어렵다. 따라서, 일반적인 분할 알고리즘(segmentation algorithm)을 사용한 일 실시예에 따르면, 도 3(b)와 같이 하나의 물체인 비행기가 실제로 5 개의 서로 다른 물체로 각각 군집화(clustering)될 수 있다.
이를 해결하기 위하여 군집화되는 포인트들 사이의 거리 간격을 더 크게 하여 탐색하는 방법이 사용될 수 있으나, 이러한 방식은 일반적인 탐지 대상인 사람, 자동차, 콘 등과 같이 상대적으로 작은 물체들에 대한 탐지를 어렵게 할 수 있다. 결국, 크고 불규칙한 모양의 물체와 더불어 기존 탐지 대상인 물체들도 동시에 잘 인식할 수 있는 범용성을 만족하기 위해서는, 기존의 일반적인 분할 알고리즘에서 사용되는 파라미터(예를 들어, 군집화되는 포인트들 사이의 거리 간격)와 차이가 많이 나는 값들을 사용하기 어렵다. 따라서 본 발명의 일 실시예에 따르면, 라이다 탐지부(230)는 일반적인 물체를 탐지하는 파라미터들을 사용하여 포인트 클라우드를 군집화하고, 그 결과로 출력된 포인트 세그먼트(point segment)들을 추후에 다른 과정을 통하여 보정하는 방식이 사용될 수 있다. 본 발명의 일 실시예에 따르면, 모양이 불규칙하거나 크기가 큰 물체에 대한 과분할(over-segmentation) 문제는 이러한 추후 보정 방법을 사용하여 해결할 수 있다.
[카메라 탐지부]
본 발명의 일 실시예에 따르면, 카메라 탐지부(240)는 일정 수준 이상의 화각을 확보할 수 있는 1개 또는 여러 개의 카메라 센서(220)로부터 이미지 데이터를 입력 받을 수 있다. 카메라 탐지부(240)는 카메라 센서(220)에서 제공되는 이미지 데이터를 이미지 객체 인식을 위한 머신 러닝 네트워크(machine learning network, 245)로 처리하여, 이미지 데이터에 포함된 각 물체에 대한 물체 레이블 정보(object label information, 또는 물체 종류 정보{object class information}), 물체 레이블 정보에 대한 신뢰도 정보, 물체 영역 정보 및 물체 방향 정보 중 하나 이상을 포함하는 물체 인식 정보를 출력한다.
본 발명의 일 실시예에 따르면, 물체 레이블 정보(또는 물체 종류 정보)는 머신 러닝 네트워크를 통하여 인식된 각 물체의 종류를 나타낸다. 예를 들어, 머신 러닝 네트워크는 각 물체에 대하여 사람, 자동차 또는 비행기 등으로 그 종류를 인식하고, 이를 물체 레이블 정보(또는 물체 종류 정보)로 출력할 수 있다.
본 발명의 일 실시예에 따르면, 물체 레이블 정보에 대한 신뢰도 정보는 머신 러닝 네트워크가 각 물체를 해당 레이블로 인식한 것에 대한 신뢰도 정보를 확률로 나타낸 것(Preliablity)일 수 있다. 예를 들어, 머신 러닝 네트워크는 해당 물체를 95%의 신뢰도로 비행기로 인식한 것이라면, 신뢰도 정보 Preliablity는 0.95로 정해질 수 있다.
본 발명의 일 실시예에 따르면, 물체 영역 정보는 이미지 내의 물체의 위치 및 영역에 관한 정보이다. 본 발명의 일 실시예에 따르면, 바운딩 박스(bounding box)로 표현될 수 있다. 본 발명의 다른 일 실시예에 따르면, 각 물체에 대한 물체 영역 정보는 이미지 분할(image segmentation)의 결과값인 해당 물체에 해당하는 픽셀들의 집합으로 표현될 수 있다.
본 발명의 일 실시예에 따르면, 카메라 탐지부(240)는 탐지된 물체에 대한 앞, 뒤, 좌, 우와 같은 방향 인식 정보를 같이 추출하여, 물체의 방향에 대한 물체 방향 정보를 출력할 수 있다. 예를 들어, 불규칙한 외형을 가진 큰 물체의 일 실시예인 비행기의 경우에, 도 4에 도시한 바와 같이, 비행기를 바운딩 박스(410)로 인식하면서, 해당 비행기의 방향(heading)에 따라, 도 4(a)의 좌측 방향(left heading), 도 4(b)의 우측 방향(right heading), 도 4(c)의 후면 방향(rear heading), 도 4(d)의 전면 방향(front heading)으로 인식할 수 있다.
본 발명의 다른 일 실시예에 따르면, 물체 방향 정보는 미리 정해진 기준 방향에 대하여 현재 물체가 놓여진 방향에 대한 회전 각도로서 표현될 수 있다. 예를 들어, 도 4(d)의 비행기 전면 방향(front heading)을 기준 방향으로 하고, 현재 비행기가 도 4(a)와 같이 좌측 방향(left heading)으로 놓여진 경우에 +90°로 표현하고, 도 4(b)와 같이 우측 방향(right heading)으로 놓여진 경우에는 -90°(또는 +270°)로 표현할 수 있다.
카메라의 경우에 시야각(field of view, FOV)에 대한 제약이 있고, 비행기와 같은 물체는 그 크기가 매우 커서, 하나의 이미지에 해당 물체 전체가 아니라 일부만 탐지되는 경우가 빈번하다. 본 발명의 일 실시예에 따르면, 도 5에 도시한 바와 같이, 해당 물체의 전체가 아닌 일부에 대한 바운딩 박스 결과들을 포함하여, 카메라들로부터 전달된 이미지 데이터 내의 바운딩 박스 영역들을 물체 인식 정보로서 출력할 수 있다.
[융합 인식부]
본 발명의 일 실시예에 따르면, 융합 인식부(250)는 라이다 탐지부(230)의 출력인 물체 분할 정보와 카메라 탐지부(240)의 출력인 물체 인식 정보를 융합하여, 최종적으로 물체들을 식별한다. 본 발명의 일 실시예에 따르면, 융합 인식부(250)의 주 처리 대상은 라이다 탐지부(230)에서 얻어진 물체 분할 정보에 포함된 물체별로 나누어진 포인트 세그먼트들이며, 처리 도메인은 3차원 공간 영역일 수 있다. 일 실시예에서, 융합 인식부(250)는 라이다 정보 분석부(251), 카메라 정보 연관부(253), 그래프 표현 변환부(255), 최적화부(257) 및 최종 물체 결정부(259)를 포함할 수 있다.
[카메라 정보 연관부]
본 발명의 일 실시예에 따르면, 융합 인식부(250)의 카메라 정보 연관부(253)는 라이다 탐지부(230)에서 얻어진 물체 분할 정보와 카메라 탐지부(240)에서 얻어진 물체 인식 정보를 연관시켜, 각 포인트 세그먼트(object point segment)에 대한 카메라 인식 결과에 따라서 각 포인트 세그먼트에 해당하는 레이블(인식된 물체의 종류)을 할당하고, 해당 레이블에 대한 확률인 PCAM을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 카메라 정보 연관부(253)는 라이다 탐지부(230)에서 얻어진 포인트 세그먼트들에 해당하는 포인트들을 카메라 이미지 상에 투영할 수 있다. 그 결과로, 카메라 정보 연관부(253)는 라이다 탐지부(230)에서 얻어진 포인트 세그먼트의 포인트들이 카메라 탐지부(240)에서 얻어진 바운딩 박스 영역에 맺히는 정도를 파악할 수 있고, 포인트 세그먼트의 포인트들이 바운딩 박스에 일정 비율 이상으로 맺히는 경우, 카메라 탐지부(240)에서 얻어진 물체 레이블 정보를 해당 포인트 세그먼트에 대한 레이블로 할당하고, 그 확률을 PCAM으로 산출할 수 있다.
본 발명의 일 실시예에 따르면, 해당 포인트 세그먼트가 할당된 레이블에 해당하는 물체일 확률인 PCAM은 카메라 탐지부(240)에서 얻어진 물체 레이블 정보의 신뢰도 Preliablity와 포인트 세그먼트의 포인트들 중에서 바운딩 박스 내부에 맺히는 포인트들의 매칭 비율(rpoint alloc)의 곱으로 표현될 수 있다.
PCAM = Preliability x rpoint alloc (1)
도 6은 카메라 탐지부(240)에서 얻어진 이미지 및 물체 인식 정보에 라이다 탐지부(230)에서 얻어진 포인트 세그먼트들의 포인트들을 투영한 일 실시예를 도시하고 있다. 예를 들어, 카메라 탐지부(240)에서 도출된 물체 레이블 정보가 '사람'이고, 해당 레이블에 대한 신뢰도 정보가 0.96이며(96%의 신뢰도로 사람으로 탐지한 경우), 물체 영역 정보가 주황색의 바운딩 박스(610)에 해당하는 경우에, 카메라 정보 연관부(253)에서 여기에 해당 포인트 세그먼트에 해당하는 주황색 포인트들(650)을 투영하여 표시하면, 11%의 포인트들이 해당 바운딩 박스를 벗어나고 있으므로 매칭 비율 rpoint alloc = 0.89이 된다. 결국, 확률 PCAM = Preliability x rpoint alloc = 0.96 x 0.89 = 0.854로 계산될 수 있다.
본 발명의 일 실시예에 따르면, 포인트 세그먼트에 해당하는 포인트들이 특정 바운딩 박스에 매칭되는 비율이 일정 이하인 경우에는 물체가 덜 분할된 저분할(under-segmentation) 현상일 수 있으므로, 포인트 세그먼트 중 해당 바운딩 박스에 매칭되는 포인트들과 매칭되지 않는 포인트들을 분할하여 서로 다른 포인트 세그먼트로 나눌 수 있다. 본 발명의 일 실시예에 따르면, 포인트 세그먼트를 추가로 분할하는 기준이 되는 매칭 비율은 50% 또는 50% 이하의 미리 정해진 비율일 수 있다.
[라이다 정보 분석부]
본 발명의 일 실시예에 따르면, 융합 인식부(250)의 라이다 정보 분석부(251)는 라이다 탐지부(230)에서 얻어진 물체 분할 정보와 카메라 탐지부(240)에서 얻어진 물체 방향 정보를 이용하여, 각 포인트 세그먼트(point segment)에 대한 레이블을 할당하고, 해당 레이블에 대한 확률인 PLIDAR을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 라이다 정보 분석부(251)는 라이다 기반의 포인트 세그먼트들의 방향 벡터와 사이즈를 토대로, 물체의 중심부에 해당하는 포인트 세그먼트(즉, 중심 포인트 세그먼트)를 찾고, 그 주변의 포인트 세그먼트들과의 관계를 파악하여, 주변의 포인트 세그먼트가 중심 포인트 세그먼트와 동일한 물체일 확률인 PLIDAR을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 라이다 정보 분석부(251)는 포인트 세그먼트들에 대하여 특이값 분해(singular value decomposition)를 이용하여 포인트들의 방향 벡터를 계산할 수 있다. 예를 들어, 포인트 세그먼트들에 대한 특이값 분해에 의한 분석결과 중에서 그 값이 가장 큰 방향 벡터를 가지고, 크기 조건을 만족하는 포인트 세그먼트로서, 카메라 탐지부(240)에서 얻어진 물체 방향 정보와 방향성이 일치하는 포인트 세그먼트를 물체 중심부에 해당하는 중심 포인트 세그먼트로 인식할 수 있다.
본 발명의 일 실시예에 따르면, 라이다 정보 분석부(251)는 중심 포인트 세그먼트와 그 방향 벡터를 찾은 후에, 주변의 포인트 세그먼트의 방향 벡터들과 중심 포인트 세그먼트의 방향 벡터의 관계를 분석할 수 있다. 예를 들어, 볼록 형태(convex) 및 오목 형태(concave)가 섞여 있는 물체의 경우에는 오목 형태(concave) 부분을 경계로 물체가 나누어지는 현상이 발생하므로, 중심 포인트 세그먼트와 주변의 포인트 세그먼트의 방향 벡터들을 계산하여 서로 상관관계를 갖는 경우에 하나의 물체일 확률인 PLIDAR이 높게 나타나도록 할 수 있다.
본 발명의 일 실시예에 따르면, PLIDAR는 아래의 수식 (2)에 의하여 계산될 수 있다.
Figure 112021055689628-pat00001
Figure 112021055689628-pat00002
(2)
Figure 112021055689628-pat00003
여기서, cc는 중심 포인트 세그먼트의 무게 중심(centroid point)이고, ci는 i번째 포인트 세그먼트의 무게 중심이다.
Figure 112021055689628-pat00004
는 중심 포인트 세그먼트의 방향 벡터이고,
Figure 112021055689628-pat00005
는 중심 포인트 세그먼트의 무게 중심에서 i번째 포인트 세그먼트의 무게 중심으로 향하는 벡터이다. 또한,
Figure 112021055689628-pat00006
는 두 방향 벡터인
Figure 112021055689628-pat00007
와
Figure 112021055689628-pat00008
가 이루는 각도이고, λ는 확률 PLIDAR의 분포를 결정하는 파라미터로 상수값이다.
또한,
Figure 112021055689628-pat00009
는
Figure 112021055689628-pat00010
가 0, 90, 180, 270도에서 최저값을 가지므로, PLIDAR는 중심 포인트 세그먼트와 거리가 가깝고, 중심 포인트 세그먼트와 0, 90, 180, 270도에 가까운 관계를 가질수록 높은 확률을 가진다.
도 7은 라이다 정보 분석부(251)에 의하여 방향 벡터를 분석한 일 실시예를 도시하고 있다.
도 7은 라이다 정보 분석부(251)가 특이값 분해를 통하여 결정된 중심 포인트 세그먼트(710)의 방향 벡터
Figure 112021055689628-pat00011
및 i번째 포인트 세그먼트(750)의 방향 벡터
Figure 112021055689628-pat00012
를 도시하고 있다. 본 발명의 일 실시예에 따라서 수학식 (2)에 의하여 PLIDAR를 계산하면, i번째 포인트 세그먼트(750)는 중심 포인트 세그먼트(710)와 가까운 거리에 있으며, 두 방향 벡터가 90도에 가까운 상관관계를 가지고 있으므로, PLIDAR가 높은 확률값을 가지게 된다.
[그래프 표현 변환부]
본 발명의 일 실시예에 따르면, 융합 인식부(250)의 그래프 표현 변환부(255)는 라이다 탐지부(230)로부터 출력된 물체 분할 정보를 그래프 형식으로 변환하여 표현할 수 있다.
본 발명의 일 실시예에 따르면, 라이다 탐지부(230)로부터 출력된 물체 분할 정보는 포인트 세그먼트들을 포함하고 있는데, 그래프 표현 변환부(255)는 각 포인트 세그먼트를 그래프의 노드(node)로 표현하고, 각 포인트 세그먼트들 사이의 관계를 에지(edge)로서 표현한다. 예를 들어, 각 포인트 세그먼트들 사이의 관계는 기하학적인 관계(예를 들어, 거리, 높이, 방향) 또는 특성 차이 관계(예를 들어, 라이다 센서로부터 얻어진 반사강도(intensity)의 차이, 카메라 센서로부터 얻어진 색깔의 차이 또는 흑백 강도(intensity)의 차이, 열화상 카메라로부터 얻어진 열 온도의 차이 등)를 그래프 표현의 에지로서 표현할 수 있다.
본 발명의 일 실시예에 따르면, 그래프 표현 변환부(255)는 포인트 세그먼트들을 기존의 그래프 표현 기법을 이용하여 그래프를 생성할 수 있다. 예를 들어, 딜로니 삼각 분할(delaunay triangulation), 보로노이 다이어그램(Voronoi Diagram) 방식 등을 활용하여 그래프를 생성할 수 있다. 본 발명은 물체 분할 정보를 그래프로 변환하기 위하여 다른 그래프 표현 기법을 활용할 수 있으며, 상기 예시한 변환 기법에 한정되지 않는다.
도 8은 포인트 세그먼트들을 딜로니 삼각 분할을 이용하여 그래프로 변환한 일 실시예를 도시하고 있다. 도 8의 예시에서, 각 포인트 세그먼트는 노드로 표시되고, 기하학적인 관계가 에지로서 표현되고 있다.
[최적화부]
본 발명의 일 실시예에 따르면, 융합 인식부(250)의 최적화부(257)는 그래프 표현 변환부(255)로부터 얻어진 물체 분할 정보의 그래프 형식을 기초로, 라이다 정보 분석부(251)에 얻어진 PLIDAR 및 카메라 정보 연관부(253)에서 얻어진 PCAM을 이용하여, 포인트 세그먼트들(그래프 표현의 노드들)의 최종 라벨을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 최적화부(257)는 그래프 기반의 확률을 이용한 최적화 기법을 활용할 수 있다. 예를 들어, 최적화부(257)는 확률을 이용한 최적화 기법으로 조건부 랜덤 필드(conditional random field, CRF), 마코프 랜덤 필드(markov random field), 증거 이론(evidence theory 또는 Demster-shafer theory), 베이지안 분류기(Bayesian classifier 또는 Naive Bayes Classification) 등을 활용할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 최적화부(257)는 최적화 기법들 중에서 조건부 랜덤 필드(conditional random field, CRF)를 이용할 수 있으며, 이하에서는 이에 따른 일 실시예에 대하여 설명한다.
최적화부(257)는 (포인트 세그먼트에 해당하는) 각각의 노드에 대한 단일항(Unitary Term) 및 노드들 사이의 관계에 의하여 결정되는 관계항(Pairwise Term)을 포함하는 그래프의 에너지 함수
Figure 112021055689628-pat00013
를 이용할 수 있다. 최적화에 사용되는 확률
Figure 112021055689628-pat00014
는 포인트 세그먼트들(S, 그래프 표현의 노드들)에 대한 레이블들(L)에 대한 확률값으로 에너지 함수
Figure 112021055689628-pat00015
에 의하여 아래 수식 (3) 및 (4)과 같이 표현될 수 있다.
Figure 112021055689628-pat00016
(3)
Figure 112021055689628-pat00017
(4)
수식 (4)에서,
Figure 112021055689628-pat00018
는 단일항을 표현한 것이고,
Figure 112021055689628-pat00019
은 하나의 포인트 세그먼트(i)에 대하여 라이다 정보 분석부(251)가 인식한 결과(레이블 및 그 확률인 PLIDAR) 및 카메라 정보 연관부(253)가 인식한 결과(레이블 및 그 확률인 PCAM)에 따라서, 해당 포인트 세그먼트(i)가 타겟 레이블에 해당될 확률을 표현한다. 여기서, 타겟 레이블이란 중심 포인트 세그먼트의 레이블을 의미할 수 있다.
본 발명의 일 실시예에 따르면,
Figure 112021055689628-pat00020
는 아래의 수식 (5) 및 (6)에 의하여 표현될 수 있다.
Figure 112021055689628-pat00021
(5)
Figure 112021055689628-pat00022
(6)
여기서, γ 및 κ는 미리 정해진 가중치 파라미터로서 상수이며,
Figure 112021055689628-pat00023
는 카메라 정보 연관부(253)에 의한 i번째 포인트 세그먼트의 레이블(
Figure 112021055689628-pat00024
)과 라이다 정보 분석부(251)에 의한 i번째 포인트 세그먼트의 레이블(
Figure 112021055689628-pat00025
)이 다르면 '1' 값을, 동일하면 '0' 값을 출력하는 함수이다. 즉, 아래의 수식 (7)로 표현될 수 있다.
Figure 112021055689628-pat00026
(7)
결국,
Figure 112021055689628-pat00027
는 카메라 정보 연관부(253) 및 라이다 정보 분석부(251)에 의하여 동일한 레이블로 결정되고, 각각에 의하여 산출된 해당 레이블로 인식될 확률들인
Figure 112021055689628-pat00028
및
Figure 112021055689628-pat00029
이 높은 값을 가질수록 더 높은 값을 가지게 된다. 결과적으로, 단일항은 카메라 정보 연관부(253) 및 라이다 정보 분석부(251)에 의하여 높은 확률로 같은 레이블로 판정된 경우에 하나의 물체로 판정될 확률이 커지도록 작용한다.
수식 (4)에서,
Figure 112021055689628-pat00030
는 관계항을 표현한 것이고,
Figure 112021055689628-pat00031
은 서로 다른 두 개의 포인트 세그먼트들(i,j)의 쌍(C)에 대하여 둘 사이의 기하학적인 및/또는 특성의 관계에 따라서, 두 개의 포인트 세그먼트들(i,j)이 동일한 타겟 레이블에 해당될 확률을 표현한다. 여기서, 타겟 레이블이란 중심 포인트 세그먼트의 레이블을 의미할 수 있다.
본 발명의 일 실시예에 따르면,
Figure 112021055689628-pat00032
는 아래의 수식 (8) 및 (9)에 의하여 계산될 수 있다.
Figure 112021055689628-pat00033
(8)
Figure 112021055689628-pat00034
(9)
여기서, ci는 i번째 포인트 세그먼트의 무게 중심이고,
Figure 112021055689628-pat00035
은 포인트 세그먼트들 사이의 거리의 분산값이다. Ii는 i번째 포인트 세그먼트의 평균 인텐시티(intensity)이고,
Figure 112021055689628-pat00036
은 포인트 세그먼트들의 인텐시티들의 분산값이다.
Figure 112021055689628-pat00037
는 번째 포인트 세그먼트에 대한 레이블(li)와 j번째 포인트 세그먼트에 대한 레이블(lj)가 서로 다르면 '1' 값을, 동일하면 '0'값을 출력하는 함수이다. 여기서, 포인트 세그먼트에 대한 레이블(li, lj)는 라이다 탐지부 및 카메라 탐지부로부터 얻어진 정보를 종합하여 결정될 수 있다. 즉, 아래의 수식 (10)로 표현할 수 있다.
Figure 112021055689628-pat00038
(10)
결국, 관계항은 그래프로 표현된 물체 분할 정보에서 노드들 사이의 관계를 나타내는 엣지(edge)를 함수로 표현한 것으로, 노드들 사이의 관계로 기하학적인 거리를 고려하는 경우에는 타겟 레이블에 해당하는 노드와 인접한 노드가 동일한 레이블을 가지는 경우에는 높은 확률을 가지게 되어 하나의 물체로 인식될 수 있다. 또한, 타겟 레이블에 해당하는 노드로부터 멀리 떨어진 포인트 세그먼트에 해당하는 노드들은 상대적으로 큰 페널티(penalty)를 가지게 되어, 타겟 레이블에서 해당 노드를 제외할 수 있다.
본 발명에 따른 일 실시예에 따르면, 관계항으로 고려할 수 있는 노드들 사이의 관계는 앞서 살펴본 기하학적인 거리 외에도 (각 노드에 해당하는 포인트 세그먼트에 속하는 포인트들의) 평균 높이의 차이, 방향 벡터의 방향 차이, 평균 반사강도(intensity)의 차이, 평균 색깔의 차이, 평균 흑백 강도의 차이, 평균 열 온도의 차이 등 다양한 정보 중 하나 이상을 고려할 수 있으나, 이들에 한정되지 않는다.
포인트 세그먼트들을 그래프 표현으로 변환한 도 8에서, 기하학적인 거리에 관한 관계항을 고려하면, 중심 포인트 세그먼트에 해당하는 노드(810)로부터 인접한 노드(820)는 동일한 물체(도 8에서는 비행기)로 인식될 확률이 높으나, 멀리 떨어진 노드들(예를 들어, 830, 840)은 다른 물체로 분리되어 인식될 확률이 높다.
본 발명의 일 실시예에 따르면, 함수 기준으로 단일항(Unitary Term) 및 관계항(Pairwise Term) 함수에 탐지 확률값이 할당되어 계산되었다면, 최종적으로 에너지가 최소화되는 포인트 세그먼트들에 대한 최종 레이블 집합(label set)을 구할 수 있다. 예를 들어, 레이블 집합은 아래의 수식 (11)와 같이 도출될 수 있다.
Figure 112021055689628-pat00039
Figure 112021055689628-pat00040
Figure 112021055689628-pat00041
(11)
결국, 수식 (11)로 기재된 함수의 의미는 라이다 정보 분석부(251) 및 카메라 정보 연관부(253)의 레이블 인식 결과값을 바탕으로, 각각의 포인트 세그먼트의 레이블 인식 결과값이 동일하고, 해당 레이블로 인식할 확률인 PLIDAR 및 PCAM이 높고, 중심 포인트 세그먼트와 기하학적인 거리가 짧거나, 동일한 특성을 가지는 등으로 밀접한 관계를 가질수록 에너지 함수의 값이 커지게 하는 레이블 집합(label set)을 도출할 수 있다.
[최종 물체 결정부]
본 발명의 일 실시예에 따르면, 융합 인식부(250)의 최종 물체 결정부(259)는 최적화부(257)로부터 도출된 동일한 물체로 예측된 노드들의 레이블 집합들에 의하여, 분리된 노드들을 합쳐서 최종 물체 인식 결과를 도출할 수 있다. 그래프 표현의 노드들은 포인트 세그먼트들에 해당하고, 최종 물체 인식 결과는 포인트 세그먼트들에 해당하는 노드들을 레이블에 따라서 다시 그룹화한 것이고, 이들을 본 발명에서는 물체 포인트 그룹(object point group)으로 부를 수 있다. 결국, 물체 포인트 그룹은 과분할(over-segmentation) 된 포인트 세그먼트들을 최종 물체 인식 결과에 따라서 하나로 묶은 것으로, 애초에 과분할 되지 않은 포인트 세그먼트는 그 자체가 하나의 물체 포인트 그룹이 된다.
도 9(a)는 라이다 탐지부(230)로부터 도출된 포인트 세그먼트들을 포함하는 물체 분할 정보의 일 실시예이다. 도 9(a)에 도시된 바와 같이, 비행기(910)는 서로 다른 색깔로 표시된 복수의 포인트 세그먼트들로 과분할(over-segmentation)되어 있다. 최종 물체 결정부(259)는 최적화부(257)의 레이블 집합에 따라서 포인트 세그먼트들의 레이블을 도 9(b)와 같이 최종 결정할 수 있다. 도 9(b)에는 대표적으로 비행기(910)에 해당하는 포인트 세그먼트들이 연두색으로 표현된 하나의 물체 포인트 그룹으로 결정되어, 과분할 문제가 해결된 것을 확인할 수 있다.
본 발명의 일 실시예에 따르면 카메라 탐지부(240)가 출력한 도 10(a)와 같은 물체 인식 정보와 라이다 탐지부(230)가 출력한 도 10(b)와 같은 물체 분할 정보를 융합 인식부(250)에서 그래프 기반의 최적화 기법을 활용하여 도 10(c)와 같은 최종 인식 결과를 얻을 수 있다.
본 발명에 따른 물체 인식 방법 및 그 시스템에 대하여 본원의 도면에 따라 상기와 같이 설명하였으나, 본 발명은 본원에 도시 및 설명된 구성 및 방법으로만 국한되는 것이 아니다. 본원에 개시된 것 이외의 다양한 하드웨어 및/또는 소프트웨어가 본 발명의 구성으로 사용될 수 있고, 그 권리범위에 있어서도 본원에 개시된 구성 및 방법으로 한정되는 것이 아니다. 당해 기술분야의 통상의 기술자들은 본 발명이 추구하는 목적과 효과의 범위 내에서 다양한 변형 및 수정이 가능함을 이해할 것이다. 또한, 본 명세서에서 단수형 또는 복수형으로 표현된 부분은 필수불가결한 경우를 제외하고는 단수형 및 복수형인 경우를 모두 포함하는 것으로 해석될 수 있다.
210: 라이다 센서
230: 라이다 탐지부
231: 지면 추출부
235: 물체 분할부
220: 카메라 센서
240: 카메라 탐지부
245: 이미지 객체 인식 네트워크
250: 융합 인식부
251: 라이다 정보 분석부
253: 카메라 정보 연관부
255: 그래프 표현 변환부
257: 최적화부
259: 최종 물체 결정부

Claims (20)

  1. 모양이 복잡하거나 크기가 큰 물체를 인식하는 과정에서 발생할 수 있는 포인트들의 과분할(over-segmentation) 문제를 해결하기 위한 센서 융합 물체 인식 시스템으로서,
    라이다 센서로부터 얻어진 포인트 클라우드를 물체별로 클러스터링한 포인트 세그먼트들을 포함하는 물체 분할 정보를 도출하는 라이다 탐지부;
    카메라 센서로부터 얻어진 이미지로부터 물체별로 물체 인식 정보를 도출하는 카메라 탐지부; 및
    상기 물체 인식 정보 및 상기 물체 분할 정보를 이용하여 물체별로 분할된 물체 포인트 그룹들을 도출하는 융합 인식부를 포함하고,
    상기 융합 인식부는, 상기 물체 분할 정보 및 상기 물체 인식 정보에 기초하여 산출된 각각의 포인트 세그먼트가 특정 물체에 해당하는지에 관한 제1 확률 및 서로 다른 두 개의 포인트 세그먼트가 동일한 물체에 해당하는지에 관한 제2 확률에 기초한 그래프 기반 확률 최적화 기법을 이용하여 상기 물체 포인트 그룹들을 도출하는 최적화부를 더 포함하는,
    센서 융합 물체 인식 시스템.
  2. 제1항에 있어서,
    상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보 및 물체 레이블 정보를 포함하고,
    상기 융합 인식부는 상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 카메라 정보 연관부를 더 포함하며,
    상기 최적화부는 상기 제3 확률에 기초하여 상기 제1 확률을 산출하는,
    센서 융합 물체 인식 시스템.
  3. 제2항에 있어서,
    상기 물체 인식 정보는 인식된 물체가 상기 물체 레이블 정보에 해당할 확률인 신뢰도 정보를 추가로 포함하고,
    상기 카메라 정보 연관부는 상기 물체 분할 정보의 상기 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율에 상기 신뢰도 정보를 곱하여 상기 제3 확률을 산출하는,
    센서 융합 물체 인식 시스템.
  4. 제1항에 있어서,
    상기 물체 인식 정보는 인식된 물체별로 물체 방향 정보를 포함하고,
    상기 융합 인식부는
    상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 라이다 정보 분석부를 더 포함하고,
    상기 최적화부는 상기 제4 확률에 기초하여 상기 제1 확률을 산출하는,
    센서 융합 물체 인식 시스템.
  5. 제4항에 있어서,
    상기 라이다 정보 분석부는
    상기 중심 포인트 세그먼트의 방향 벡터와 상기 각각의 포인트 세그먼트의 방향 벡터가 수직 또는 수평인 기하학적인 관계가 있을 때 상기 제4 확률을 높게 산출하는,
    센서 융합 물체 인식 시스템.
  6. 제1항에 있어서,
    상기 융합 인식부는
    상기 포인트 세그먼트들을 노드(node)로 표현하고, 상기 포인트 세그먼트들 사이의 관계를 에지(edge)로 표현하여, 상기 물체 분할 정보를 그래프 형식으로 변환하는 그래프 표현 변환부를 더 포함하는,
    센서 융합 물체 인식 시스템.
  7. 제6항에 있어서,
    상기 그래프 표현 변환부에 의하여 상기 에지(edge)로 표현될 수 있는 상기 물체 포인트 세그먼트들 사이의 관계는 상기 물체 포인트 세그먼트들 사이의 기하학적인 관계 및/또는 상기 물체 포인트 세그먼트들의 사이의 특성 차이 관계를 포함하는,
    센서 융합 물체 인식 시스템.
  8. 제1항에 있어서,
    상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보, 물체 방향 정보 및 물체 레이블 정보를 포함하고,
    상기 융합 인식부는
    상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 카메라 정보 연관부; 및
    상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 라이다 정보 분석부;를 더 포함하며,
    상기 최적화부는 상기 제3 확률 및 상기 제4 확률에 기초하여 상기 제1 확률을 산출하는,
    센서 융합 물체 인식 시스템.
  9. 제1항에 있어서,
    상기 최적화부는 서로 다른 두 개의 포인트 세그먼트들 사이의 무게 중심의 차이(거리), 평균 높이의 차이, 방향 벡터의 방향 차이, 평균 반사강도(intensity)의 차이, 평균 색깔의 차이, 평균 흑백 강도의 차이, 평균 열 온도의 차이 중 하나 이상에 기초하여 제2 확률을 산출하는,
    센서 융합 물체 인식 시스템.
  10. 제1항에 있어서,
    상기 제1 확률은 상기 라이다 탐지부의 상기 물체 분할 정보와 상기 카메라 탐지부의 상기 물체 인식 정보의 일치 여부에 기초하여 결정되는,
    센서 융합 물체 인식 시스템.
  11. 모양이 복잡하거나 크기가 큰 물체를 인식하는 과정에서 발생할 수 있는 포인트들의 과분할(over-segmentation) 문제를 해결하기 위한 센서 융합 물체 인식 방법으로서,
    라이다 센서로부터 얻어진 포인트 클라우드를 물체별로 클러스터링하여, 분할된 포인트 세그먼트들을 포함하는 물체 분할 정보를 도출하는 단계;
    카메라 센서로부터 얻어진 이미지로부터 물체별로 물체 인식 정보를 도출하는 단계; 및
    상기 물체 인식 정보 및 상기 물체 분할 정보를 이용하여 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계를 포함하고,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는, 상기 물체 분할 정보 및 상기 물체 인식 정보에 기초하여 산출된 각각의 포인트 세그먼트가 특정 물체에 해당하는지에 관한 제1 확률 및 서로 다른 두 개의 포인트 세그먼트가 동일한 물체에 해당하는지에 관한 제2 확률에 기초한 그래프 기반 확률 최적화 기법을 이용하여 상기 물체 포인트 그룹들을 도출하는,
    센서 융합 물체 인식 방법.
  12. 제11항에 있어서,
    상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보 및 물체 레이블 정보를 포함하고,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에, 상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 단계를 더 포함하며,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 상기 제3 확률에 기초하여 상기 제1 확률을 산출하는,
    센서 융합 물체 인식 방법.
  13. 제12항에 있어서,
    상기 물체 인식 정보는 인식된 물체가 상기 물체 레이블 정보에 해당할 확률인 신뢰도 정보를 추가로 포함하고,
    상기 제3 확률을 산출하는 단계는 상기 물체 분할 정보의 상기 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율에 상기 신뢰도 정보를 곱하여 상기 제3 확률을 산출하는,
    센서 융합 물체 인식 방법.
  14. 제11항에 있어서,
    상기 물체 인식 정보는 인식된 물체별로 물체 방향 정보를 포함하고,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에, 상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 단계를 더 포함하고,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 상기 제4 확률에 기초하여 상기 제1 확률을 산출하는,
    센서 융합 물체 인식 방법.
  15. 제14항에 있어서,
    상기 제4 확률을 산출하는 단계는
    상기 중심 포인트 세그먼트의 방향 벡터와 상기 각각의 포인트 세그먼트의 방향 벡터가 수직 또는 수평인 기하학적인 관계가 있을 때 상기 제4 확률을 높게 산출하는,
    센서 융합 물체 인식 방법.
  16. 제11항에 있어서,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에,
    상기 포인트 세그먼트들을 노드(node)로 표현하고, 상기 포인트 세그먼트들 사이의 관계를 에지(edge)로 표현하여, 상기 물체 분할 정보를 그래프 형식으로 변환하는 단계를 더 포함하는,
    센서 융합 물체 인식 방법.
  17. 제16항에 있어서,
    상기 물체 분할 정보를 그래프 형식으로 변환하는 단계에서,
    상기 에지(edge)로 표현될 수 있는 상기 물체 포인트 세그먼트들 사이의 관계는 상기 물체 포인트 세그먼트들 사이의 기하학적인 관계 및/또는 상기 물체 포인트 세그먼트들의 사이의 특성 차이 관계를 포함하는,
    센서 융합 물체 인식 방법.
  18. 제11항에 있어서,
    상기 물체 인식 정보는 인식된 물체별로 물체 영역 정보, 물체 방향 정보 및 물체 레이블 정보를 포함하고,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계 이전에,
    상기 물체 분할 정보의 각각의 포인트 세그먼트에 해당하는 포인트들이 이에 대응하는 상기 물체 영역 정보에 매칭되는 비율을 기초로 상기 각각의 포인트 세그먼트가 상기 물체 레이블 정보에 해당할 확률인 제3 확률을 산출하는 단계; 및
    상기 물체 방향 정보를 기초로 상기 포인트 세그먼트들 중에서 중심 포인트 세그먼트를 결정하고, 상기 중심 포인트 세그먼트와의 거리 및 기하학적인 관계를 고려하여 각각의 포인트 세그먼트가 상기 중심 포인트 세그먼트와 동일한 물체일 확률인 제4 확률을 산출하는 단계를 더 포함하며,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 상기 제3 확률 및 상기 제4 확률에 기초하여 상기 제1 확률을 산출하는,
    센서 융합 물체 인식 방법.
  19. 제11항에 있어서,
    상기 물체별로 분할된 물체 포인트 그룹들을 도출하는 단계는 서로 다른 두 개의 포인트 세그먼트들 사이의 무게 중심의 차이(거리), 평균 높이의 차이, 방향 벡터의 방향 차이, 평균 반사강도(intensity)의 차이, 평균 색깔의 차이, 평균 흑백 강도의 차이, 평균 열 온도의 차이 중 하나 이상에 기초하여 제2 확률을 산출하는,
    센서 융합 물체 인식 방법.
  20. 제11항에 있어서,
    상기 제1 확률은 상기 물체 분할 정보에 의한 물체 인식 결과와 상기 물체 인식 정보에 의한 물체 인식 결과의 일치 여부에 기초하여 결정되는,
    센서 융합 물체 인식 방법.
KR1020210062288A 2021-05-13 2021-05-13 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법 KR102346304B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210062288A KR102346304B1 (ko) 2021-05-13 2021-05-13 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210062288A KR102346304B1 (ko) 2021-05-13 2021-05-13 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102346304B1 true KR102346304B1 (ko) 2022-01-03

Family

ID=79348328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210062288A KR102346304B1 (ko) 2021-05-13 2021-05-13 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102346304B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049996A (zh) * 2022-05-27 2022-09-13 合肥工业大学 基于证据推理规则的双传感器目标检测融合方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090131626A (ko) * 2008-06-18 2009-12-29 삼성전자주식회사 영상 데이터내의 특정 클래스의 오브젝트를 세그멘테이션하기 위한 시스템 및 방법
KR20160029645A (ko) 2014-09-05 2016-03-15 아톰 메디칼 코포레이션 캐뉼라 장치
KR20190026116A (ko) 2017-09-04 2019-03-13 삼성전자주식회사 객체 인식 방법 및 장치
KR102120812B1 (ko) * 2018-12-17 2020-06-09 재단법인대구경북과학기술원 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법
KR20210026412A (ko) * 2019-08-30 2021-03-10 순천향대학교 산학협력단 Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090131626A (ko) * 2008-06-18 2009-12-29 삼성전자주식회사 영상 데이터내의 특정 클래스의 오브젝트를 세그멘테이션하기 위한 시스템 및 방법
KR20160029645A (ko) 2014-09-05 2016-03-15 아톰 메디칼 코포레이션 캐뉼라 장치
KR20190026116A (ko) 2017-09-04 2019-03-13 삼성전자주식회사 객체 인식 방법 및 장치
KR102120812B1 (ko) * 2018-12-17 2020-06-09 재단법인대구경북과학기술원 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법
KR20210026412A (ko) * 2019-08-30 2021-03-10 순천향대학교 산학협력단 Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049996A (zh) * 2022-05-27 2022-09-13 合肥工业大学 基于证据推理规则的双传感器目标检测融合方法和系统

Similar Documents

Publication Publication Date Title
Lee et al. Patchwork++: Fast and robust ground segmentation solving partial under-segmentation using 3d point cloud
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
US20140126822A1 (en) Image Processing
KR102565778B1 (ko) 객체 인식 방법 및 이를 수행하는 객체 인식 장치
EP4086846A1 (en) Automatic detection of a calibration standard in unstructured lidar point clouds
JP6906471B2 (ja) 点群から対象の向きを推定する対象情報推定装置、プログラム及び方法
KR102346304B1 (ko) 모양이 복잡하거나 크기가 큰 물체를 정확하게 인식할 수 있는 센서 융합 인식 시스템 및 그 방법
Häselich et al. Confidence-based pedestrian tracking in unstructured environments using 3D laser distance measurements
Milella et al. Combining radar and vision for self-supervised ground segmentation in outdoor environments
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
EP3845926B1 (en) Multi-spectral lidar object tracking method and system
Razlaw et al. Detection and tracking of small objects in sparse 3d laser range data
CN113219472A (zh) 一种测距系统和方法
Zhong et al. Robust negative obstacle detection in off-road environments using multiple LiDARs
Lee et al. Sensor fusion for aircraft detection at airport ramps using conditional random fields
Börcs et al. On board 3D object perception in dynamic urban scenes
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction
Sanchez-Lopez et al. Deep learning based semantic situation awareness system for multirotor aerial robots using LIDAR
Ahrabian et al. Efficient multi-sensor extended target tracking using GM-PHD filter
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
Bhatlawande et al. LIDAR based Detection of Small Vehicles
KR20230036243A (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템
CN113895439A (zh) 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
Beltrán et al. Dense Semantic Stereo Labelling Architecture for In-Campus Navigation.
Mohammed et al. An Efficient Intersection Over Union Loss Function for 3D Object Detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant