KR20230076059A - 객체 추적을 위한 방법 및 장치 - Google Patents

객체 추적을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20230076059A
KR20230076059A KR1020220013069A KR20220013069A KR20230076059A KR 20230076059 A KR20230076059 A KR 20230076059A KR 1020220013069 A KR1020220013069 A KR 1020220013069A KR 20220013069 A KR20220013069 A KR 20220013069A KR 20230076059 A KR20230076059 A KR 20230076059A
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
object tracking
point
generating
Prior art date
Application number
KR1020220013069A
Other languages
English (en)
Inventor
강경하
양수빈
정구민
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Publication of KR20230076059A publication Critical patent/KR20230076059A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 추적을 위한 방법으로서, 연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하는 단계, 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계, 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계, 및 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 단계를 포함할 수 있다.

Description

객체 추적을 위한 방법 및 장치{METHOD AND APPARATUS FOR OBJECT TRACKING}
본 개시는 객체 추적을 위한 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 개시는 이전 프레임 정보를 이용하여 현재 프레임 예측이 가능한 칼만 필터를 적용한 트랜스포머 기반의 모델을 통해 객체를 추적하기 위한 방법 및 장치에 관한 것이다.
인공지능 기술의 발달과 함께 영상 처리를 통해 객체를 인식하고 추적하는 기술이 다양한 분야에서 활용되고 있다.
특히, 자율주행 차량, 보안 모니터링 장치 등에서 객체를 인식하고 추적하는 기능을 수행할 수 있는 모델에 대한 수요가 증가하고 있다. 자율주행 차량에서는 레이더 또는 라이더 센서에 의해 수집된 정보를 통해 주변의 형태를 포인트 클라우드로 표현할 수 있다. 이와 관련하여, 공개특허공보 제10-2021-0107119호에서는 포인트 클라우드를 이용한 물체 검출 방법 및 장치에 대해 설명하고 있다.
한편, 트랜스포머 모델의 경우 자연어 처리 위주로 개발되어오다 최근 비전 처리 연구에 활발히 활용되고 있다. 그 중에서도 트랜스포머 모델의 핵심 레이어(layer)인 셀프-어텐션(Self-attention)의 연산 방식이 포인트 클라우드 데이터의 형태와 호환성이 좋아 트랜스포머 모델을 이용한 포인트 클라우드 데이터 처리 연구가 시작되고 있으며 대부분 라이다 데이터 처리에 관한 연구를 진행하고 있다.
극히 일부는 4D 이미징 레이더 데이터 처리 연구를 진행하고 있는데, 4D 이미징 레이더 데이터 처리에 있어서 이전 프레임에 대한 정보 없이 기존 트랜스포머 모델을 이용하여 객체 인식 및 분류만을 진행한다. 이러한 모델의 경우 레이더 특성상 이전 프레임 정보를 이용하여 객체 추적을 하지 않으면 정적 객체에 대한 인식률이 매우 떨어지기 때문에 실차 주행에 적용하기에는 어려움이 있다.
이에 따라, 4D 이미징 레이더를 이용하면서도 실차 주행에 적용할 수 있을 정도로 객체 추적의 정확성을 향상시킬 수 있는 모델에 대한 필요가 대두되고 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
선행기술: 공개특허공보 제10-2021-0107119호
본 개시의 실시 예의 일 과제는, 4D 이미징 레이더를 이용한 경우에도 정적 객체를 포함한 객체 인식률을 높이기 위한 객체 추적 방법 및 장치를 제공하는 것이다.
또한, 본 개시의 실시 예의 일 과제는, 4D 이미징 레이더에서 해상도가 낮음으로 인해 포인트 클라우드 데이터의 포인트 수가 적어서 객체 인식률이 낮아지는 문제를 해결하기 위한 객체 추적 방법 및 장치를 제공하는 것이다.
본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 객체 추적을 위한 방법은, 4D 이미징 레이더로부터 획득된 밀도가 낮은 포인트 클라우드 데이터의 밀도를 향상시키고 향상된 밀도를 가진 포인트 클라우드 데이터를 이용하여 객체를 인식하고 추적하는 방식을 제공한다.
또한, 본 개시의 일 실시 예에 따른 객체 추적을 위한 방법은, 연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하고, 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하고, 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하고, 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 것을 포함할 수 있다.
여기서, 제2 포인트 클라우드 데이터를 생성하는 단계는, 제1 포인트 클라우드 데이터의 한 포인트를 기준으로 임의의 유클리디안 거리 내에 존재하는 2개의 인접 포인트들을 선택하고, 한 포인트와 상기 2개의 인접 포인트들의 좌표들의 평균 좌표에 새로운 신규 포인트를 생성하는 단계를 포함할 수 있다.
이 외에도, 본 개시의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예에 의한 객체 추적 방법 및 장치는 4D 이미징 레이더를 이용한 경우에도 정적 객체를 포함한 객체 인식률을 높이는 효과를 제공할 수 있다.
또한, 본 개시의 실시 예에 의한 객체 추적 방법 및 장치는 4D 이미징 레이더에서 해상도가 낮음으로 인해 포인트 클라우드 데이터의 포인트 수가 적어서 객체 인식률이 낮아지는 문제를 해결할 수 있다.
본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 객체를 추적하기 위한 방법 및 장치가 사용되는 환경을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 객체를 추적하기 위한 장치에 대한 블록도를 도시한다.
도 3은 일 실시 예에 따른 객체를 추적하기 위한 방법에 대한 순서도를 도시한다.
도 4는 일 실시 예에 따른 포인트 클라우드 데이터를 강화시키는 방식을 설명하기 위한 도면이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.
그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시 예에 따른 객체를 추적하기 위한 방법 및 장치가 사용되는 환경을 설명하기 위한 도면이다.
도 1에서는 자율주행 차량에서 주변 환경을 감지하기 위해 객체 추적 방법 및 장치를 사용하는 것으로 설명하지만, 본 개시의 객체 추적 방법 및 장치가 자율주행 차량 분야에서만 사용될 수 있는 것은 아니며, 객체를 인식하고 추적하는 기능을 필요한 다른 모든 분야에서 활용될 수 있음은 물론이다.
도 1의 자율주행 차량(10)은 주변환경을 감지하기 위한 이미징 레이더(110, 120, 130, 140)를 포함할 수 있다. 도 1에서는 차량(10)의 전방과 후방을 감지하는 것으로만 표시되어 있으나, 이미징 레이더(110, 120, 130, 140)의 동작 변경 또는 추가 배치를 통해 차량(10)의 측면을 포함한 전체적인 주변 환경을 모두 감지하도록 구성될 수도 있다.
이미징 레이더(110, 120, 130, 140)는 타깃의 존재뿐만이 아니고 그 형상에 대한 정보를 얻을 수 있는 레이더로서, 공간 물체 인식레이더(space object identification radar, SOI)나 지형 매핑 레이더(synthetic aperture radar, SAR) 등을 포함할 수 있다.
이미징 레이더(110, 120, 130, 140)로부터 획득된 주변 환경에 대한 정보는 포인트들로 표현되어 포인트 클라우드 데이터로서 프로세서에 의해 처리될 수 있다.
한편, 라이다의 출력에 비하여 이미징 레이더는 해상도가 낮아 포인트 클라우드 데이터의 포인트 수가 적다. 이러한 특성으로 인해 일반적으로 연산량, 메모리 등을 줄이기 위해 포인트 클라우드 데이터를 다운 샘플링하는 라이다 데이터와 달리 이미징 레이더를 이용한 객체 인식 및 추적을 위해서 업샘플링을 수행하여 포인트 수를 늘려 사용함으로써, 객체 인식 및 추적에 대한 정확도를 높일 수 있다.
전통적인 레이더 시스템들은 수평면에 걸친 도로를 스캐닝하도록 구성되어 있고 객체에 대한 3차원의 정보(객체까지의 거리, 객체의 이동 방향, 객체의 상대적 속도)를 식별할 수 있다.
새롭게 사용되고 있는 4D 이미징 레이더 시스템은 여기에 더하여 수직 정보라는 새로운 차원의 정보를 추가할 수 있다. 이러한 디바이스들은 획득하는 데이터의 풍성함으로 인해 이미징 레이더라는 레이블을 가지게 되기도 한다. 즉, 이미징 레이더는, 수평 데이터와 수직 데이터 모두를 가지고, 이미지를 구성할 수 있도록 하는 매우 많은 상이한 반사 포인트들을 감지할 수 있다.
본 개시의 객체 추적 방법 및 장치에서는 4D 이미징 레이더를 통해 포인트 클라우드 데이터를 획득할 수 있고, 이러한 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함할 수 있다.
4D 이미징 레이더틀 통해 획득된 포인트 클라우드 데이터를 하기에서 설명되는 방식에 따라 적절히 처리하고 이용할 경우 4D 이미징 레이더가 장착된 장치의 주변환경에 존재하는 객체들에 대한 높은 정확도로 인식과 추적이 이루어질 수 있다.
도 2는 일 실시 예에 따른 객체를 추적하기 위한 장치에 대한 블록도를 도시한다.
도 1에서 도시된 바와 같이 4D 이미징 레이더(100)는 주변환경에 대한 인식이 필요한 장치에 설치되어 주변환경에 대한 포인트 클라우드 데이터를 수집할 수 있다.
이렇게 수집된 포인트 클라우드 데이터는 객체 추적 장치(200)로 전달될 수 있다. 객체 추적 장치(200)는 프로세서(210)와 메모리(220)를 포함할 수 있다.
프로세서(210)는 객체 추적 장치(200)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(210)는 메모리(220)를 포함하는 객체 추적 장치(200)의 구성과 연결되며, 메모리(220)에 저장된 적어도 하나의 명령을 실행하여 객체 추적 장치(200)의 동작을 전반적으로 제어할 수 있다.
프로세서(210)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(210)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.
프로세서(210)는 일종의 중앙처리장치로서 메모리(220)에 탑재된 소프트웨어를 구동하여 객체 추적 장치(200)의 동작을 제어할 수 있다. 프로세서(210)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.
메모리(220)는 객체 추적 장치(200)의 동작의 제어(연산)에 필요한 각종 정보들을 저장하고, 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.
메모리(220)는 하나 이상의 프로세서(210)와 전기적 또는 내부 통신 인터페이스로 연결되고, 프로세서(210)에 의해 실행될 때, 프로세서(210)로 하여금 객체 추적 장치(200)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.
여기서, 메모리(220)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media) 등의 비 일시적 저장매체이거나 램(RAM) 등의 일시적 저장매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(220)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
그리고, 메모리(220)에는 본 개시에 따른 모델의 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(220)에 저장될 수 있으며, 메모리(220)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다. 메모리(220)에는 객체 추적 방법을 위한 알고리즘과 알고리즘에서 사용되는 학습 모델들이 저장되어 있다.
한편, 객체 추적 장치(200)는 객체 추적이 필요한 장치에 부착되거나 모듈로서 구현된 장치일 수도 있고, 객체 추적이 필요한 장치와는 떨어져 원격으로 통신이 가능하도록 배치된 서버일 수도 있다.
서버는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터 서버 및 AI 서버, 각종 알고리즘의 연산을 수행하는 연산 서버 등을 포함할 수 있다.
또한, 서버는 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다. 즉, 서버는 상기의 웹 서버 및 AI 서버를 포함하거나 이러한 서버들과 네트워킹 할 수 있다.
객체 추적 장치(200)와 서버는 네트워크에 의해 연결될 수도 있다. 이러한 네트워크는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 또한 네트워크는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다.
또한, 네트워크는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
객체 추적 장치(200)는 통신부(미도시)를 포함할 있으며, 통신부는 네트워크와 연동하여 외부 장치간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
즉, 프로세서(210)는 통신부를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
한편, 객체 추적 장치(200)는 사용자 인터페이스(미도시)를 포함할 수 있으며, 일 실시 예에서, 사용자 인터페이스는 객체 추적 장치(200)의 동작(예컨대, 네트워크의 파라미터 변경, 네트워크의 학습 조건 변경 등)을 제어하기 위한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다.
그리고 일 실시 예에서, 사용자 인터페이스는 객체 추적 결과를 출력하는 출력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스는 사용자 요청 및 명령에 따른 결과를 출력할 수 있다. 이러한 사용자 인터페이스의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있다.
한편, 객체 추적 장치(200)에 의해 연산된 결과는 디스플레이(300)를 통해 출력될 수 있다. 예를 들어, 객체 추적 장치(200)에서 인식하고 추정된 객체가 표시되어 디스플레이(300)를 통해 사용자에게 보여질 수 있다.
일 실시 예에서, 객체 추적 장치(200)에 의해 연산된 결과는 사용자에게 보여지는 바 없이 객체 추적 장치(200)와 연결된 장치의 동작을 제어하는데 사용될 수도 있다.
객체 추적 장치(200)의 프로세서(210)와 메모리(220)는 전기적으로 연결되고, 프로세서(210)는 메모리(220)에 저장된 명령어들에 따라 연속된 프레임으로 초기 포인트 클라우드 데이터(제1 포인트 클라우드 데이터로 표현될 수도 있음)를 수신할 수 있다.
연속된 프레임으로 포인트 클라우드 데이터를 수신한다는 것은 이미징 레이더(100)의 데이터 수집 레이트에 따라 일 시점에서의 주변환경에 대한 포인트 클라우드 데이터가 수신되고(일 프레임의 포인트 클라우드 데이터), 이어서 다음 시점에서 주변환경에 대한 포인트 클라우드 데이터(다음 프레임의 포인트 클라우드 데이터)가 수신된다는 의미로, 프로세서(210)는 이전 프레임에서 객체를 식별하고 다음 프레임에서 식별된 객체가 어디에 있는지를 추적할 수 있다.
프로세서(210)는 수신된 초기 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성할 수 있다. 상술된 바와 같이 이미징 레이더로 획득된 포인트 클라우드 데이터는 객체 인식을 정확히 진행하기에는 포인트가 부족할 수 있으므로, 하기에서 설명될 연산 방식에 따라 포인트 클라우드 데이터를 업샘플링하여 증강시킬 수 있다.
프로세서(210)는 증강된 포인트 클라우드 데이터(제2 포인트 클라우드 데이터로 표현될 수 있음)에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력할 수 있다.
피쳐는 객체에 대한 인지 및 식별을 통해 추적되어야 하는 객체의 동일성을 판단하는데 사용될 수도 있다. 여기서, 피쳐는 딥러닝 학습을 위해 필요한 입력된 포인트 클라우드 데이터의 피쳐를 의미할 수 있다.
프로세서(210)는 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 동작을 수행할 수 있다.
칼만 필터는 선형 동적 시스템에서 상태 추정을 위한 최소 분산 상태 추정 알고리즘으로, 영상 내의 이동 물체를 추적하기 위한 칼만 필터는 이전 프레임의 추적 결과에 따라 현재 프레임에서 가장 가능성 있는 물체 위치를 예측하고, 예측된 위치의 인접 영역에서 목표물을 탐색하며, 만일 탐색 영역에 목표물이 존재한다면 그 다음 프레임에서 목표물의 위치를 예측하도록 연속 추적할 수 있다. 칼만 필터를 사용하여 이동 물체의 위치와 속도를 정확히 예측할 수 있으며, 이동 물체의 파라미터들을 추정할 수 있다.
위와 같은 방식을 통해 프로세서(210)는 이전 프레임에서의 객체가 다음 프레임에서 어디에 위치하는지를 추적할 수 있다.
도 3은 일 실시 예에 따른 객체를 추적하기 위한 방법에 대한 순서도를 도시한다.
도 3의 객체 추적 방법은 객체 추적 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
본 개시의 일 실시 예에 따른 객체 추적 방법은 트랜스포머 모델의 구조를 기반으로 칼만 필터를 적용하여 4D 이미징 레이더의 포인트 클라우드 데이터를 이용하여 객체 추적이 가능한 딥러닝 모델을 이용할 수 있다.
객체 추적 장치(200)는 4D 이미징 레이더(100)로부터 초기 포인트 클라우드 데이터를 수신할 수 있다(S110). 트랜스포머 모델의 경우 자연어 처리를 위한 모델로 워드(word)를 임베딩(Embedding)하도록 구성되어 있다.
본 개시의 일 실시 예에 따른 4D 이미징 레이더 객체 추적 트랜스포머 모델의 경우, 4D 이미징 레이더의 포인트 클라우드 데이터를 이용하기 때문에 5차원 벡터 공간에 포인트를 임베딩(Embedding)하는 구조를 포함할 수 있다. 여기서, 포인트 자체에 좌표로 위치 정보를 포함하기 때문에 따로 위치 정보를 함께 임베딩할 필요는 없을 수 있다.
이에 따라, 본 개시의 일 실시 예에 따른 객체 추적 장치(200)는 수신된 초기 포인트 클라우드 데이터를 5차원 벡터 공간에 임베딩할 수 있다(S120). 여기서, 포인트 클라우드 데이터를 5차원 벡터 공간에 임베딩한다는 것은 4D 이미징 레이더의 로 데이터(Raw data) 중 x, y, z, 도플러, 파워의 다섯 가지 값을 입력으로 사용한다는 것을 의미할 수 있다.
한편, 4D 이미징 레이더의 객체 인식 및 추적의 정확도를 더욱더 높이기 위해서는 포인트 클라우드 데이터를 업샘플링하는 과정이 필요하다.
이에 따라, 객체 추적 장치(200)는 초기 포인트 클라우드 데이터를 업샘플링하여 포인트를 증강시킴으로써 증강된 포인트 클라우드 데이터를 생성할 수 있다(S130).
업샘플링을 하는 과정에서 새로운 포인트를 생성하여 추가함으로써 4D 이미징 레이더(100)로부터 획득된 포인트 클라우드 데이터에서 포인트 수가 부족한 문제를 해결할 수 있다.
업샘플링 과정을 보다 구체적으로 설명하면, 증강된 포인트 클라우드 데이터를 생성하는 단계는 초기 포인트 클라우드 데이터의 한 포인트를 기준으로 임의의 유클리디안 거리 내에 존재하는 2개의 인접 포인트들을 선택하고, 한 포인트와 2개의 인접 포인트들의 좌표들의 평균 좌표에 새로운 신규 포인트를 생성하는 단계를 포함할 수 있다.
한편, 업샘플링하는 과정은 초기 포인트 클라우드의 모든 포인트에 대해 상기와 같은 신규 포인트를 생성하는 단계를 수행하고, 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 제1 밀도에 도달했는지 판단하는 단계를 포함할 수 있다. 여기서, 제1 밀도는 사용자에 의해 미리 정해진 값이거나 데이터 사용 상황에 따라 자동으로 변경되는 값일 수 있다.
포인트 클라우드 데이터의 밀도가 제1 밀도에 도달하지 못한 경우, 객체 추적 장치(200)는 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 신규 포인트를 생성하는 단계를 제1 밀도에 도달할 때까지 다시 수행할 수 있다.
한편, 제1 밀도는 수신된 연속된 프레임의 프레임 레이트에 따라 설정되며, 프레임 레이트가 높을수록 상기 제1 밀도는 낮게 설정될 수 있다. 프레임 레이트가 높다는 것은 포인트 클라우드 데이터가 보다 자주 업데이트된다는 것이고 이러한 경우 각 프레임마다의 포인트 클라우드의 밀도가 낮더라도 정보의 정확도에 있어서 보완이 가능하기 때문이다.
도 4는 일 실시 예에 따른 포인트 클라우드 데이터를 강화시키는 방식을 설명하기 위한 도면이다.
도 4를 참조하면, 업샘플링시 한 포인트(X1)을 기준으로 유클리디안(Euclidean) 거리 내의 임의의 포인트 2개(X2, X3)를 선택하여 세 포인트 좌표의 평균 좌표에 있는 새로운 포인트(Xm)를 생성하여 추가할 수 있다. 새로운 포인트(Xm)의 좌표는 다음과 같은 수학식 1에 의해 연산될 수 있다. 일 예로, X는 3차원의 좌표값일 수 있다.
[수학식 1]
Figure pat00001
객체 추적 장치(200)는 증강된 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계를 수행할 수 있다(S140).
객체 추적 장치(200)는 K-최근접 이웃 탐색(K-nearest neighbor search) 알고리즘을 적용하여 트랜스포머 모델의 셀프-어텐션(Self-attention)을 통해 기준 포인트와 그에 인접한 k개 포인트를 이용한 연산으로 피쳐를 추출할 수 있다.
여기서, 증강된 포인트 클라우드 데이터에 K-최근접 이웃 탐색 알고리즘을 적용하고 트랜스포머 모델을 이용하여 일 포인트와 일 포인트에 인접한 K개의 포인트를 이용하여 피쳐를 추출하는 단계가 수행될 수 있다.
이후, 추출된 피쳐를 입력으로 하여 지역 제안 네트워크(Region Proposal Network)를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 박스 리그레션(Bounding Box Regression)을 출력하는 단계가 더 수행될 수 있다. 여기서, 박스 클래시피케이션(Box Classification)은 객체의 존재 유무를 분류하는 것이고, 바운딩 박스 리그레션(Bounding Box Regression)은 객체가 있을 만한 바운딩 박스의 좌표를 회귀하는 것을 의미할 수 있다. 상술된 셀프-어텐션(Self-attention) 모듈을 통해 추출한 피쳐에 대해 RPN을 적용하여 얻는 출력이 박스 클래시피케이션과 바운딩 박스 리그레션일 수 있다.
객체 추적 장치(200)는 추출한 피쳐(feature)를 입력으로 넣어 지역 제안 네트워크(Region Proposal Network(PRN))를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 리그레션(Bounding Regression or Box Regression)을 출력할 수 있다(S150). RPN의 입력 값은 이전 모델에서 추출한 피쳐맵(feature map)이다. 지역 제안(Region proposal)을 생성하기 위해 피쳐맵(feature map)위에 n x n 윈도우를 슬라이딩 시킬 수 있다.
객체 추적 장치(200)는 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행할 수 있다(S160, S170).
객체 추적 장치(200)는 RPN의 출력을 칼만 필터에 입력으로 넣어 예측과 업데이트 과정을 반복하며 계산함으로써 다음 프레임에서의 객체 위치를 예측해 객체 추적을 구현할 수 있다.
즉, 객체 추적 장치(200)는 박스 클래시피케이션(Box Classification) 결과와 바운딩 리그레션(Bounding Regression)을 칼만 필터에 입력하고 예측과 업데이트 과정을 반복하며 연산함으로써 다음 프레임에서의 객체의 위치를 예측할 수 있다.
이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.
10 : 차량
100 : 4D 이미징 레이더
200 : 객체 추적 장치
300 : 디스플레이

Claims (19)

  1. 객체 추적을 위한 방법으로서,
    연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하는 단계;
    상기 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계;
    상기 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계; 및
    상기 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 상기 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 단계를 포함하는,
    객체 추적 방법.
  2. 제 1 항에 있어서,
    상기 제2 포인트 클라우드 데이터를 생성하는 단계는,
    상기 제1 포인트 클라우드 데이터의 한 포인트를 기준으로 임의의 유클리디안 거리 내에 존재하는 2개의 인접 포인트들을 선택하고, 상기 한 포인트와 상기 2개의 인접 포인트들의 좌표들의 평균 좌표에 새로운 신규 포인트를 생성하는 단계를 포함하는,
    객체 추적 방법.
  3. 제 1 항에 있어서,
    상기 제1 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 획득된 데이터로, 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함하는,
    객체 추적 방법.
  4. 제 3 항에 있어서,
    상기 수신하는 단계 이후 및 상기 생성하는 단계 이전에,
    상기 4D 이미징 레이더로부터 획득된 제1 포인트 클라우드 데이터를 5차원 벡터 공간으로 임베딩하는 단계를 포함하는,
    객체 추적 방법.
  5. 제 1 항에 있어서,
    상기 출력하는 단계는,
    상기 제2 포인트 클라우드 데이터에 K-최근접 이웃 탐색 알고리즘을 적용하고 상기 트랜스포머 모델을 이용하여 일 포인트와 상기 일 포인트에 인접한 K개의 포인트를 이용하여 피쳐를 추출하는 단계를 포함하는,
    객체 추적 방법.
  6. 제 5 항에 있어서,
    상기 출력하는 단계는,
    상기 피쳐를 추출하는 단계 이후에,
    추출된 상기 피쳐를 입력으로 하여 지역 제안 네트워크(Region Proposal Network)를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 박스 리그레션(Bounding Box Regression)을 출력하는 단계를 더 포함하는,
    객체 추적 방법.
  7. 제 6 항에 있어서,
    상기 추적을 수행하는 단계는,
    상기 박스 클래시피케이션(Box Classification) 결과와 바운딩 리그레션(Bounding Regression)을 칼만 필터에 입력하고 예측과 업데이트 과정을 반복하며 연산함으로써 다음 프레임에서의 객체의 위치를 예측하는 단계를 포함하는,
    객체 추정 방법.
  8. 제 2 항에 있어서,
    상기 제2 포인트 클라우드 데이터를 생성하는 단계는,
    상기 제1 포인트 클라우드의 모든 포인트에 대해 상기 신규 포인트를 생성하는 단계를 수행하고, 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 제1 밀도에 도달했는지 판단하는 단계; 및
    상기 포인트 클라우드 데이터의 밀도가 상기 제1 밀도에 도달하지 못한 경우, 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 상기 신규 포인트를 생성하는 단계를 다시 수행하는 단계를 포함하는,
    객체 추적 방법.
  9. 제 8 항에 있어서,
    상기 제1 밀도는 수신된 상기 연속된 프레임의 프레임 레이트에 따라 설정되며, 상기 프레임 레이트가 높을수록 상기 제1 밀도는 낮게 설정되는,
    객체 추적 방법.
  10. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제 1 항 내지 제 9 항 중 어느 하나의 항의 방법을 수행하게 하는 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록 매체.
  11. 객체를 추적하기 위한 장치로서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하는 동작;
    상기 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하는 동작;
    상기 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 동작; 및
    상기 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 상기 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 동작을 수행하도록 구성되는,
    객체 추정 장치.
  12. 제 11 항에 있어서,
    상기 제2 포인트 클라우드 데이터를 생성하는 동작은,
    상기 제1 포인트 클라우드 데이터의 한 포인트를 기준으로 임의의 유클리디안 거리 내에 존재하는 2개의 인접 포인트들을 선택하고, 상기 한 포인트와 상기 2개의 인접 포인트들의 좌표들의 평균 좌표에 새로운 신규 포인트를 생성하는 동작을 포함하는,
    객체 추적 장치.
  13. 제 11 항에 있어서,
    상기 제1 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 획득된 데이터로, 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함하는,
    객체 추적 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 수신하는 동작 이후 및 상기 생성하는 동작 이전에,
    상기 4D 이미징 레이더로부터 획득된 제1 포인트 클라우드 데이터를 5차원 벡터 공간으로 임베딩하는 동작을 수행하도록 구성되는,
    객체 추적 장치.
  15. 제 11 항에 있어서,
    상기 출력하는 동작은,
    상기 제2 포인트 클라우드 데이터에 K-최근접 이웃 탐색 알고리즘을 적용하고 상기 트랜스포머 모델을 이용하여 일 포인트와 상기 일 포인트에 인접한 K개의 포인트를 이용하여 피쳐를 추출하는 동작을 포함하는,
    객체 추적 장치.
  16. 제 15 항에 있어서,
    상기 출력하는 동작은,
    상기 피쳐를 추출하는 동작 이후에,
    추출된 상기 피쳐를 입력으로 하여 지역 제안 네트워크(Region Proposal Network)를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 박스 리그레션(Bounding Box Regression)을 출력하는 동작을 더 포함하는,
    객체 추적 장치.
  17. 제 16 항에 있어서,
    상기 추적을 수행하는 동작은,
    상기 박스 클래시피케이션(Box Classification) 결과와 바운딩 리그레션(Bounding Regression)을 칼만 필터에 입력하고 예측과 업데이트 과정을 반복하며 연산함으로써 다음 프레임에서의 객체의 위치를 예측하는 동작을 포함하는,
    객체 추정 장치.
  18. 제 12 항에 있어서,
    상기 제2 포인트 클라우드 데이터를 생성하는 동작은,
    상기 제1 포인트 클라우드의 모든 포인트에 대해 상기 신규 포인트를 생성하는 단계를 수행하고, 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 제1 밀도에 도달했는지 판단하는 동작; 및
    상기 포인트 클라우드 데이터의 밀도가 상기 제1 밀도에 도달하지 못한 경우, 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 상기 신규 포인트를 생성하는 단계를 다시 수행하는 동작을 포함하는,
    객체 추적 장치.
  19. 제 18 항에 있어서,
    상기 제1 밀도는 수신된 상기 연속된 프레임의 프레임 레이트에 따라 설정되며, 상기 프레임 레이트가 높을수록 상기 제1 밀도는 낮게 설정되는,
    객체 추적 장치.
KR1020220013069A 2021-11-23 2022-01-28 객체 추적을 위한 방법 및 장치 KR20230076059A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210162340 2021-11-23
KR20210162340 2021-11-23

Publications (1)

Publication Number Publication Date
KR20230076059A true KR20230076059A (ko) 2023-05-31

Family

ID=86542962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220013069A KR20230076059A (ko) 2021-11-23 2022-01-28 객체 추적을 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230076059A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107119A (ko) 2019-04-11 2021-08-31 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 물체 검출 방법 및 장치, 전자 디바이스, 및 저장 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107119A (ko) 2019-04-11 2021-08-31 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 물체 검출 방법 및 장치, 전자 디바이스, 및 저장 매체

Similar Documents

Publication Publication Date Title
US11594011B2 (en) Deep learning-based feature extraction for LiDAR localization of autonomous driving vehicles
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
EP3714290B1 (en) Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
JP7029479B2 (ja) 自動運転車のためのポイントクラウドゴースト効果検出システム
US11364931B2 (en) Lidar localization using RNN and LSTM for temporal smoothness in autonomous driving vehicles
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
JP2021515254A (ja) 自動運転車のためのリアルタイム地図生成システム
JP2021516355A (ja) 自動運転車のための地図区画システム
JP2021515282A (ja) 自動運転車のためのリアルタイム地図生成システム
KR102555374B1 (ko) 전자 장치 및 그 제어 방법
KR102238522B1 (ko) 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법
WO2023050638A1 (zh) 基于激光点云的路沿识别
CN111505690A (zh) 实时检测应急车辆并规划行驶路径的方法及装置
CN110989619B (zh) 用于定位对象的方法、装置、设备和存储介质
JP2024056032A (ja) データ構造、記憶媒体及び記憶装置
JP5168134B2 (ja) 環境地図生成プログラム、環境地図生成方法及び移動ロボット
JP2021043146A (ja) 障害物検知システムおよび障害物検知方法
JP2023164502A (ja) 静止物データ生成装置、制御方法、プログラム及び記憶媒体
KR20230076059A (ko) 객체 추적을 위한 방법 및 장치
US20220180549A1 (en) Three-dimensional location prediction from images
KR20240007459A (ko) 객체 인식 방법 및 장치
JP7401273B2 (ja) 移動体の制御装置及び方法
KR20240029791A (ko) 정지된 타겟의 위치를 획득하는 방법 및 장치
KR20230143383A (ko) 3차원 객체 검출 장치 및 방법
JP2024031930A (ja) 静止したターゲットの位置を取得する方法及び装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right