KR20240007459A - 객체 인식 방법 및 장치 - Google Patents
객체 인식 방법 및 장치 Download PDFInfo
- Publication number
- KR20240007459A KR20240007459A KR1020220084382A KR20220084382A KR20240007459A KR 20240007459 A KR20240007459 A KR 20240007459A KR 1020220084382 A KR1020220084382 A KR 1020220084382A KR 20220084382 A KR20220084382 A KR 20220084382A KR 20240007459 A KR20240007459 A KR 20240007459A
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- cloud data
- frame
- object recognition
- ith frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title description 6
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000013480 data collection Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
- G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
객체 인식 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 객체 인식 방법은, 연속된 프레임 중 제i-1번째 프레임의 제1 포인트 클라우드 데이터를 수신하는 단계와, 제1 포인트 클라우드 데이터에 대해 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계와, 적어도 하나의 객체에 대한 정보를 기반으로, 적어도 하나의 객체에 대한 제i번째 프레임에서의 추적을 수행하여, 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측하는 단계와, 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드 데이터를 제1 포인트 클라우드 데이터에 병합하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계와, 제2 포인트 클라우드 데이터를 기반으로 객체 인식을 수행하는 단계를 포함할 수 있다.
Description
본 개시는 상대속도를 기반으로 4D 이미징 레이더의 포인트 클라우드를 증강하여 객체 인식을 수행할 수 있는 객체 인식 방법 및 장치에 관한 것이다.
인공지능 기술의 발달과 함께 영상 처리를 기반으로 객체를 인식하고 추적하는 기술이 다양한 분야에서 활용되고 있다.
특히, 자율주행 차량, 보안 모니터링 장치 등에서 객체를 인식하고 추적하는 기능을 수행할 수 있는 모델에 대한 수요가 증가하고 있다. 자율주행 차량에서는 레이더 또는 라이더 센서에 의해 수집된 정보를 통해 주변의 형태를 포인트 클라우드로 표현할 수 있다.
한편, 최근에는 4D 이미징 레이더가 라이다에 비해 악천후에 강한 특성을 가지고 있어, 자율주행 차량에 라이다 대신 4D 이미징 레이더를 탑재하려는 경향이 나타나고 있다.
그러나 라이다를 사용하여 객체를 측정했을 때 한 번 측정 시 측정되는 포인트의 개수가 200개라고 한다면, 레이더는 동일한 객체에 측정되는 포인트의 개수가 10~13개 측정될 정도로 매우 적은 포인트를 출력한다.
이에, 4D 이미징 레이더를 사용해서 특정 객체를 인식하기엔 획득되는 포인트 개수가 적어 객체 인식률이 낮을 수 있기 때문에, 4D 이미징 레이더를 이용하면서도 실시간 객체 인식에 적용할 수 있을 정도로 객체 추적 및 인식의 정확성을 향상시킬 수 있는 모델에 대한 필요가 대두되고 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 개시의 실시 예의 일 과제는, 현재 프레임에서 객체의 각 포인트의 위치 값과 상대속도를 기반으로 다음 프레임에서의 해당 포인트의 위치를 예측하고, 다음 프레임에서의 예측된 포인트의 위치 값과 현재 프레임에서 인식한 포인트의 위치 값을 모두 이용해, 4D 이미징 레이더의 포인트 클라우드를 증강하여 객체 인식을 수행할 수 있도록 하는데 있다.
본 개시의 실시 예의 일 과제는, 다음 프레임에서의 객체의 포인트 클라우드 예측을 통해 현재 프레임에서 객체의 포인트 클라우드 증강을 수행하여 라이다에 비해 측정되는 포인트 클라우드 데이터 개수가 부족한 문제를 보완하고자 하는 데 있다.
본 개시의 실시 예의 일 과제는, 악천후에 강인할 뿐 아니라 저복잡도인 해상도를 개선시킴으로써 라이다의 기능을 대체할 수 있도록 하는데 있다.
본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 객체 인식 방법은, 연속된 프레임 중 제i-1번째 프레임의 제1 포인트 클라우드 데이터를 수신하는 단계와, 제1 포인트 클라우드 데이터에 대해 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계와, 적어도 하나의 객체에 대한 정보를 기반으로, 적어도 하나의 객체에 대한 제i번째 프레임에서의 추적을 수행하여, 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측하는 단계와, 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드 데이터를 제1 포인트 클라우드 데이터에 병합하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계와, 제2 포인트 클라우드 데이터를 기반으로 객체 인식을 수행하는 단계를 포함할 수 있다.
이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예에 의하면, 현재 프레임에서 객체의 각 포인트의 위치 값과 상대속도를 기반으로 다음 프레임에서의 해당 포인트의 위치를 예측하고, 다음 프레임에서의 예측된 포인트의 위치 값과 현재 프레임에서 인식한 포인트의 위치 값을 모두 이용해, 4D 이미징 레이더의 포인트 클라우드를 증강함으로써, 객체 인식률을 향상시킬 수 있다.
또한, 다음 프레임에서의 객체의 포인트 클라우드 예측을 통해 현재 프레임에서 객체의 포인트 클라우드 증강을 수행함으로써, 라이다에 비해 측정되는 포인트 클라우드 데이터 개수가 부족한 문제를 보완할 수 있다.
또한, 본 개시의 실시 예에 의하면, 악천후에 강인할 뿐 아니라 저복잡도인 해상도를 개선시킴으로써, 종래 레이더의 적은 수의 포인트 개수로 인한 해상도 약점을 개선하여 라이다의 기능을 대체할 수 있다.
본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 객체 인식 시스템 환경을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 객체 인식 방법 및 장치가 사용되는 환경을 설명하기 위한 예시도이다.
도 3은 일 실시 예에 따른 객체 인식 장치의 구성을 개략적으로 나타낸 블록도이다.
도 4는 일 실시 예에 따른 포인트 클라우드 강화를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 2는 일 실시 예에 따른 객체 인식 방법 및 장치가 사용되는 환경을 설명하기 위한 예시도이다.
도 3은 일 실시 예에 따른 객체 인식 장치의 구성을 개략적으로 나타낸 블록도이다.
도 4는 일 실시 예에 따른 포인트 클라우드 강화를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.
그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시 예에 따른 객체 인식 시스템 환경을 설명하기 위한 도면이고, 도 2는 일 실시 예에 따른 객체 인식 방법 및 장치가 사용되는 환경을 설명하기 위한 예시도이다.
도 1 및 도 2를 참조하면, 일 실시 예에 따른 객체 인식 시스템(1)은 레이더를 통한 객체인식 모델에서 객체의 인식률을 높이기 위해 객체의 이전 프레임에서 각 포인트의 위치 값과 상대속도를 이용하여 현재 프레임에서 해당 포인트의 위치 예측 기법에 관한 것으로, 예측된 포인트 위치 값과 현재 프레임에서 인식한 포인트의 위치 값을 모두 이용하여 객체 인식모델에서 사용할 수 있는 포인트 개수를 증가시킬 수 있다.
한편, 도 1 및 도 2에서는 자율주행 차량에서 주변 환경을 감지하기 위해 객체 인식 방법 및 장치를 사용하는 것으로 설명하지만, 본 개시의 객체 인식 방법 및 장치가 자율주행 차량 분야에서만 사용될 수 있는 것은 아니며, 객체를 인식하고 추적하는 기능을 필요한 다른 모든 분야에서 활용될 수 있음은 물론이다.
도 1을 참조하면, 일 실시 예의 객체 인식 시스템(1)은 객체 인식 장치(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.
또한, 도 2를 참조하면, 자율주행 차량(10)은 주변 환경을 감지하기 위한 이미징 레이더(110, 120, 130, 140)를 포함할 수 있다. 도 2 에서는 차량(10)의 전방과 후방을 감지하는 것으로만 표시되어 있으나, 이미징 레이더(110, 120, 130, 140)의 동작 변경 또는 추가 배치를 통해 차량(10)의 측면을 포함한 전체적인 주변 환경을 모두 감지하도록 구성될 수도 있다.
이미징 레이더(110, 120, 130, 140)는 타깃의 존재뿐만이 아니고 그 형상에 대한 정보를 얻을 수 있는 레이더로서, 공간 물체 인식레이더(space object identification radar, SOI)나 지형 매핑 레이더(synthetic aperture radar, SAR) 등을 포함할 수 있다.
이미징 레이더(110, 120, 130, 140)로부터 획득된 주변 환경에 대한 정보는 포인트들로 표현되어 포인트 클라우드 데이터로서 프로세서에 의해 처리될 수 있다.
한편, 라이다의 출력에 비하여 이미징 레이더는 해상도가 낮아 포인트 클라우드 데이터의 포인트 수가 적다. 이러한 특성으로 인해 일반적으로 연산량, 메모리 등을 줄이기 위해 포인트 클라우드 데이터를 다운 샘플링하는 라이다 데이터와 달리 이미징 레이더를 이용한 객체 인식 및 추적을 위해서 업샘플링을 수행하여 포인트 수를 늘려 사용함으로써, 객체 인식 및 추적에 대한 정확도를 높일 수 있다.
전통적인 레이더 시스템들은 수평면에 걸친 도로를 스캐닝하도록 구성되어 있고 객체에 대한 3차원의 정보(객체까지의 거리, 객체의 이동 방향, 객체의 상대적 속도)를 식별할 수 있다.
새롭게 사용되고 있는 4D 이미징 레이더 시스템은 여기에 더하여 수직 정보라는 새로운 차원의 정보를 추가할 수 있다. 이러한 디바이스들은 획득하는 데이터의 풍성함으로 인해 이미징 레이더라는 레이블을 가지게 되기도 한다. 즉, 이미징 레이더는, 수평 데이터와 수직 데이터 모두를 가지고, 이미지를 구성할 수 있도록 하는 매우 많은 상이한 반사 포인트들을 감지할 수 있다.
일 실시 예의 객체 인식 시스템(1)에서는 4D 이미징 레이더를 통해 포인트 클라우드 데이터를 획득할 수 있고, 이러한 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함할 수 있다.
4D 이미징 레이더틀 통해 획득된 포인트 클라우드 데이터를 하기에서 설명되는 방식에 따라 적절히 처리하고 이용할 경우 4D 이미징 레이더가 장착된 장치의 주변환경에 존재하는 객체들에 대한 높은 정확도로 인식과 추적이 이루어질 수 있다.
즉, 다시 말하면, 4D 이미징 레이더의 포인트 클라우드는 라이다의 포인트 클라우드에 비해 현저하게 개수가 적어 객체를 분류하기에는 무리가 있기 때문에, 떨어지는 인식률을 해결하기 위해서 특정 객체의 포인트 개수 증강이 필요하다.
이에, 일 실시 예에서는, 특정 객체의 포인트 클라우드 데이터에서 위치 값과 상대속도 값을 이용하여 객체의 다음 프레임에서의 위치를 예측할 수 있다. 예측을 통한 현재 프레임에서 특정 객체의 포인트 클라우드 증강기법을 적용하면 4D 이미징 레이더가 가진 단점인 라이다에 비해 측정되는 포인트 클라우드 데이터 개수가 부족한 문제를 보완할 수가 있다.
따라서, 일 실시 예에서는, 라이다보다 악천후에 강하지만 포인트 클라우드의 개수가 적은 단점을 보완하여 앞으로의 자율주행 차량등 레이더의 활용성을 향상시킬 수 있다.
일 실시 예에서, 객체 인식 장치는 자동차, 비행기, 영상 감시 장치 등의 내부 구성 요소(200)로서 구현되거나, 다른 실시 예에서는 그 일부 또는 전체가 서버(300)로 구현될 수 있다. 즉, 객체 인식 장치는 객체 인식이 필요한 장치에 부착되거나 모듈로서 구현된 장치일 수도 있고, 객체 인식이 필요한 장치와는 떨어져 원격으로 통신이 가능하도록 배치된 서버일 수도 있다.
서버(300)로 구현되는 경우, 자동차, 비행기, 영상 감시 장치 등에서 이미징 레이더(100)로부터 획득한 포인트 클라우드 데이터 또는 객체 인식 결과를 서버(300)로 전송하고, 서버(300)는 포인트 클라우드 데이터를 강화하거나, 강화한 포인트 클라우드 데이터를 기반으로 객체를 인식하거나, 객체 인식 결과를 수정할 수 있다. 아래의 실시 예들은 객체 검출 장치가 자동차 비행기, 영상 감시 장치 등의 내부 구성 요소(200)로서 구현되는 것을 전제로 하여 설명한다.
즉, 일 실시 예에서, 객체 인식 장치(200)는 객체 인식 장치(200) 및/또는 서버(300)에 의해 구현될 수 있는데, 이때 서버(300)는 객체 인식 장치(200)가 객체 인식 시스템(1)을 운용하기 위한 서버이거나 객체 인식 장치(200)의 일부분 또는 전 부분을 구현하는 서버일 수 있다.
일 실시 예에서, 서버(300)는 이미징 레이더(100)로부터 적어도 하나 이상의 객체에 대하여 획득한 포인트 클라우드 데이터를 추적하면서 해당 데이터의 위치 값과 상대속도 값을 이용하여 다음 프레임에서 객체의 이동 방향을 예측하고, 예측한 포인트 클라우드의 위치를 현재의 프레임에서의 포인트에 추가하여 특정 객체의 포인트 클라우드를 증강하는 전반의 프로세스에 대한 객체 인식 장치(200)의 동작을 제어하는 서버일 수 있다.
또한, 서버(300)는 객체 인식 장치(200)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 웹 서버 또는 어플리케이션 서버 또는 딥러닝 네트워크 제공 서버를 포함할 수 있다.
그리고 서버(300)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터 서버 및 AI 서버, 각종 알고리즘의 연산을 수행하는 연산 서버 등을 포함할 수 있다.
또한 본 실시 예에서, 서버(300)는 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다. 즉, 본 실시 예에서, 서버(300)는 상기의 웹 서버 및 AI 서버를 포함하거나 이러한 서버들과 네트워킹 할 수 있다.
객체 인식 시스템(1)에서 객체 인식 장치(200) 및 서버(300)는 네트워크(400)에 의해 연결될 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다.
또한, 네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
도 3은 일 실시 예에 따른 객체 인식 장치의 구성을 개략적으로 나타낸 블록도이다.
도 2에서 도시된 바와 같이 4D 이미징 레이더(100)는 주변환경에 대한 인식이 필요한 장치에 설치되어 주변환경에 대한 포인트 클라우드 데이터를 수집할 수 있다.
이렇게 수집된 포인트 클라우드 데이터는 객체 인식 장치(200)로 전달될 수 있다. 객체 인식 장치(200)는 프로세서(210) 및 메모리(220)를 포함할 수 있으며, 디스플레이(230)는 객체 인식 장치(200)에 포함되거나 별도 구성으로 구비될 수 있다.
프로세서(210)는 객체 인식 장치(200)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(210)는 메모리(220)를 포함하는 객체 인식 장치(200)의 구성과 연결되며, 메모리(220)에 저장된 적어도 하나의 명령을 실행하여 객체 인식 장치(200)의 동작을 전반적으로 제어할 수 있다.
프로세서(210)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(210)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.
프로세서(210)는 일종의 중앙처리장치로서 메모리(220)에 탑재된 제어 소프트웨어를 구동하여 객체 인식 장치(200) 전체의 동작을 제어할 수 있다. 프로세서(210)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.
메모리(220)는 객체 인식 장치(200)의 동작 및/또는 서버(300)의 제어(연산)에 필요한 각종 정보들을 저장하고, 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.
메모리(220)는 하나 이상의 프로세서(210)와 연결되는 것으로, 프로세서(210)에 의해 실행될 때, 프로세서(210)로 하여금 객체 인식 장치(200) 및/또는 서버(300)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.
여기서, 메모리(220)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media) 등의 비 일시적 저장매체이거나 램(RAM) 등의 일시적 저장매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(220)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다. 그리고, 메모리(220)에는 본 개시에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(220)에 저장될 수 있으며, 메모리(220)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
객체 인식 장치(200)는 통신부(미도시)를 포함할 있으며, 통신부는 네트워크와 연동하여 외부 장치간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
즉, 프로세서(210)는 통신부를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
한편, 객체 인식 장치(200)는 사용자 인터페이스(미도시)를 포함할 수 있으며, 일 실시 예에서, 사용자 인터페이스는 객체 인식 장치(200)의 동작(예컨대, 네트워크의 파라미터 변경, 네트워크의 학습 조건 변경 등)을 제어하기 위한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다.
그리고 일 실시 예에서, 사용자 인터페이스는 객체 인식 결과를 출력하는 출력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스는 사용자 요청 및 명령에 따른 결과를 출력할 수 있다. 이러한 사용자 인터페이스의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있다.
한편, 객체 인식 장치(200)에 의해 연산된 결과는 디스플레이(230)를 통해 출력될 수 있다. 예를 들어, 객체 인식 장치(200)에서 인식하고 추정된 객체가 표시되어 디스플레이(230)를 통해 사용자에게 보여질 수 있다.
일 실시 예에서, 객체 인식 장치(200)에 의해 연산된 결과는 사용자에게 보여지는 바 없이 객체 인식 장치(200)와 연결된 장치의 동작을 제어하는데 사용될 수도 있다.
도 4는 일 실시 예에 따른 포인트 클라우드 강화를 설명하기 위한 도면이다.
객체 인식 장치(200)의 프로세서(210)와 메모리(220)는 전기적으로 연결되고, 프로세서(210)는 메모리(220)에 저장된 명령어들에 따라 연속된 프레임 중 제i-1번째 프레임의 제1 포인트 클라우드 데이터(초기 포인트 클라우드 데이터로 표현될 수도 있음)를 수신할 수 있다.
연속된 프레임이라는 것은, 이미징 레이더(100)의 데이터 수집 레이트에 따라 일 시점에서의 주변 환경에 대한 포인트 클라우드 데이터가 수신되고(제i-1번째 프레임의 포인트 클라우드 데이터), 이어서 다음 시점에서 주변 환경에 대한 포인트 클라우드 데이터(제i번째 프레임의 포인트 클라우드 데이터)가 수신된다는 의미로, 프로세서(210)는 이전 프레임에서 객체를 식별하고 다음 프레임에서 식별된 객체가 어디에 있는지를 추적할 수 있다. 즉, 일 실시 예에서, 제i번째 프레임의 포인트 클라우드 데이터라는 것은 데이터 수집 레이트에 따라 수신된 전체 포인트 클라우드 데이터 중 i번째 프레임의 클라우드 데이터를 의미할 수 있다.
프로세서(210)는 수신된 제1 포인트 클라우드 데이터를 기반으로 다음 프레임의 포인트 클라우드 데이터를 예측하고, 상기 제1 포인트 클라우드 데이터에 예측한 포인트 클라우드 데이터를 병합하여, 강화된 제2 포인트 클라우드 데이터를 생성할 수 있다. 상술된 바와 같이 이미징 레이더로 획득된 포인트 클라우드 데이터는 객체 인식을 정확히 진행하기에는 포인트가 부족할 수 있으므로, 도 4에 도시된 바와 같이, 하기에서 설명될 방식에 따라 포인트 클라우드 데이터를 증강시킬 수 있다.
프로세서(210)는 제1 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력할 수 있다.
피쳐는 객체에 대한 인지 및 식별을 통해 추적되어야 하는 객체의 동일성을 판단하는데 사용될 수도 있다. 여기서, 피쳐는 딥러닝 학습을 위해 필요한 입력된 포인트 클라우드 데이터의 피쳐를 의미할 수 있다.
프로세서(210)는 적어도 하나의 객체에 대한 정보를 기반으로, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하여, 다음 프레임에서의 적어도 하나의 객체에 대한 포인트 클라우드를 예측할 수 있다.
즉, 4D 이미징 레이더(100)에는 측정된 포인트의 상대 속도, 위치 값, cross section 등 정보가 기록되어 있으므로, 프로세서(210)는 제i-1번째 프레임에서의 적어도 하나의 객체에 대한 상대속도 값 및 위치 값을 기반으로, 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 이동 방향을 예측할 수 있다. 또한, 프로세서(210)는 예측한 이동 방향에 따라, 적어도 하나의 객체에 대한 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 예측할 수 있다. 여기서, i는 2 이상의 자연수이다.
프로세서(210)는 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드 데이터를 제1 포인트 클라우드 데이터에 병합하여 강화된 제2 포인트 클라우드 데이터를 생성할 수 있다.
그리고 프로세서(210)는 제2 포인트 클라우드 데이터를 기반으로 객체 인식을 수행할 수 있다.
한편, 다른 실시 예에서, 예를 들어, 프로세서(210)는 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행할 수 있다.
칼만 필터는 선형 동적 시스템에서 상태 추정을 위한 최소 분산 상태 추정 알고리즘으로, 영상 내의 이동 물체를 추적하기 위한 칼만 필터는 이전 프레임의 추적 결과에 따라 현재 프레임에서 가장 가능성 있는 물체 위치를 예측하고, 예측된 위치의 인접 영역에서 목표물을 탐색하며, 만일 탐색 영역에 목표물이 존재한다면 그 다음 프레임에서 목표물의 위치를 예측하도록 연속 추적할 수 있다. 칼만 필터를 사용하여 이동 물체의 위치와 속도를 정확히 예측할 수 있으며, 이동 물체의 파라미터들을 추정할 수 있다. 위와 같은 방식을 통해서도 프로세서(210)는 이전 프레임에서의 객체가 다음 프레임에서 어디에 위치하는지를 추적할 수 있다.
도 5는 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 5를 참조하여, 프로세서(210)의 객체 인식 과정에 대해 보다 구체적으로 설명한다. 도 5의 객체 인식 방법은 객체 인식 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
S100단계에서, 프로세서(210)는 연속된 프레임 중 제i번째 프레임의 제1 포인트 클라우드 데이터를 수신한다.
한편, 일 실시 예에 따른 객체 인식 방법은 트랜스포머 모델의 구조를 기반으로, 4D 이미징 레이더의 포인트 클라우드 데이터를 이용하여 객체 인식이 가능한 딥러닝 모델을 이용할 수 있다.
여기서, 트랜스포머 모델은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망으로, 어텐션(attention) 또는 셀프어텐션(self-attention)이라 불리며 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지할 수 있다.
트랜스포머는 요소들 사이의 패턴을 수학적으로 찾아내기 때문에, 라벨링된 대규모 데이터 세트로 신경망을 훈련하는 과정이 필요 없다. 그 덕분에 수조 개의 이미지와 페타바이트(petabytes)급 텍스트 데이터를 웹과 기업 데이터베이스에서 사용할 수 있게 된다. 이에 더해 트랜스포머가 사용하는 연산은 병렬 프로세싱에 적합하기 때문에 모델의 실행 속도 또한 빨라질 수 있다.
신경망 대부분이 그렇듯 트랜스포머 모델도 기본적으로는 데이터를 처리하는 대형 인코더/디코더 블록에 해당하며, 트랜스포머는 네트워크에 송수신되는 데이터 요소에 위치 인코더로 태그를 지정하고, 이 태그를 따라 어텐션 유닛이 데이터 요소 간의 관계를 보여주는 일종의 대수 지도(algebraic map)를 계산할 수 있다. 어텐션 쿼리는 멀티헤드 어텐션(multi-headed attention)이라 불리는 방정식들의 행렬을 계산해 대개 병렬로 실행될 수 있다.
즉, 일 실시 예에서는, 트랜스포머 모델을 이용함으로써, 4D 이미징 레이더에서 획득된 포인트 클라우드 데이터에 대하여, 프로세서(210)가 인간이 인식하는 객체와 동일/유사하게 객체를 인식할 수 있도록 한다.
다만, 실시 예에 따라, 포인트 클라우드 데이터에서 객체를 인식함에 있어, CNN과 RNN이 적용될 수도 있다.
트랜스포머 모델의 경우 포인트 클라우드 데이터를 임베딩(Embedding)하도록 구성되어 있다. 일 실시 예에 따른 4D 이미징 레이더 객체 추적 트랜스포머 모델의 경우, 4D 이미징 레이더의 포인트 클라우드 데이터를 이용하기 때문에 5차원 벡터 공간에 포인트를 임베딩하는 구조를 포함할 수 있다.
여기서, 포인트 자체에 좌표로 위치 정보를 포함하기 때문에 따로 위치 정보를 함께 임베딩 할 필요는 없을 수 있다.
이에 따라, 프로세서(210)는 제1 포인트 클라우드 데이터를 5차원 벡터 공간에 임베딩할 수 있다. 여기서, 포인트 클라우드 데이터를 5차원 벡터 공간에 임베딩한다는 것은 4D 이미징 레이더의 로 데이터(Raw data) 중 x, y, z, 도플러, 파워의 다섯 가지 값을 입력으로 사용한다는 것을 의미할 수 있다.
한편, 4D 이미징 레이더의 객체 인식 및 추적의 정확도를 더욱더 높이기 위해서는 포인트 클라우드 데이터를 강화하는 과정이 필요하다. 이에, 따라 일 실시 예에서는, S200단계 내지 S400단계를 통해 포인트 클라우드 데이터를 강화할 수 있다.
S200단계에서, 프로세서(210)는 제1 포인트 클라우드 데이터에 대해 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력한다.
예를 들어, 프로세서(210)는 K-최근접 이웃 탐색(K-nearest neighbor search) 알고리즘을 적용하여 트랜스포머 모델의 셀프-어텐션(Self-attention)을 통해 기준 포인트와 그에 인접한 k개 포인트를 이용한 연산으로 피쳐를 추출할 수 있다.
이후, 프로세서(210)는 추출된 피쳐를 입력으로 하여 지역 제안 네트워크(Region Proposal Network)를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 박스 리그레션(Bounding Box Regression)을 출력할 수 있다. 여기서, 박스 클래시피케이션은 객체의 존재 유무를 분류하는 것이고, 바운딩 박스 리그레션은 객체가 있을 만한 바운딩 박스의 좌표를 회귀하는 것을 의미할 수 있다. 상술된 셀프-어텐션 모듈을 통해 추출한 피쳐에 대해 지역 제안 네트워크(Region Proposal Network, RPN)를 적용하여 얻는 출력이 박스 클래시피케이션과 바운딩 박스 리그레션일 수 있다.
프로세서(210)는 추출한 피쳐(feature)를 입력으로 넣어 RPN을 통해 박스 클래시피케이션 결과와 바운딩 리그레션을 출력할 수 있다. RPN의 입력 값은 이전 모델에서 추출한 피쳐맵(feature map)이다. 지역 제안(Region proposal)을 생성하기 위해 피쳐맵 위에 n x n 윈도우를 슬라이딩 시킬 수 있다.
그리고 S300단계에서, 프로세서(210)는 적어도 하나의 객체에 대한 정보를 기반으로, 적어도 하나의 객체에 대한 제i번째 프레임에서의 추적을 수행하여, 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측한다.
이때, 프로세서(210)는 제i-1 프레임에서의 적어도 하나의 객체에 대한 상대속도 값 및 위치 값을 기반으로, 적어도 하나의 객체에 대한 제i번째 프레임에서의 이동 방향을 예측할 수 있다. 그리고 프로세서(210)는 예측한 이동 방향에 따라, 적어도 하나의 객체에 대한 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 예측할 수 있다.
한편, 상술한 바와 같이, 칼만 필터를 기반으로 다음 프레임에서의 객체 위치가 예측되는 경우에는, 프로세서(2210)는 RPN의 출력을 칼만 필터에 입력으로 넣어 예측과 업데이트 과정을 반복하며 계산함으로써 다음 프레임에서의 객체 위치를 예측해 객체 추적을 구현할 수 있다. 즉, 프로세서(210)는 박스 클래시피케이션 결과와 바운딩 리그레션을 칼만 필터에 입력하고 예측과 업데이트 과정을 반복하며 연산함으로써 다음 프레임에서의 객체의 위치를 예측할 수 있다.
다음으로, S400단계에서, 프로세서(210)는 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드 데이터를 제1 포인트 클라우드 데이터에 병합하여 강화된 제2 포인트 클라우드 데이터를 생성한다.
한편, 프로세서(210)는 제i-1번째 프레임에서의 적어도 하나의 객체에 대한 상대속도를 기반으로 데이터 수집 프레임 레이트를 변경할 수 있다.
이때, 프로세서(210)는 제i-1번째 프레임에서의 적어도 하나의 객체에 대한 상대속도가 기준치 미만이면 데이터 수집 프레임 레이트를 설정 값보다 길게 변경하고, 상대속도가 기준치 이상이면 데이터 수집 프레임 레이트를 설정 값보다 짧게 변경할 수 있다.
이는 객체에 대한 상대속도가 빠를수록 다음 프레임에서의 객체의 변화가 클 수 있기 때문에, 데이터 수집 프레임 레이트를 짧게 하여 다음 프레임에서의 포인트 클라우드 데이터에 대한 예측과 실제 감지 결과의 정확도를 향상시키기 위함이다.
또한, 일 실시 예에서, 프로세서(210)는 적어도 하나의 객체에 대한 제i번째 프레임에서의 포인트 클라우드 데이터에 대하여, 예측된 위치 값과 측정한 위치 값의 비교 결과를 기반으로 정확도를 산출할 수 있다.
그리고 프로세서(210)는 정확도를 기반으로, 예측한 적어도 하나의 객체에 대한 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 제1 포인트 클라우드 데이터에 병합하는 비율을 조절할 수 있다.
예를 들어, 프로세서(210)는 다음 프레임에서의 클라우드 포인트 데이터의 예측된 위치 값과 실제 다음 프레임에서의 클라우드 포인트 데이터를 측정한 위치 값을 비교하고, 비교 결과 정확도가 기준치 미만이면 제1 포인트 클라우드 데이터에 예측된 위치 값을 일부만 반영하여 병합할 수 있다. 이는 예측된 위치 값이 정확하지 않다고 판단됨에 따라, 예측 데이터의 반영 비율을 줄여 오류를 감소시키기 위함이다.
또한, 일 실시 예에서, 프로세서(210)는 적어도 하나의 객체에 대한 제i번째 프레임에서의 포인트 클라우드 데이터에 대하여, 관심영역 여부를 판단할 수 있다.
그리고 프로세서(210)는 적어도 하나의 객체의 관심영역 여부를 기반으로, 예측한 적어도 하나의 객체에 대한 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 제1 포인트 클라우드 데이터에 병합하는 비율을 조절할 수 있다.
예를 들어, 프로세서(210)는 적어도 하나의 객체의 관심영역 여부를 판단하여, 관심영역이 아닌 영역에 대해서는 예측한 위치 값을 제1 포인트 클라우드 데이터에 병합하지 않거나 그 비율을 줄일 수 있다. 또는, 예를 들어, 정확도를 기반으로 예측 데이터의 반영 비율을 조절할 때, 정확도가 기준치 미만이라고 판단되는 관심영역이 아닌 영역에 대해서는 예측한 위치 값이 제1 포인트 클라우드 데이터에 모두 병합되지 않도록 할 수도 있다.
이는 포인트 클라우드 데이터 강화를 함에 있어, 관심영역에 대해 보다 집중적으로 포인트 클라우드 데이터 강화가 수행될 수 있도록 함으로써, 객체 인식의 정확도를 향상시키기 위함이다.
한편, 일 실시 예에서, 프로세서(210)는 제1 포인트 클라우드의 모든 포인트에 대해 제i번째 프레임 기반 신규 포인트를 생성할 수 있으며, 제i번째 프레임 기반 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 설정 밀도에 도달했는지 판단할 수 있다.
그리고 프로세서(210)는 포인트 클라우드 데이터의 밀도가 설정 밀도에 도달하지 못한 경우, 제i번째 프레임 기반 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 제i+1번째 프레임 기반 신규 포인트를 생성할 수 있다.
설정 밀도는, 연속된 프레임의 데이터 수집 프레임 레이트에 따라 설정되며, 데이터 수집 프레임 레이트가 높을수록 설정 밀도는 낮게 설정될 수 있다. 데이터 수집 프레임 레이트가 높다는 것은 포인트 클라우드 데이터가 보다 자주 업데이트된다는 것이고 이러한 경우 각 프레임마다의 포인트 클라우드의 밀도가 낮더라도 정보의 정확도에 있어서 보완이 가능하기 때문이다.
마지막으로, S500단계에서, 프로세서(210)는 제2 포인트 클라우드 데이터를 기반으로 객체 인식을 수행할 수 있다.
즉, 일 실시 예에서는, 예측을 통한 현재 프레임에서 특정 객체의 포인트 클라우드 증강기법을 적용하여, 4D 이미징 레이더가 가진 단점인 라이다에 비해 측정되는 포인트 클라우드 데이터 개수가 부족한 문제를 보완할 수가 있다.
이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.
1 : 객체 인식 시스템
10 : 자율주행 차량
100 : 이미징 레이더
200 : 객체 인식 장치
210 : 프로세서
220 : 메모리
230 : 디스플레이
300 : 서버
400 : 네트워크
10 : 자율주행 차량
100 : 이미징 레이더
200 : 객체 인식 장치
210 : 프로세서
220 : 메모리
230 : 디스플레이
300 : 서버
400 : 네트워크
Claims (19)
- 각 단계의 적어도 일부가 프로세서에 의해 수행되는, 객체 인식 방법으로서,
연속된 프레임 중 제i-1번째 프레임의 제1 포인트 클라우드 데이터를 수신하는 단계 ― i는 2 이상의 자연수인;
상기 제1 포인트 클라우드 데이터에 대해 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계;
상기 적어도 하나의 객체에 대한 정보를 기반으로, 상기 적어도 하나의 객체에 대한 제i번째 프레임에서의 추적을 수행하여, 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측하는 단계;
상기 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드 데이터를 상기 제1 포인트 클라우드 데이터에 병합하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계; 및
상기 제2 포인트 클라우드 데이터를 기반으로 객체 인식을 수행하는 단계를 포함하는,
객체 인식 방법. - 제 1 항에 있어서,
상기 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측하는 단계는,
상기 제i-1번째 프레임에서의 상기 적어도 하나의 객체에 대한 상대속도 값 및 위치 값을 기반으로, 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 이동 방향을 예측하는 단계; 및
상기 예측한 이동 방향에 따라, 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 예측하는 단계를 포함하는,
객체 인식 방법. - 제 2 항에 있어서,
상기 제i-1번째 프레임에서의 상기 적어도 하나의 객체에 대한 상대속도를 기반으로 데이터 수집 프레임 레이트를 변경하는 단계를 더 포함하고,
상기 데이터 수집 프레임 레이트를 변경하는 단계는,
상기 제i-1번째 프레임에서의 상기 적어도 하나의 객체에 대한 상대속도가 기준치 미만이면 상기 데이터 수집 프레임 레이트를 설정 값보다 길게 변경하고, 상기 상대속도가 기준치 이상이면 상기 데이터 수집 프레임 레이트를 설정 값보다 짧게 변경하는 단계를 포함하는,
객체 인식 방법. - 제 2 항에 있어서,
상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터에 대하여, 예측된 위치 값과 측정한 위치 값의 비교 결과를 기반으로 정확도를 산출하는 단계를 더 포함하고,
상기 강화된 제2 포인트 클라우드 데이터를 생성하는 단계는,
상기 정확도를 기반으로, 상기 예측한 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 상기 제1 포인트 클라우드 데이터에 병합하는 비율을 조절하는 단계를 포함하는,
객체 인식 방법. - 제 2 항에 있어서,
상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터에 대하여, 관심영역 여부를 판단하는 단계를 더 포함하고,
상기 강화된 제2 포인트 클라우드 데이터를 생성하는 단계는,
상기 관심영역 영역 여부를 기반으로, 상기 예측한 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 상기 제1 포인트 클라우드 데이터에 병합하는 비율을 조절하는 단계를 포함하는,
객체 인식 방법. - 제 1 항에 있어서,
상기 제1 포인트 클라우드 데이터 및 상기 제2 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 획득된 데이터로, 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함하는,
객체 인식 방법. - 제 6 항에 있어서,
상기 수신하는 단계 이후 및 상기 출력하는 단계 이전에, 상기 4D 이미징 레이더로부터 획득된 제1 포인트 클라우드 데이터를 5차원 벡터 공간으로 임베딩하는 단계를 더 포함하는,
객체 인식 방법. - 제 1 항에 있어서,
상기 제2 포인트 클라우드 데이터를 생성하는 단계는,
상기 제1 포인트 클라우드의 모든 포인트에 대해 상기 제i번째 프레임 기반 신규 포인트를 생성하는 단계를 수행하고, 상기 제i번째 프레임 기반 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 설정 밀도에 도달했는지 판단하는 단계; 및
상기 포인트 클라우드 데이터의 밀도가 상기 설정 밀도에 도달하지 못한 경우, 상기 제i번째 프레임 기반 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 제i+1번째 프레임 기반 신규 포인트를 생성하는 단계를 포함하는,
객체 인식 방법. - 제 8 항에 있어서,
상기 설정 밀도는, 상기 연속된 프레임의 데이터 수집 프레임 레이트에 따라 설정되며, 상기 데이터 수집 프레임 레이트가 높을수록 상기 설정 밀도는 낮게 설정되는,
객체 인식 방법. - 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제 1 항 내지 제 9 항 중 어느 하나의 항의 방법을 수행하게 하는 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록 매체.
- 객체 인식 장치로서,
메모리; 및
상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
연속된 프레임 중 제i-1번째 프레임의 제1 포인트 클라우드 데이터를 수신하는 동작 ― i는 2 이상의 자연수인,
상기 제1 포인트 클라우드 데이터에 대해 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 동작,
상기 적어도 하나의 객체에 대한 정보를 기반으로, 상기 적어도 하나의 객체에 대한 제i번째 프레임에서의 추적을 수행하여, 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측하는 동작,
상기 적어도 하나의 객체에 대한 제i번째 프레임에서의 위치에 따른 포인트 클라우드 데이터를 상기 제1 포인트 클라우드 데이터에 병합하여 강화된 제2 포인트 클라우드 데이터를 생성하는 동작, 및
상기 제2 포인트 클라우드 데이터를 기반으로 객체 인식을 수행하는 동작을 수행하도록 설정되는,
객체 인식 장치. - 제 11 항에 있어서,
상기 제i번째 프레임에서의 위치에 따른 포인트 클라우드를 예측하는 동작은,
상기 제i-1번째 프레임에서의 상기 적어도 하나의 객체에 대한 상대속도 값 및 위치 값을 기반으로, 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 이동 방향을 예측하는 동작, 및
상기 예측한 이동 방향에 따라, 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 예측하는 동작을 포함하는,
객체 인식 장치. - 제 12 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제i-1번째 프레임에서의 상기 적어도 하나의 객체에 대한 상대속도를 기반으로 데이터 수집 프레임 레이트를 변경하는 동작을 더 수행하도록 설정되고,
상기 데이터 수집 프레임 레이트를 변경하는 동작은,
상기 제i-1번째 프레임에서의 상기 적어도 하나의 객체에 대한 상대속도가 기준치 미만이면 상기 데이터 수집 프레임 레이트를 설정 값보다 길게 변경하고, 상기 상대속도가 기준치 이상이면 상기 데이터 수집 프레임 레이트를 설정 값보다 짧게 변경하는 동작을 포함하는,
객체 인식 장치. - 제 12 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터에 대하여, 예측된 위치 값과 측정한 위치 값의 비교 결과를 기반으로 정확도를 산출하는 동작을 더 수행하도록 설정되고,
상기 강화된 제2 포인트 클라우드 데이터를 생성하는 동작은,
상기 정확도를 기반으로, 상기 예측한 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 상기 제1 포인트 클라우드 데이터에 병합하는 비율을 조절하는 동작을 포함하는,
객체 인식 장치. - 제 12 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터에 대하여, 관심영역 여부를 판단하는 동작을 더 수행하도록 설정되고,
상기 강화된 제2 포인트 클라우드 데이터를 생성하는 동작은,
상기 관심영역 영역 여부를 기반으로, 상기 예측한 상기 적어도 하나의 객체에 대한 상기 제i번째 프레임에서의 포인트 클라우드 데이터의 위치 값을 상기 제1 포인트 클라우드 데이터에 병합하는 비율을 조절하는 동작을 포함하는,
객체 인식 장치. - 제 11 항에 있어서,
상기 제1 포인트 클라우드 데이터 및 상기 제2 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 획득된 데이터로, 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함하는,
객체 인식 장치. - 제 16 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 수신하는 동작 이후 및 상기 출력하는 동작 이전에, 상기 4D 이미징 레이더로부터 획득된 제1 포인트 클라우드 데이터를 5차원 벡터 공간으로 임베딩하는 동작을 더 수행하도록 설정되는,
객체 인식 장치. - 제 11 항에 있어서,
상기 제2 포인트 클라우드 데이터를 생성하는 동작은,
상기 제1 포인트 클라우드의 모든 포인트에 대해 상기 제i번째 프레임 기반 신규 포인트를 생성하는 단계를 수행하고, 상기 제i번째 프레임 기반 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 설정 밀도에 도달했는지 판단하는 동작, 및
상기 포인트 클라우드 데이터의 밀도가 상기 설정 밀도에 도달하지 못한 경우, 상기 제i번째 프레임 기반 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 제i+1번째 프레임 기반 신규 포인트를 생성하는 동작을 포함하는,
객체 인식 장치. - 제 18 항에 있어서,
상기 설정 밀도는, 상기 연속된 프레임의 데이터 수집 프레임 레이트에 따라 설정되며, 상기 데이터 수집 프레임 레이트가 높을수록 상기 설정 밀도는 낮게 설정되는,
객체 인식 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220084382A KR20240007459A (ko) | 2022-07-08 | 2022-07-08 | 객체 인식 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220084382A KR20240007459A (ko) | 2022-07-08 | 2022-07-08 | 객체 인식 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240007459A true KR20240007459A (ko) | 2024-01-16 |
Family
ID=89719549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220084382A KR20240007459A (ko) | 2022-07-08 | 2022-07-08 | 객체 인식 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240007459A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210107119A (ko) | 2019-04-11 | 2021-08-31 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 물체 검출 방법 및 장치, 전자 디바이스, 및 저장 매체 |
-
2022
- 2022-07-08 KR KR1020220084382A patent/KR20240007459A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210107119A (ko) | 2019-04-11 | 2021-08-31 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 물체 검출 방법 및 장치, 전자 디바이스, 및 저장 매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319065B1 (ko) | 자율 주행 차량을 위한 실시간 지도 생성 시스템 | |
| KR102319036B1 (ko) | 자율 주행 차량을 위한 포인트 클라우드 고스트 효과 검출 시스템 | |
| KR102379295B1 (ko) | 자율 주행 차량을 위한 rgb 포인트 클라우드 기반의 맵 생성 시스템 | |
| KR102334641B1 (ko) | 자율 주행 차량을 위한 맵 파티셔닝 시스템 | |
| US11860636B2 (en) | Providing actionable uncertainties in autonomous vehicles | |
| US11816585B2 (en) | Machine learning models operating at different frequencies for autonomous vehicles | |
| JP7248208B2 (ja) | 自動運転車のためのポイントクラウド登録システム | |
| US9990736B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
| JP7256758B2 (ja) | 自動運転車両においてｒｎｎとｌｓｔｍを用いて時間平滑化を行うｌｉｄａｒ測位 | |
| JP2010517139A (ja) | 車両を検出および追跡するためのシステムおよび方法 | |
| CN110046677B (zh) | 数据预处理方法、地图构建方法、回环检测方法及系统 | |
| WO2021171498A1 (ja) | 目標追尾装置、目標追尾システム、及び目標追尾方法 | |
| US20220156517A1 (en) | Method for Generating Training Data for a Recognition Model for Recognizing Objects in Sensor Data from a Surroundings Sensor System of a Vehicle, Method for Generating a Recognition Model of this kind, and Method for Controlling an Actuator System of a Vehicle | |
| US20240046614A1 (en) | Computer-implemented method for generating reliability indications for computer vision | |
| Farag | Lidar and radar fusion for real-time road-objects detection and tracking | |
| Zhang et al. | Vehicle trajectory tracking using adaptive Kalman filter from roadside Lidar | |
| KR20240007459A (ko) | 객체 인식 방법 및 장치 | |
| KR20230119334A (ko) | 레이더 클러터 제거를 위한 자가 집중 기법 적용 3차원 물체 검출 기술 | |
| Katare et al. | Autonomous embedded system enabled 3-D object detector:(With point cloud and camera) | |
| Peruničić et al. | Vision-based Vehicle Speed Estimation Using the YOLO Detector and RNN | |
| KR20230076059A (ko) | 객체 추적을 위한 방법 및 장치 | |
| US20230316775A1 (en) | Methods and Systems for Object Tracking | |
| CN113963027B (zh) | 不确定性检测模型的训练、不确定性的检测方法及装置 | |
| Ivarsson et al. | Real-time object detection and tracking | |
| CN118155038A (zh) | 多目标轨迹检测方法、装置、设备和存储介质 |