KR20230036651A - 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법 - Google Patents

라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20230036651A
KR20230036651A KR1020210119426A KR20210119426A KR20230036651A KR 20230036651 A KR20230036651 A KR 20230036651A KR 1020210119426 A KR1020210119426 A KR 1020210119426A KR 20210119426 A KR20210119426 A KR 20210119426A KR 20230036651 A KR20230036651 A KR 20230036651A
Authority
KR
South Korea
Prior art keywords
data
object detection
bev
image feature
coordinate system
Prior art date
Application number
KR1020210119426A
Other languages
English (en)
Inventor
박태형
이재설
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020210119426A priority Critical patent/KR20230036651A/ko
Publication of KR20230036651A publication Critical patent/KR20230036651A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 라이다로부터 수신한 3차원 포인트 클라우드 데이터에 기초하여 데이터를 검출하는 방법 및 시스템에 관한 발명으로서, 3 차원 포인트 클라우드 데이터를 구좌표 2 차원 이미지 데이터 및 BEV 2 차원 이미지 데이터로 변환하고, 2 종의 좌표계로 변환된 이미지 데이터로부터 각각 이미지 특징을 검출하고 이들을 융합하여, 융합된 이미지 특징에 기초하여 객체를 검출함으로써, 3차원 포인트 클라우드 데이터를 2차원 이미지 데이터로 변환하면서 소실된 정보를 보상하여, 객체 검출의 정확도를 향상시킨 객체 검출 방법 및 시스템을 제공한다.

Description

라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법{OBJECT DETECTION SYSTEM AND METHOD USING MULTI-COORDINATE SYSTEM FEATURES OF LIDAR DATA}
본 발명은 라이다의 포인트 클라우드 데이터에 기반한 3차원 객체 검출 방법에 관한 것으로서, 더 구체적으로는 포인트 클라우드 데이터를 2차원 데이터로 변환하고, 변환된 2차원 데이터에 기초하여 3차원 객체를 검출하는 방법에 관한 것이다.
근래에 자율주행 차량 등에 관한 관심이 높아짐에 따라 자율주행 차량에 장착되어 차량 주위의 3차원 객체를 검출하는 방법에 대한 다양한 방법들이 연구되고 있다.
차량에 장착된 하나 또는 복수의 카메라로 차량 주위를 촬영하고 촬영된 이미지를 이용하여 차량 주위의 3차원 객체를 검출하는 방법은 객체에 대한 정확한 형상 정보를 획득할 수 있으므로, 객체의 종류를 판단하고 분류하기에 용이한 장점이 있다.
그러나, 카메라로 획득한 2차원 이미지로는 객체의 3차원적 위치, 특히 차량으로부터의 거리 정보를 추출하는데 어려움이 있다. 또한, 어두운 환경에서는 광량이 부족하기 때문에 획득한 이미지에 노이즈가 많아 형상 정보 획득에도 어려움이 있으며, 빛의 반사나 객체의 그림자 등 이미지를 인식함에 있어서 오류가 발생할 가능성도 있다.
차량 주위의 3차원 객체를 검출하는 다른 방법으로, 차량에 장착된 라이다 (LiDAR)를 통하여 포인트 클라우드 데이터를 획득하여 이를 3차원 객체 검출에 이용하는 방법이 있다.
라이다 검출 시스템은, 복수의 광원, 광학계, 광 검출기 및 이에 상응하는 전자 시스템으로 구성되어 있다. 차량의 광원에서 송출된 광빔이 차량 주변 환경에 반사되어 돌아오면 이를 차량에 장착된 애벌란치 포토다이오드 등으로 구성된 광 검출기로 검출한다. 광 검출기가 검출한 광빔으로부터 객체의 존재 및 객체와의 거리 등을 알 수 있으며, 이는 점 구름 (포인트 클라우드) 데이터로 출력된다.
라이다 검출 시스템은 객체까지의 거리 정보를 얻을 수 있기 때문에 카메라를 통한 2차원 객체 검출 방식의 단점을 해소할 있다. 그러나, 라이다를 통한 3차원 객체 인식은 형태가 다소 불확실한 포인트 클라우드 데이터를 사용하기 때문에 카메라를 통한 2차원 객체 인식에 비하여 형상 인식의 측면에서 정확성이 떨어진다. 따라서, 라이다 검출 시스템에서는 딥러닝을 활용하여 3차원 객체 인식 알고리즘의 성능을 강화하기 위한 다양한 시도들이 있다.
한편, 포인트 클라우드 기반의 3차원 객체 검출 방식은 라이다에서 출력한 포인트 클라우드 데이터를 3D 컨벌루션하거나, 포인트 클라우드 데이터를 3D 그리드인 복셀에 맵핑하여 객체 검출하거나, 복셀보다 저차원인 포인트필러에 매핑하여 객체 검출하는 방식, 및 포인트 클라우드 데이터를 2차원 이미지로 전환하여 객체 검출하는 방식 등이 있다.
3D 컨벌루션 방식은 비용이 많이 소요되며 계산량이 많아 실시간 처리를 요하는 자율주행에서의 객체 검출에 활용되기에는 제한적이다. 한편, 복셀이나 포인트필러를 이용하는 방식은 3D 컨벌루션에 비하여 계산량은 줄어들지만, 포인트 데이터를 복셀화하거나 포인트필러에 맵핑하는 전처리 과정이 추가되어 그만큼 효율이 감소한다.
포인트 클라우드 데이터를 2차원 이미지로 변환하는 방법에는 여러가지가 있다. 예를 들면 구좌표계 2차원 데이터 변환이나 버드 아이 뷰 (BEV) 변환 등이 있다.
구좌표계 변환은, 직각 좌표계에서 (x, y, z)로 표현되는 포인트 클라우드 데이터를 원점에서 소정거리 떨어진 구면에 투영하고, 이를 방위각과 고도각인 2차원 데이터로 변환한다. 또는, 포인트 클라우드 데이터가 구좌표계 (r,θ,φ)로 표현되어 있다면, 여기에서 방위각(θ)과 고도각(φ)만을 추출하여 2차원 데이터(θ,φ) 로 활용할 수 있다.
버드 아이 뷰 변환은 직각 좌표계에서 (x, y, z)로 표현되는 포인트 클라우드 데이터를 바닥면에 투영하여 2차원 데이터 (x/s, y/s) 를 생성한다. 여기서 s 는 BEV의 한 픽셀 크기에 해당하는 값이다.
이와 같이 포인트 클라우드 데이터를 2차원 데이터로 변환하면, 2D 컨벌루션을 사용할 수 있기 때문에, 실시간 처리가 요구되는 자율주행 차량의 객체 검출방식으로 유용하지만, 3차원 데이터인 포인트 클라우드 데이터를 2차원 데이터로 변환하게 되면 차원 감소에 따라 데이터가 소실되므로, 그만큼 3차원 객체 검출에 정확도가 저하된다.
본 발명은 라이다의 포인트 클라우드 데이터에 기반한 3차원 객체 검출 방법에 관한 것으로서, 3차원 포인트 클라우드 데이터를 2차원 이미지 데이터로 변환하고, 2 차원 이미지 데이터에 기초하여 3 차원 객체 검출을 수행하면서도 3차원 데이터의 차원 감소에 따른 데이터 손실을 보상하여 3 차원 객체 검출의 정확도를 높이는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따르는 다중 좌표계 특징을 사용한 객체 검출 시스템은, 3차원 객체에 관한 포인트 클라우드 데이터를 수신하는 수신부, 수신된 포인트 클라우드 데이터에서 3차원 객체에 관한 방위각과 고도각정보를 추출하여 제1 변환 데이터를 생성하는 제1 변환 데이터 추출부, 수신된 포인트 클라우드 데이터에서 3차원 객체에 관한 BEV (Bird's eye view) 데이터를 추출하여 제2 변환 데이터를 생성하는 제2 변환 데이터 추출부, 및 제1 변환 데이터 및 제2 변환 데이터에 기초하여 3차원 객체에 대한 객체 검출을 수행하는 객체 검출부를 포함한다.
본 발명의 다른 일 실시예에 따르는 다중 좌표계 특징을 사용한 객체 검출 시스템에서, 객체 검출부는 합성곱 네트워크 (CNN)와 BEV 어텐션 모듈을 포함하며, 제1 변환 데이터를 합성곱 네트워크에 적용하여 제1 이미지 특징을 추출하고, 제2 변환 데이터를 BEV 어텐션 모듈에 통과시켜 제2 이미지 특징을 추출하며, 제1 이미지 특징과 상기 제2 이미지 특징의 요소곱에 기초하여 3차원 객체에 대한 검출을 수행하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 다중 좌표계 특징을 사용한 객체 검출 시스템에서, BEV 어텐션 모듈은 스페이셜 어텐션 모듈을 포함하며, 스페이셜 어텐션 모듈은, 제2 변환 데이터를 합성곱한 값을 입력받고, 스페이셜 어텐션 맵을 출력하며, BEV 어텐션 모듈은 제2 변환 데이터를 합성곱한 값과 스페이셜 어텐션 모듈의 출력을 요소곱하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 다중 좌표계 특징을 사용한 객체 검출 시스템에서, 스페이셜 어텐션 모듈은 제2 변환 데이터를 합성곱한 값을 맥스풀링 및 에버리지풀링을 통해 2채널 이미지로 만들고, 2 채널 이미지를 컨벌루션층과 시그모이드층을 통과시켜 스페이셜 어텐션 맵을 생성하고 출력하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 다중 좌표계 특징을 사용한 객체 검출 시스템에서, BEV어텐션 모듈은 요소곱한 결과를 합성곱하고 시그모이드층을 통과시켜 BEV 어텐션 맵을 출력하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르는 다중 좌표계 특징을 사용한 객체 검출 시스템에서, 객체 검출부는 BEV 어텐션 맵과 제 1 이미지 특징을 요소곱하여 제3 이미지 특징을 추출하고, 제 3 이미지 특징에 기초하여 3 차원 객체에 대한 객체 검출을 수행하는 것을 특징으로 한다.
본 발명에서 제안한 다양한 실시예에 따라 본발명은 3차원 객체에 관한 포인트 클라우드 데이터로부터 3차원 객체에 관한 방위각과 고도각정보를 추출하여 제1 변환 데이터를 생성하고, 또한 포인트 클라우드 데이터로부터 3차원 객체에 관한 BEV (Bird's eye view) 데이터를 추출하여 제2 변환 데이터를 생성하며, 제1 변환 데이터 및 제2 변환 데이터에 기초하여 3차원 객체에 대한 객체 검출을 수행함으로써, 3차원 포인트 클라우드 데이터를 2 차원 이미지 데이터로 변환하여 3 차원 객체를 검출하면서도 차원 감소에 따른 데이터 손실을 보상하여, 3 차원 객체 검출의 정확도를 높일 수 있다.
도1은 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용한 객체 검출 시스템의 구성도이다.
도 2는 3차원 포인트 클라우드 데이터를 구좌표 2 차원 이미지 데이터로 변환하는 과정을 설명하기 위한 도이다.
도 3은 3 차원 포인트 클라우드 데이터를 BEV 2차원 이미지 데이터로 변환하는 과정을 설명하기 위한 도이다.
도 4는 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용한 객체 검출 시스템에 포함된 합성곱 네트워크의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용한 객체 검출 과정을 설명하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용한 객체 검출 시스템에 포함된 BEV 어텐션 모듈의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용한 객체 검출 시스템에 포함된 스페이셜 어텐션 모듈의 구성도이다.
본 명세서에서 개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시예는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용하는 객체 검출 시스템의 구성도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용하는 객체 검출 시스템은 수신부 (100), 제 1 변환 데이터 추출부 (200), 제 2 변환 데이터 추출부 (300), 객체 검출부 (400)를 포함하며, 객체 검출부 (400) 는 합성곱 네트워크 (500), BEV 어텐션 모듈 (600) 및 검출부 (700) 를 포함한다.
수신부 (100) 는 라이다로부터 수집된 3차원 포인트 클라우드 데이터를 수신한다. 제 1 변환 데이터 추출부 (200) 는 수신된 포인트 클라우드 데이터를 구좌표계 2차원 이미지 데이터로 변환한다.
구좌표계 2 차원 이미지 변환은, (xk, yk, zk)로 표현되는 포인트 클라우드 데이터를 원점에서 소정거리 떨어진 구면에 투영하고, 이를 방위각과 고도각인 2차원 데이터 (θk,φk) 로 변환한다.
도 2를 참조하면, 방위각과 고도각은 아래식을 통하여 계산된다.
방위각 (θk) =
Figure pat00001
고도각 (φk) =
Figure pat00002
또는, 포인트 클라우드 데이터가 구좌표계 (rk,θk,φk)로 표현되어 있다면, 여기에서 방위각(θk)과 고도각(φk)만을 추출하여 2차원 데이터(θk,φk) 를 생성할 수 있다.
제 2 변환 데이터 추출부 (300) 는 직각 좌표계에서 (xk, yk, zk)로 표현되는 포인트 클라우드 데이터를 바닥면에 투영하여 2차원 데이터를 생성한다. 도 3을 참조하면, 포인트 클라우드 데이터 (xk, yk, zk) 는 (xk/s, yk/s) 로 변환된다. 여기서 s 는 BEV의 한 픽셀 크기에 해당하는 값이다.
합성곱 네트워크 (500) 는 제 1 변환 데이터 추출부 (200) 에서 추출된 2 차원 이미지 데이터를 입력받고 그 이미지 특징을 추출한다. 도 4를 참조하면, 입력된 2차원 이미지 데이터는, 이미지에서 특정 특징을 활성화하는 컨벌루션 필터 집합층인 컨벌루션층을 통과하며 특징이 추출된다. 추출된 이미지 특징은 활성화층을 통과하며 양수값만 다음 계층으로 전달되며, 이를 통해 빠르고 효과적으로 특징을 전달하고 학습할 수 있다. 활성화층에서 출력된 데이터는 풀링층을 통과하며 학습하여야 하는 매개 변수의 수가 줄어든다.
전술한 학습과정 또는 이미지 추출과정이 수 개 또는 수 백개의 계층에서 반복됨으로써, 제 1 이미지 특징이 추출된다.
BEV 어텐션 모듈 (600) 은 제 2 변환 데이터 추출부 (300) 로부터의 출력을 입력받아, BEV 어텐션 맵 (제 2 이미지 특징) 을 추출한다. 이에 대해서는 추후 상세히 기술한다.
합성곱 네트워크 (500) 와 BEV 어텐션 모듈 (600) 에서 각각 출력된 이미지 특징 벡터를 요소곱하고, 이렇게 하여 융합된 이미지 특징에 기초하여 검출부 (700) 에서 3차원 객체를 검출한다.
도 5는 본 발명의 일 실시예에 따른 다중 좌표계 특징을 사용하는 객체 검출 시스템에서 객체 검출하는 과정을 설명하는 흐름도이다.
단계 800에서, 라이다가 출력하는 3차원 포인트 클라우드 데이터를 수신한다. 단계 810에서, 수신된 3 차원 포인트 클라우드 데이터를 구좌표 2차원 이미지 데이터로 변환하고, 단계 820에서 수신된 3 차원 포인트 클라우드 데이터를 BEV 2차원 이미지 데이터로 변환한다.
단계 830에서, 구좌표 2 차원 이미지 데이터에 합성곱 네트워크를 적용하여 제 1 이미지 특징을 추출한다. 단계 840에서, BEV 2 차원 이미지 데이터에 BEV 어텐션 모듈을 적용하여 제 2 이미지 특징을 추출한다.
단계 850에서, 제 1 이미지 특징 벡터와 제 2 이미지 특징 벡터를 요소곱하여 제3 이미지 특징을 생성한다. 단계 860에서, 제 3 이미지 특징에 기초하여 3 차원 객체 검출을 수행한다.
도 6 은 본 발명의 일 실시예에 따른 BEV 어텐션 모듈의 구성도이다.
도 6을 참조하면, 우선 BEV 2 차원 이미지 데이터를 합성곱하고, 합성곱을 통하여 얻어진 이미지 벡터를 스페이셜 어텐션 모듈에 입력한다. 스페이셜 어텐션 모듈은 입력된 이미지 벡터에 기초하여 스페이셜 어텐션 맵을 출력한다. 스페이셜 어텐션 맵 생성에 관하여는 도 7을 참조하여 후술한다.
합성곱을 통하여 얻어진 이미지 벡터와 스페이셜 어텐션 맵을 요소곱하여 BEV 2 차원 이미지 데이터의 이미지 특징을 추출한다.
추출된 제 2 이미지 특징의 데이터 크기를 전술한 제 1 이미지 특징의 데이터 크기와 맞추기 위하여 합성곱과 시그모이드 층을 통과시켜, 최종적으로 BEV 어텐션 맵 (제 2 이미지 특징) 을 생성한다.
도 7은 스페이셜 어텐션 모듈의 일 예를 도시한 구성도이다. 도 7을 참조하면, 스페이셜 어텐션 모듈은 입력되는 이미지 벡터 F를 맥스풀과 에버리지풀을 통하여 2 채널 이미지로 변환하고 컨벌루션층을 통과시켜 데이터의 차원을 감소시키고, 시그모이드층을 거쳐 스페이셜 어텐션 (강조) 맵을 생성한다.
전술한 과정을 통하여 BEV 어텐션 모듈 (600) 에서 생성된 BEV 어텐션 맵 (제2 이미지 특징) 과 합성곱 네트워크 (500) 에서 생성된 제 1 이미지 특징을 요소곱하여 융합함으로써, 제 3 이미지 특징을 생성한다.
검출부 (700) 는 제 3 이미지 특징을, 예를 들면, 자동차, 자전거, 사람, 가로등, 차선, 등의 종류로 구분하고, 각각의 종류로 판단되어질 확률을 계산한다. 확률값이 소정치 이상인 경우, 제 3 이미지 특징을 그것에 해당하는 종류로 판단함으로써, 객체 검출한다.
이상 기술한 바와 같이, 본 발명의 일 실시예에 따르면, 라이다가 생성한 3차원 포인트 클라우드 데이터를 구좌표계 2 차원 이미지와 BEV 2 차원 이미지로 변환한 후, 이 들 2 가지의 다른 좌표계의 2차원 이미지 데이터의 이미지 특징을 융합하고, 융합된 이미지 특징에 기초하여 3차원 객체 검출을 함으로써, 하나의 2차원 이미지 데이터에 기초하여 객체 검출하는 것에 비하여 한층 정확한 3 차원 객체 검출을 가능하게 한다.
본 발명의 다른 실시예는 본 발명에 따른 다중 좌표계 특징을 사용한 객체 검출 방법을 수행하는 하나 이상의 프로세서를 포함하는 객체 검출 장치로서 제공할 수도 있다.
본 발명의 또 다른 실시예는 본 발명에 따른 다중 좌표계 특징을 사용한 객체 검출 방법을 프로그램으로 구현하고 이 프로그램을 판독가능한 불휘발성 메모리에 저장한 기록매체로서 제공할 수도 있다.
100 수신부
200 제 1 변환 데이터 추출부
300 제 2 변환 데이터 추출부
400 객체 검출부
500 합성곱 네트워크
600 BEV 어텐션 모듈
700 검출부

Claims (19)

  1. 3차원 객체에 관한 포인트 클라우드 데이터를 수신하는 단계;
    수신된 상기 포인트 클라우드 데이터에서 상기 3차원 객체에 관한 방위각과 고도각정보를 추출하여 제1 변환 데이터를 생성하는 단계;
    수신된 상기 포인트 클라우드 데이터에서 상기 3차원 객체에 관한 BEV (Bird's eye view) 데이터를 추출하여 제2 변환 데이터를 생성하는 단계; 및
    상기 제1 변환 데이터 및 상기 제2 변환 데이터에 기초하여 상기 3차원 객체에 대한 객체 검출을 수행하는 단계를 포함하는 다중 좌표계 특징을 사용한 객체 검출 방법.
  2. 제1항에 있어서,
    상기 객체 검출을 수행하는 단계는,
    상기 제1 변환 데이터를 합성곱하여 제1 이미지 특징을 추출하는 단계; 및
    상기 제2 변환 데이터를 BEV 어텐션 모듈에 통과시켜 제2 이미지 특징을 추출하는 단계를 포함하며,
    상기 제1 이미지 특징과 상기 제2 이미지 특징을 융합한 제3 이미지 특징에 기초하여 상기 3차원 객체에 대한 검출을 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 방법.
  3. 제2항에 있어서,
    상기 제2 이미지 특징을 추출하는 단계는,
    상기 제2 변환 데이터를 합성곱하고, 합성곱한 제2 변환 데이터를 스페이셜 어텐션 모듈에 입력하고 상기 스페이셜 어텐션 모듈의 출력을 상기 합성곱한 제2 변환 데이터와 요소곱하는 단계를 포함하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 방법.
  4. 제3항에 있어서,
    상기 스페이셜 어텐션 모듈은 입력값을 맥스풀링 및 에버리지풀링을 통해 2채널 이미지로 만들고, 상기 2 채널 이미지를 컨벌루션층과 시그모이드층을 통과시켜 스페이셜 어텐션 맵을 생성하고 출력하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 방법.
  5. 제3항에 있어서,
    상기 제2 이미지 특징을 추출하는 단계는,
    상기 요소곱한 결과를 합성곱하고 시그모이드층을 통과시켜 BEV 어텐션 맵을 출력하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 방법.
  6. 제5항에 있어서,
    상기 3차원 객체에 대한 객체 검출을 수행하는 단계는 상기 BEV 어텐션 맵과 상기 제 1 이미지 특징을 요소곱하여 상기 제3 이미지 특징을 추출하고, 상기 제 3 이미지 특징에 기초하여 3 차원 객체에 대한 객체 검출을 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 방법.
  7. 3차원 객체에 관한 포인트 클라우드 데이터를 수신하는 수신부;
    수신된 상기 포인트 클라우드 데이터에서 상기 3차원 객체에 관한 방위각과 고도각정보를 추출하여 제1 변환 데이터를 생성하는 제1 변환 데이터 추출부;
    수신된 상기 포인트 클라우드 데이터에서 상기 3차원 객체에 관한 BEV (Bird's eye view) 데이터를 추출하여 제2 변환 데이터를 생성하는 제2 변환 데이터 추출부; 및
    상기 제1 변환 데이터 및 상기 제2 변환 데이터에 기초하여 상기 3차원 객체에 대한 객체 검출을 수행하는 객체 검출부를 포함하는 다중 좌표계 특징을 사용한 객체 검출 시스템.
  8. 제7항에 있어서,
    상기 객체 검출부는 합성곱 네트워크 (CNN)와 BEV 어텐션 모듈을 포함하며,
    상기 제1 변환 데이터를 상기 합성곱 네트워크에 적용하여 제1 이미지 특징을 추출하고, 상기 제2 변환 데이터를 상기 BEV 어텐션 모듈에 통과시켜 제2 이미지 특징을 추출하며,
    상기 제1 이미지 특징과 상기 제2 이미지 특징의 요소곱에 기초하여 상기 3차원 객체에 대한 검출을 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 시스템.
  9. 제8항에 있어서,
    상기 BEV 어텐션 모듈은 스페이셜 어텐션 모듈을 포함하며,
    상기 스페이셜 어텐션 모듈은, 상기 제2 변환 데이터를 합성곱한 값을 입력받고, 스페이셜 어텐션 맵을 출력하며,
    상기 BEV 어텐션 모듈은 상기 제2 변환 데이터를 합성곱한 값과 상기 스페이셜 어텐션 모듈의 출력을 요소곱하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 시스템.
  10. 제9항에 있어서,
    상기 스페이셜 어텐션 모듈은 상기 제2 변환 데이터를 합성곱한 값을 맥스풀링 및 에버리지풀링을 통해 2채널 이미지로 만들고, 상기 2 채널 이미지를 컨벌루션층과 시그모이드층을 통과시켜 스페이셜 어텐션 맵을 생성하고 출력하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 시스템.
  11. 제9항에 있어서,
    상기 BEV어텐션 모듈은,
    상기 요소곱한 결과를 합성곱하고 시그모이드층을 통과시켜 BEV 어텐션 맵을 출력하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 시스템.
  12. 제11항에 있어서,
    상기 객체 검출부는 상기 BEV 어텐션 맵과 상기 제 1 이미지 특징을 요소곱하여 상기 제3 이미지 특징을 추출하고, 상기 제 3 이미지 특징에 기초하여 3 차원 객체에 대한 객체 검출을 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 시스템.
  13. 하나 이상의 마이크로 프로세서를 포함하는 다중 좌표계 특징을 사용한 객체 검출 장치에 있어서,
    상기 하나 이상의 마이크로 프로세서는,
    3차원 객체에 관한 포인트 클라우드 데이터를 입력받는 단계;
    수신된 상기 포인트 클라우드 데이터에서 상기 3차원 객체에 관한 방위각과 고도각정보를 추출하여 제1 변환 데이터를 생성하는 단계;
    수신된 상기 포인트 클라우드 데이터에서 상기 3차원 객체에 관한 BEV (Bird's eye view) 데이터를 추출하여 제2 변환 데이터를 생성하는 단계; 및
    상기 제1 변환 데이터 및 상기 제2 변환 데이터에 기초하여 상기 3차원 객체에 대한 객체 검출을 수행하는 단계를 수행하는 다중 좌표계 특징을 사용한 객체 검출 장치.
  14. 제13항에 있어서,
    상기 하나 이상의 마이크로 프로세서는,
    상기 제1 변환 데이터를 합성곱하여 제1 이미지 특징을 추출하는 단계; 및
    상기 제2 변환 데이터를 BEV 어텐션 모듈에 통과시켜 제2 이미지 특징을 추출하는 단계를 추가로 수행하며,
    상기 제1 이미지 특징과 상기 제2 이미지 특징을 융합한 제3 이미지 특징에 기초하여 상기 3차원 객체에 대한 검출을 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 장치.
  15. 제14항에 있어서,
    상기 BEV 어텐션 모듈은, 상기 제2 변환 데이터를 합성곱하고, 합성곱한 제2 변환 데이터를 스페이셜 어텐션 모듈에 입력하고 상기 스페이셜 어텐션 모듈의 출력을 상기 합성곱한 제2 변환 데이터와 요소곱하는 단계를 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 장치.
  16. 제15항에 있어서,
    상기 스페이셜 어텐션 모듈은 입력값을 맥스풀링 및 에버리지풀링을 통해 2채널 이미지로 만들고, 상기 2 채널 이미지를 컨벌루션층과 시그모이드층을 통과시켜 스페이셜 어텐션 맵을 생성하고 출력하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 장치.
  17. 제15항에 있어서,
    상기 하나 이상의 마이크로 프로세서는,
    상기 요소곱한 결과를 합성곱하고 시그모이드층을 통과시켜 BEV 어텐션 맵을 출력하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 장치.
  18. 제17항에 있어서,
    상기 하나 이상의 마이크로 프로세서는 상기 BEV 어텐션 맵과 상기 제 1 이미지 특징을 요소곱하여 상기 제3 이미지 특징을 추출하고, 상기 제 3 이미지 특징에 기초하여 3 차원 객체에 대한 객체 검출을 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 장치.
  19. 제18항에 있어서,
    상기 하나 이상의 마이크로 프로세서는 상기 BEV 어텐션 모듈과 상기 스페이셜 어텐션 모듈이 수행하는 각 단계를 수행하는 것을 특징으로 하는 다중 좌표계 특징을 사용한 객체 검출 장치.

KR1020210119426A 2021-09-08 2021-09-08 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법 KR20230036651A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119426A KR20230036651A (ko) 2021-09-08 2021-09-08 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119426A KR20230036651A (ko) 2021-09-08 2021-09-08 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230036651A true KR20230036651A (ko) 2023-03-15

Family

ID=85511997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119426A KR20230036651A (ko) 2021-09-08 2021-09-08 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230036651A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740288A (zh) * 2023-08-14 2023-09-12 北京数慧时空信息技术有限公司 一种融合激光雷达、倾斜摄影的三维重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740288A (zh) * 2023-08-14 2023-09-12 北京数慧时空信息技术有限公司 一种融合激光雷达、倾斜摄影的三维重建方法

Similar Documents

Publication Publication Date Title
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
Lim et al. Radar and camera early fusion for vehicle detection in advanced driver assistance systems
Zaarane et al. Distance measurement system for autonomous vehicles using stereo camera
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
Chen et al. Lidar-histogram for fast road and obstacle detection
CN107392965B (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
CN110197106A (zh) 物件标示系统及方法
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
Boroson et al. 3D keypoint repeatability for heterogeneous multi-robot SLAM
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
WO2022076655A1 (en) Real-time cross-spectral object association and depth estimation
El Bouazzaoui et al. Enhancing rgb-d slam performances considering sensor specifications for indoor localization
Wang et al. Acmarker: Acoustic camera-based fiducial marker system in underwater environment
CN116664856A (zh) 基于点云-图像多交叉混合的三维目标检测方法、系统及存储介质
CN115424233A (zh) 基于信息融合的目标检测方法以及目标检测装置
KR20230036651A (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
KR102270827B1 (ko) 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
Niesen et al. Camera-radar fusion for 3-D depth reconstruction
CN116704304A (zh) 一种混合注意力机制的多模态融合目标检测方法
CN113192029A (zh) 一种基于ToF的焊缝识别方法
EP4217962A1 (en) Voice call method and apparatus, electronic device, and computer-readable storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal