KR102660084B1 - 3d 객체 탐지 장치 및 방법 - Google Patents

3d 객체 탐지 장치 및 방법 Download PDF

Info

Publication number
KR102660084B1
KR102660084B1 KR1020210129810A KR20210129810A KR102660084B1 KR 102660084 B1 KR102660084 B1 KR 102660084B1 KR 1020210129810 A KR1020210129810 A KR 1020210129810A KR 20210129810 A KR20210129810 A KR 20210129810A KR 102660084 B1 KR102660084 B1 KR 102660084B1
Authority
KR
South Korea
Prior art keywords
features
scale
point
voxel
feature
Prior art date
Application number
KR1020210129810A
Other languages
English (en)
Other versions
KR20230046623A (ko
Inventor
함범섭
노종윤
이상훈
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210129810A priority Critical patent/KR102660084B1/ko
Publication of KR20230046623A publication Critical patent/KR20230046623A/ko
Application granted granted Critical
Publication of KR102660084B1 publication Critical patent/KR102660084B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력된 포인트 클라우드 데이터의 다수의 포인트를 복셀화하여 복셀 데이터를 획득하는 복셀화부, 복셀 데이터의 다수의 복셀 각각에 대해 미리 학습된 신경망 연산을 수행하여 다수의 복셀 특징을 획득하고, 학습 포인트 데이터 클라우드를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 중 획득된 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 대응하는 복셀 특징과 결합하고 2차원 위치 정보에 매칭하여 혼합 표현자를 생성하는 혼합 표현자 생성부, 혼합 표현자에 대해 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에서의 특징을 추출하고, 추출된 특징에서 스케일에 따른 주의 영역을 강조하고, 동일 스케일로 변환 및 결합하여 다중 스케일 특징을 획득하는 다중 스케일 특징 추출부 및 다중 스케일 특징에 대해 미리 학습된 신경망 연산을 수행하여 포인트 클라우드 데이터에 포함된 객체를 검출하는 객체 검출부를 포함하여 고속으로 고속으로 정확하게 객체를 검출할 수 있는 3D 객체 탐지 장치 및 방법을 제공한다.

Description

3D 객체 탐지 장치 및 방법{Apparatus and Method for Detecting 3D Object}
본 발명은 3D 객체 탐지 장치 및 방법에 관한 것으로, 복셀-포인트 혼합 표현자에 기반하여 단일 단계로 3D 객체를 탐지할 수 있는 3D 객체 탐지 장치 및 방법에 관한 것이다.
3D 객체 탐지는 3D 공간에 존재하는 주변 물체의 위치 및 종류를 예측하는 기법으로, 기존에는 스테레오 카메라와 같은 카메라를 이용하여 획득된 영상을 이용하는 방식이 주로 사용되었으나, 최근에는 라이다(Light Detection And Ranging: LiDAR)에서 얻어진 3D 포인트 클라우드(point cloud) 데이터를 이용한 딥 러닝(deep learning) 기반 방식이 대부분이다.
기존에 포인트 클라우드 데이터를 이용한 3D 객체 탐지 방식은 크게 포인트 단위 특징 기반 기법과 복셀 단위 특징 기반 기법으로 구분된다.
포인트 단위 특징 기반 기법은 인공 신경망을 이용하여 라이다로부터 획득된 포인트 클라우드의 다수의 포인트 각각에 대해 포인트 특징을 추출하고, 추출된 포인트 특징을 기반으로 관심 영역(ROI: Region of Interest)을 설정하며, 이후 설정된 관심 영역을 다시 구체적으로 분석함으로써 객체 영역을 검출하고 객체를 식별한다. 포인트 단위 특징 기반 기법은 포인트 클라우드의 3D 공간 정보를 그대로 활용하므로 우수한 3D 객체 탐지 성능을 나타내지만, 각 포인트에 대한 특징을 추출하기 위해 많은 연산을 필요로 하며, 관심 영역 추출 후 객체를 검출하는 2단계 방식을 이용함에 따라 3D 객체 탐지를 위한 소요 시간이 길다는 단점이 있다.
복셀 단위 특징 기반 기법은 포인트 단위 특징 기반 기법의 많은 연산량과 객체 탐지 시간이 길다는 단점을 보완하기 위해 제안된 기법으로 포인트 클라우드의 다수의 포인트들을 기지정된 크기의 그리드 단위로 복셀화하여, 포인트보다 적은 수의 복셀을 획득하고, 획득된 다수의 복셀의 특징을 추출하며, 추출된 복셀 특징으로부터 객체 영역을 검출하고 객체를 식별한다. 복셀 단위 특징 기반 기법은 다수의 포인트를 복셀화함으로써, 특징 추출 과정에서의 연산량을 대폭 저감시킬 수 있으며, 관심 영역을 설정하지 않고 추출된 복셀 특징에서 곧바로 객체를 검출하는 단일 단계 구성이므로 고속으로 객체를 검출할 수 있다는 장점으로 인해 실시간 성이 중요한 운전자 보조 시스템(Advanced Driver Assistance Systems: ADAS)나 자율 주행 시스템 등에 이용되고 있다. 다만 복셀 단위 특징 기반 기법은 포인트 클라우드를 복셀화하는 과정에서 정밀한 3D 정보를 소실하게 되어 객체 탐지 성능이 저하되는 단점이 있다.
한국 공개 특허 제10-2021-0064067호 (2021.06.02 공개)
본 발명의 목적은 적은 연산량으로 3D 객체를 고속으로 검출할 수 있는 3D 객체 탐지 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 정확하게 3D 객체의 위치를 검출하고 식별할 수 있는 3D 객체 탐지 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D 객체 탐지 장치는 입력된 포인트 클라우드 데이터의 다수의 포인트를 복셀화하여 복셀 데이터를 획득하는 복셀화부; 상기 복셀 데이터의 다수의 복셀 각각에 대해 미리 학습된 신경망 연산을 수행하여 다수의 복셀 특징을 획득하고, 학습 포인트 데이터 클라우드를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 중 획득된 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 대응하는 복셀 특징과 결합하고 2차원 위치 정보에 매칭하여 혼합 표현자를 생성하는 혼합 표현자 생성부; 상기 혼합 표현자에 대해 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에서의 특징을 추출하고, 추출된 특징에서 스케일에 따른 주의 영역을 강조하고, 동일 스케일로 변환 및 결합하여 다중 스케일 특징을 획득하는 다중 스케일 특징 추출부; 및 상기 다중 스케일 특징에 대해 미리 학습된 신경망 연산을 수행하여 포인트 클라우드 데이터에 포함된 객체를 검출하는 객체 검출부를 포함한다.
상기 혼합 표현자 생성부는 미리 학습된 신경망 연산을 수행하여 상기 복셀 데이터의 다수의 복셀 각각에 대한 복셀 특징을 추출하는 복셀 특징 추출부; 다수의 학습 포인트 클라우드 데이터를 기반으로 미리 획득된 다수의 저장 포인트 특징이 저장된 포인트 특징 저장부; 상기 다수의 복셀 특징과 상기 다수의 저장 포인트 특징 사이의 유사도를 기지정된 방식으로 계산하여, 상기 다수의 복셀 특징 각각에 대해 가장 높은 유사도를 갖는 기지정된 개수의 저장 포인트 특징을 선택하는 유사 포인트 특징 선택부; 상기 다수의 복셀 특징 각각에 대응하여 선택된 저장 포인트 특징을 결합하여 혼합 특징을 획득하는 포인트 특징 결합부; 및 상기 다수의 혼합 특징을 2차원 좌표계에서 대응하는 복셀의 위치 정보와 결합하여 혼합 표현자를 획득하는 혼합 표현자 획득부를 포함할 수 있다.
상기 포인트 특징 결합부는 상기 다수의 복셀 특징 각각에 대응하여 선택된 기지정된 개수의 저장 포인트 특징을 복셀과의 유사도에 따라 가중합하여 압축 포인트 특징을 획득하고, 획득된 압축 포인트 특징을 대응하는 복셀 특징과 결합하여 상기 다수의 혼합 특징을 획득할 수 있다.
상기 3D 객체 탐지 장치는 상기 3D 객체 탐지 장치를 운용하기 이전 상기 다수의 저장 포인트 특징 저장 시에 구비되어, 상기 학습 포인트 데이터 클라우드의 다수의 포인트 각각의 특징을 추출하여 획득된 다수의 포인트 특징 중 상기 혼합 표현자 생성부가 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 선택하고 압축하여 획득된 학습 압축 포인트 특징과, 상기 혼합 표현자 생성부가 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각과 가장 유사한 것으로 선택한 저장 포인트 특징을 압축하여 획득한 압축 포인트 특징 사이의 오차를 저장 손실로 계산하여 상기 저장 포인트 특징을 업데이트하는 포인트 특징 업데이트부를 더 포함할 수 있다.
상기 포인트 특징 업데이트부는 상기 학습 포인트 데이터 클라우드를 인가받아 미리 학습된 신경망 연산을 수행하여 다수의 포인트 각각에 대한 포인트 특징을 추출하는 포인트 특징 추출부; 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징과 다수의 포인트 특징 각각 사이의 유사도를 계산하고, 계산된 유사도가 가장 높은 기지정된 개수의 포인트 특징을 선택하는 유사도 분석부; 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각에 대응하여 선택된 기지정된 개수의 포인트 특징을 대응하는 복셀과의 유사도에 따라 가중합하여 학습 압축 포인트 특징을 획득하고, 획득된 학습 압축 포인트 특징을 대응하는 복셀 특징과 결합하여 상기 다수의 학습 혼합 특징을 획득하는 복셀 특징 결합부; 및 상기 학습 압축 포인트 특징과 상기 압축 포인트 특징 사이의 오차를 계산하여 저장 손실을 획득하고, 획득된 상기 저장 손실에 따라 상기 포인트 특징 저장부에 저장된 저장 포인트 특징을 업데이트하는 업데이트부를 포함할 수 있다.
상기 다중 스케일 특징 추출부는 상기 혼합 표현자를 인가받아 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에 따른 다수의 스케일 특징을 획득하는 스케일별 특징 추출부; 상기 다수의 스케일 특징 각각에 대해 신경망 연산을 수행하여 상기 다수의 스케일 특징 각각에 주의 영역이 강조된 다수의 스케일 인지 특징을 획득하는 다중 스케일 주의부; 상기 다수의 스케일 인지 특징의 크기가 동일해지도록 업샘플링하는 스케일 매칭부; 및 업샘플링된 다수의 스케일 인지 특징을 결합하여 상기 다중 스케일 인지 특징을 획득하는 다중 스케일 결합부를 포함할 수 있다.
상기 스케일별 특징 추출부는 다단 연결되어 상기 혼합 표현자 또는 이전단에서 출력되는 스케일 특징을 인가받아 서로 다른 대응하는 스케일에 따른 스케일 특징을 각각 추출하는 다수의 스케일 특징 추출부를 포함할 수 있다.
상기 다중 스케일 주의부는 상기 복셀화부의 복셀화 과정에서 포인트 클라우드 데이터에서 각 복셀에 대응하는 포인트 개수, 복셀에 대응하는 포인트들의 평균 위치 및 상기 포인트 클라우드 데이터를 획득하는 센서로부터 각 복셀까지의 거리 정보에 대해 미리 학습된 신경망 연산과 다운샘플링을 수행하여 획득되는 3D 스케일 특징을 기반으로 신경망 연산하여 상기 다수의 스케일 특징 추출부 중 대응하는 스케일 특징 추출부에서 출력되는 스케일 특징의 주의 영역이 강조된 스케일 인지 특징을 각각 출력하는 다수의 스케일 주의부를 포함할 수 있다.
상기 다수의 스케일 주의부 각각은 대응하는 스케일 특징을 인가받아 미리 학습된 신경망 연산을 수행하여 스케일 특징맵을 획득하는 특징 추출부; 상기 3D 스케일 특징을 인가받아 각각 최대값 풀링 및 평균값 풀링하는 2개의 풀링부; 풀링된 2개의 3D 스케일 특징을 결합하여 3D 스케일 풀링 특징을 출력하는 풀링 결합부; 상기 3D 스케일 풀링 특징을 인가받아 신경망 연산을 수행하여 스케일에 따른 주의맵을 획득하는 주의맵 추출부; 상기 주의맵의 크기를 스케일 특징맵에 대응하는 크기로 확장하여 확장 주의맵을 획득하는 채널 확장부; 상기 스케일 특징맵과 상기 확장 주의맵을 원소곱하여 스케일 강조맵을 획득하는 강조부; 및 대응하는 상기 스케일 특징에 상기 스케일 강조맵을 가산하여 스케일 인지 특징을 획득하는 스케일 인지 특징 획득부를 포함할 수 있다.
상기 스케일 매칭부는 상기 다수의 스케일 주의부 중 대응하는 스케일 주의부에서 출력되는 스케일 인지 특징을 인가받아 상기 다수의 스케일 인지 특징 중 가장 큰 크기의 스케일 인지 특징과 동일한 크기로 업샘플링하는 다수의 업샘플링부를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 3D 객체 탐지 방법은 상기 포인트 클라우드 데이터의 다수의 포인트를 복셀화하여 복셀 데이터를 획득하는 단계; 상기 복셀 데이터의 다수의 복셀 각각에 대해 미리 학습된 신경망 연산을 수행하여 다수의 복셀 특징을 획득하고, 학습 포인트 데이터 클라우드를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 중 획득된 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 대응하는 복셀 특징과 결합하고 2차원 위치 정보에 매칭하여 혼합 표현자를 생성하는 단계; 상기 혼합 표현자에 대해 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에서의 특징을 추출하고, 추출된 특징에서 스케일에 따른 주의 영역을 강조하고, 동일 스케일로 변환 및 결합하여 다중 스케일 특징을 획득하는 단계; 및 상기 다중 스케일 특징에 대해 미리 학습된 신경망 연산을 수행하여 포인트 클라우드 데이터에 포함된 객체를 검출하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 3D 객체 탐지 장치 및 방법은 포인트 클라우드의 다수의 포인트를 복셀화하여 복셀 특징을 추출하고, 학습에 의해 미리 획득되어 저장된 포인트 특징 중 유사한 포인트 특징을 결합하여 혼합 표현자를 생성하여 3D 객체를 검출하므로, 고속으로 정확하게 객체를 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 객체 탐지 장치의 개략적 구성을 나타낸다.
도 2는 도 1의 혼합 표현자 생성부와 메모리 업데이트부의 동작을 설명하기 위한 도면이다.
도 3은 도 1의 다중 스케일 특징 추출부의 상세 구성의 일 예를 나타낸다.
도 4는 도 3의 다중 스케일 특징 추출부의 동작을 설명하기 위한 도면이다.
도 5는 도 4의 다중 스케일 특징 추출부의 상세 구성의 일 예를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 3D 객체 탐지 방법을 나타낸다.
도 7은 도 6의 포인트 특징 저장 단계의 상세 구성을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 객체 탐지 장치의 개략적 구성을 나타내고, 도 2는 도 1의 혼합 표현자 생성부와 메모리 업데이트부의 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 본 실시예에 따른 3D 객체 탐지 장치는 복셀화부(100), 혼합 표현자 생성부(200), 다중 스케일 특징 추출부(300) 및 객체 검출부(400)를 포함할 수 있다.
복셀화부(100)는 라이다 등을 통해 획득된 3D 포인트 클라우드 데이터를 인가받고, 인가된 3D 포인트 클라우드 데이터를 기지정된 방식에 따라 복셀화하여 다수의 복셀을 획득한다. 복셀화부(100)는 X, Y 및 Z축의 3D 좌표계 상의 위치 좌표를 갖는 3D 포인트 클라우드 데이터의 포인트들을 기지정된 크기의 3D 복셀 그리드를 이용하여 복셀화한다. 여기서 3D 복셀 그리드는 X, Y 및 Z축 방향 각각으로 기지정된 크기를 가져 육면체 형태로 형성될 수 있으며, 복셀화부(100)는 동일한 복셀 그리드에 포함되는 포인트를 다양한 방식으로 복셀화하여 단일 복셀을 획득할 수 있다. 여기서는 일 예로 복셀화부(100)가 동일 복셀 그리드 내에 위치하는 포인트들의 위치 좌표의 평균값을 계산하여 평균 위치 좌표를 갖는 복셀을 획득하는 것으로 가정한다. 또한 복셀화부(100)는 Z축 방향에서는 하나의 단일 복셀 그리드가 존재하도록 설정하여, 동일한 Z축 방향에 대해서는 하나의 복셀만이 생성되도록 하는 것으로 가정한다.
혼합 표현자 생성부(200)는 복셀화부(100)에서 획득된 다수의 복셀 각각의 복셀 특징과 복셀 특징에 대응하는 포인트 특징이 결합된 혼합 표현자를 생성한다. 여기서 혼합 표현자 생성부(200)가 단순히 복셀 특징만을 추출하지 않고 포인트 특징이 결합된 혼합 표현자를 생성하는 것은 상기한 바와 같이, 복셀 특징은 연산량을 대폭 저감시켜 고속으로 객체를 검출하도록 할 수 있으나, 정밀한 3D 정보가 소실되어 객체를 정확하게 검출하지 못하게 되는 문제가 발생하기 때문이다. 이에 혼합 표현자 생성부(200)는 복셀 특징에 정밀한 3D 정보가 포함된 포인트 특징을 부가하여 혼합 표현자를 생성함으로써, 고속으로 객체를 검출하면서도 정확하게 객체를 식별하여 검출할 수 있도록 한다. 특히 본 실시예에서 혼합 표현자 생성부(200)는 다양한 포인트 클라우드 데이터를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 중 복셀 특징에 대응하는 저장 포인트 특징을 선택하여 복셀 특징과 결합하여 혼합 표현자를 생성할 수 있다. 이는 3D 객체 탐지 장치에 인가되는 각 포인트 클라우드 데이터에 대응하는 다수의 포인트 특징을 연산을 통해 추출하지 않고 미리 저장된 저장 포인트 데이터를 이용하도록 함으로써 고속으로 혼합 표현자를 획득할 수 있도록 하기 위함이다.
혼합 표현자 생성부(200)는 복셀 특징 추출부(210), 포인트 특징 저장부(220), 유사 포인트 특징 선택부(230), 포인트 특징 결합부(240) 및 혼합 표현자 획득부(250)를 포함할 수 있다. 우선 복셀 특징 추출부(210)는 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따른 신경망 연산을 수행하여 복셀화부(100)에서 획득된 다수의 복셀 각각에 대응하는 다수의 복셀 특징을 추출한다.
포인트 특징 저장부(220)는 사전에 다수의 학습 포인트 클라우드 데이터를 기반으로 획득된 다수의 저장 포인트 특징이 미리 저장된다. 포인트 특징 저장부(220)는 메모리로 구현될 수 있으며, 후술하는 포인트 특징 업데이트부(500)에 의해 획득되는 다수의 포인트 특징의 대표값이 저장 포인트 특징으로 미리 저장될 수 있다. 여기서 다수의 저장 포인트 특징은 현재 인가된 포인트 클라우드 데이터로부터 획득되는 복셀 특징과 달리 미리 준비된 다수의 학습 포인트 클라우드 데이터를 기반으로 사전에 획득되어 저장된다. 따라서 개별 포인트 클라우드 데이터에 대응하지 않고 다양한 학습 포인트 클라우드 데이터 각각의 포인트 특징들의 특성을 대표하는 대표 포인트 특징으로 볼 수 있다. 또한 복셀 특징 추출부(210)가 복셀 특징을 추출하기 위한 신경망 연산을 수행하는 것과 달리 다수의 저장 포인트 특징은 포인트 특징 저장부(220)에 미리 저장되어 있으므로 3D 객체 탐지 장치의 실제 운용 시에는 저장 포인트 특징을 획득하기 위한 별도의 연산을 필요로 하지 않는다.
유사 포인트 특징 선택부(230)는 기지정된 방식으로 복셀 특징 추출부(210)에서 획득된 복셀 특징(fvox(n)) 각각과 포인트 특징 저장부(220)에 저장된 다수의 저장 포인트 특징() 사이의 유사도(P(n,k))를 계산하고, 계산된 유사도(P(n,k))에 따라 각 복셀 특징(fvox(n))에 대해 가장 유사도(P(n,k))가 높은 기지정된 K(여기서 K는 자연수)개의 저장 포인트 특징(,k = 1, …, K)을 선택할 수 있다. 유사 포인트 특징 선택부(230)는 일 예로 복셀 특징(fvox(n))과 저장 포인트 특징() 사이의 유사도(P(n,k))를 수학식 1에 따라 계산할 수 있다.
(여기서 k'(k' = 1, …, K)은 기지정된 K개의 저장 포인트 특징의 식별자를 나타낸다.)
수학식 1은 선택된 K개 저장 포인트 특징 중 k번째 저장 포인트 특징()이 얼마나 복셀 특징과 유사한지를 계산한다.
포인트 특징 결합부(240)는 복셀 특징 추출부(210)에서 획득된 다수의 복셀 특징과 유사 포인트 특징 선택부(230)에서 각 복셀 특징(fvox(n))에 대응하여 선택된 기지정된 K개의 저장 포인트 특징()을 기지정된 방식으로 결합(concatenation)하여 다수의 혼합 특징을 획득한다. 이때 포인트 특징 결합부(240)는 각 복셀 특징(fvox(n))에 대응하는 K개의 저장 포인트 특징()을 기지정된 방식에 따라 압축하여 하나의 압축 포인트 특징(gmem(n))을 획득하고, 획득된 압축 포인트 특징(gmem(n))을 대응하는 복셀 특징(fvox(n))과 결합하여 혼합 특징을 획득한다. 따라서 혼합 특징은 복셀 특징(fvox(n))과 K개의 저장 포인트 특징()이 결합된 복셀-포인트 특징으로 볼 수 있다.
여기서 포인트 특징 결합부(240)는 K개의 저장 포인트 특징() 각각에 대응하는 복셀과의 유사도(P(n,k))를 가중합하여 수학식 2에 따라 압축 포인트 특징(gmem(n))을 획득할 수 있다.
혼합 표현자 획득부(250)는 포인트 특징 결합부(240)에서 획득된 다수의 혼합 특징을 X축과 Y축으로 구성되는 2차원 평면 상에 각 복셀이 포함된 3D 복셀 그리드의 위치에 배치하여 혼합 표현자를 획득한다. 이때, 복셀화부(100)에 의해 동일한 Z축 상에서는 단일 복셀만이 존재할 수 있으므로, 획득된 다수의 혼합 특징은 X축과 Y축으로 구성되는 2차원 평면 상에 용이하게 배치될 수 있다.
즉 혼합 표현자 획득부(250)는 도 2의 우측에 도시된 바와 같이, 2차원 평면 상에 혼합 특징을 대응하는 위치에 뿌려 유사 이미지 형태의 혼합 표현자를 획득할 수 있다. 즉 혼합 표현자는 2차원 위치 정보와 혼합 특징이 매칭되어 결합된 3D 텐서(tensor) 형태로 구성될 수 있다.
결과적으로 혼합 표현자 생성부(200)는 복셀화부(100)에서 획득된 다수의 복셀 특징(fvox(n))에 대응하는 저장 포인트 특징()이 결합된 혼합 특징을 생성하여 2차원의 대응하는 위치 좌표와 결합함으로써 혼합 표현자를 생성할 수 있다.
다만 혼합 표현자 생성부(200)가 혼합 표현자를 생성하기 위해서는 상기한 바와 같이, 포인트 특징 저장부(220)에 다수의 저장 포인트 특징이 미리 저장되어야 한다. 이에 본 실시예에 따른 3D 객체 탐지 장치는 실제로 이용하기 이전에 다수의 저장 포인트 특징을 미리 획득하기 위해 이용되는 포인트 특징 업데이트부(500)를 더 포함할 수 있다. 여기서 포인트 특징 업데이트부(500)는 포인트 특징 저장부(220)에 저장될 다수의 저장 포인트 특징을 획득하기 위한 구성으로, 포인트 특징 저장부(220)에 다수의 저장 포인트 특징이 저장되면 제거된다.
포인트 특징 업데이트부(500)는 포인트 특징 추출부(510), 유사도 분석부(530), 복셀 특징 결합부(540) 및 업데이트부(560)를 포함할 수 있다.
포인트 특징 추출부(510)는 포인트 클라우드 데이터를 인가받고, 미리 학습된 인공 신경망으로 구현되어 인가된 포인트 클라우드 데이터에 대해 학습된 방식에 따른 신경망 연산을 수행하여 다수의 포인트 각각에 대한 다수의 포인트 특징을 추출한다.
유사도 분석부(530)는 혼합 표현자 생성부(200)의 유사 포인트 특징 선택부(230)에 대응하는 구성으로, 복셀 특징 추출부(210)에서 획득된 다수의 복셀 특징(fvox(n)) 각각과 포인트 특징 추출부(510)에서 추출된 다수의 포인트 특징() 사이의 유사도(P(n,k))를 유사 포인트 특징 선택부(230)와 동일한 방식에 따라 계산하고, 다수의 복셀 특징(fvox(n)) 각각에 대해 계산된 유사도(P(n,k))가 가장 높은 K개의 포인트 특징()을 선택한다.
그리고 복셀 특징 결합부(540)는 유사도 분석부(530)에서 다수의 복셀 특징(fvox(n)) 각각에 대응하여 선택된 기지정된 K개의 포인트 특징()을 포인트 특징 결합부(240)와 동일한 방식으로 대응하는 복셀과의 유사도(P(n,k))를 가중합하여 학습 압축 포인트 특징(gpts(n))을 획득하고, 획득된 학습 압축 포인트 특징(gpts(n))과 복셀 특징 추출부(210)에서 획득된 대응하는 복셀 특징(fvox(n))을 결합하여 학습 혼합 특징을 획득한다.
학습 혼합 특징 또한 복셀 특징(fvox(n))과 K개의 포인트 특징()이 결합된 복셀-포인트 특징으로 볼 수 있다. 다만 복셀 특징 결합부(540)에서 획득되는 학습 혼합 특징은 현재 인가된 포인트 클라우드 데이터에서 직접 추출된 복셀 특징(fvox(n))과 대응하는 K개의 포인트 특징()이 결합되어 획득되는 반면, 포인트 특징 결합부(240)에서 획득되는 혼합 특징은 현재 인가된 포인트 클라우드 데이터에서 추출된 복셀 특징(fvox(n))과 포인트 특징 저장부(220)에 미리 저장된 다수의 저장 포인트 특징 중 대응하는 K개의 저장 포인트 특징()이 결합되어 획득되는 점에서 차이가 있다.
업데이트부(560)는 다수의 학습 포인트 클라우드 데이터 각각에 대해 포인트 특징 결합부(240)에서 획득된 압축 포인트 특징(gmem(n))과 복셀 특징 결합부(540)에서 획득된 학습 압축 포인트 특징(gpts(n)) 사이의 차이를 기반으로 포인트 특징 저장부(220)에 저장된 저장 포인트 특징()을 업데이트한다.
업데이트부(560)는 수학식 3에 따라 학습 압축 포인트 특징(gpts(n))과 압축 포인트 특징(gmem(n)) 사이의 누적 오차를 계산하여 저장 손실(Lmem)을 계산한다. 그리고 계산된 저장 손실(Lmem)이 감소되도록 포인트 특징 저장부(220)에 저장된 저장 포인트 특징()을 업데이트한다.
여기서 | |2 는 L2-norm 함수이다.
업데이트부(560)는 기지정된 횟수 또는 저장 손실(Lmem)이 기지정된 문턱 저장 손실 이하가 되도록 반복하여 저장 포인트 특징()을 업데이트할 수 있다. 다수의 저장 포인트 특징들은 신경망의 학습 파라미터와 같이 학습 가능한 파라미터로 정의되며, 이에 수학식 3으로 계산되는 저장 손실(Lmem)이 줄어들도록 반복 학습되어 업데이트될 수 있다.
포인트 특징 업데이트부(500)에 의해 업데이트된 저장 포인트 특징()은 다수의 학습 포인트 클라우드 데이터의 포인트 데이터의 각 포인트들에 대한 대표값으로 볼 수 있다. 따라서 본 실시예에 따른 혼합 표현자 생성부(200)는 실제 운용 시에 포인트 특징 업데이트부(500)가 제거되어 입력된 포인트 클라우드 데이터의 각 포인트에 대한 포인트 특징을 추출하지 않고서도, 복셀 특징과 포인트 특징이 결합된 혼합 표현자를 용이하게 획득할 수 있다.
다중 스케일 특징 추출부(300)는 혼합 표현자 생성부(200)에서 획득된 혼합 표현자로부터 다중 스케일 특징을 추출한다. 다중 스케일 특징 추출부(300)는 미리 학습된 인공 신경망으로 구현되어, 인가된 혼합 표현자에 대해 미리 학습된 방식으로 신경망 연산을 수행하여 다중 스케일 특징을 추출할 수 있다. 다중 스케일 특징 추출부(300)는 다양한 크기의 객체를 정확하게 검출할 수 있도록 혼합 표현자를 서로 다른 스케일로 변환하면서 각 스케일에서의 특징을 추출하고, 추출된 특징에서 주의 영역을 강조한 후 다시 동일 스케일로 변환하여 결합한다.
도 3은 도 1의 다중 스케일 특징 추출부의 상세 구성의 일 예를 나타내고, 도 4는 도 3의 다중 스케일 특징 추출부의 동작을 설명하기 위한 도면이며, 도 5는 도 4의 다중 스케일 특징 추출부의 상세 구성의 일 예를 나타낸다.
도 3 및 도 4를 참조하면, 다중 스케일 특징 추출부(300)는 스케일별 특징 추출부(310), 다중 스케일 주의부(320), 스케일 매칭부(330) 및 다중 스케일 결합부(340)를 포함할 수 있다.
스케일별 특징 추출부(310)는 혼합 표현자 생성부(200)에서 획득된 혼합 표현자를 인가받고, 인가된 혼합 표현자에 대해 단계적 반복 신경망 연산을 수행하여 서로 다른 스케일에 따른 다수의 스케일 특징을 추출한다.
스케일별 특징 추출부(310)는 각각 학습된 신경망 연산을 수행하는 다수의 스케일 특징 추출부(311 ~ 31n)을 포함할 수 있다. 다수의 스케일 특징 추출부(311 ~ 31n) 각각은 일 예로 컨볼루션 레이어(convolution layer)로 구현될 수 있으며, 다단 구조로 구성되어 제1 스케일 특징 추출부(311)는 혼합 표현자를 인가받아 제1 스케일 특징을 추출하고, 이후 제2 내지 제n 스케일 특징 추출부(312 ~ 31n)는 각각 이전단에서 출력된 스케일 특징을 인가받아 제2 내지 제n 스케일 특징을 추출한다.
다중 스케일 주의부(320)는 스케일별 특징 추출부(310)에서 추출된 다수의 스케일 특징 각각에 대한 각 스케일에 따른 주의 영역을 강조하여 다수의 스케일 인지 특징을 획득한다.
다중 스케일 주의부(320)는 다수의 스케일 특징 추출부(311 ~ 31n) 각각에 대응하도록 구성된 다수의 스케일 주의부(321 ~ 32n)을 포함하고, 다수의 스케일 주의부(321 ~ 32n) 각각은 대응하는 스케일 특징 추출부(311 ~ 31n)에서 출력되는 스케일 특징을 인가받고, 인가된 스케일 특징의 주의 영역이 강조된 스케일 인지 특징을 출력한다.
도 5에서는 예로서 다수의 스케일 특징 추출부(311 ~ 31n) 중 제1 스케일 특징 추출부(311)의 상세 구성을 도시하였으나, 나머지 스케일 특징 추출부(312 ~ 31n) 또한 동일하게 구성될 수 있다.
도 5를 참조하면, 스케일 특징 추출부(311)는 특징 추출부(610), 주의맵 획득부(620), 강조부(630) 및 스케일 인지 특징 획득부(640)를 포함할 수 있다.
특징 추출부(610)는 대응하는 스케일 특징 추출부(311)로부터 스케일 특징을 인가받고, 인가된 스케일 특징에 대해 미리 학습된 신경망 연산을 수행하여 스케일 특징의 특징을 추출하여 스케일 특징맵을 획득한다. 한편, 주의맵 획득부(620)는 3D 스케일 특징(3D scale feature)을 인가받아, 미리 학습된 신경망 연산을 수행하여 주의맵을 획득한다.
여기서 3D 스케일 특징은 포인트 클라우드 데이터의 다수의 포인트 중 각 복셀에 대응하는 포인트 개수, 포인트들의 평균 위치(x,y,z) 및 라이다 센서로부터 각 복셀까지의 거리 정보로부터 3D 스케일 특징이 획득될 수 있다.
3D 스케일 특징을 획득하기 위해서는 우선 포인트 개수, 포인트들의 평균 위치(x,y,z) 및 복셀까지의 거리가 결합되어, 미리 학습된 2개의 완전 연결 레이어(Fully connected layer)로 이루어진 다중 퍼셉트론(Multi Layer Perceptron: MLP)에 인가되어 3D 특징을 획득한다. 여기서 획득된 3D 특징은 각 복셀별로 획득되어 혼합 표현자와 마찬가지로 2차원 평면 상에 대응하는 위치에 뿌려져 유사 이미지 형태의 2D 특징으로 획득되며, 이후 획득된 2D 특징을 다수의 다중 스케일 특징 각각과 동일한 크기를 갖도록 다운샘플링함으로써 스케일 특징에 대응하는 3D 스케일 특징이 획득될 수 있다.
주의맵 획득부(620)는 2개의 풀링부(621, 622)와 풀링 결합부(623), 주의맵 추출부(624) 및 채널 확장부(625)를 포함한다. 2개의 풀링부(621, 622) 중 제1 풀링부(621)는 3D 스케일 특징을 인가받아 최대값 풀링을 수행하고, 제2 풀링부(622)는 평균값 풀링을 수행한다.
풀링 결합부(623)는 제1 및 제2 풀링부(621, 622) 각각에서 최대값 풀링 및 평균값 풀링된 2개의 3D 스케일 특징을 결합하여 3D 스케일 풀링 특징을 출력한다. 주의맵 추출부(624)는 3D 스케일 풀링 특징을 인가받아 특징을 추출하여 주의맵을 획득하고, 채널 확장부(625)는 획득된 주의맵의 크기를 스케일 특징맵에 대응하는 크기로 확장하여 확장 주의맵을 획득한다.
강조부(630)는 스케일 특징맵과 확장 주의맵을 원소곱하여 스케일 강조맵을 획득한다. 그리고 스케일 인지 특징 획득부(640)는 대응하는 스케일 특징 추출부(311)에서 인가된 스케일 특징에 스케일 강조맵을 가산하여 스케일 인지 특징을 획득한다.
결과적으로 다수의 스케일 특징 추출부(311 ~ 31n) 각각은 대응하는 스케일 특징을 인가받아, 스케일에 따른 주의 영역을 강조하여 스케일 인지 특징을 획득한다.
스케일 매칭부(330)는 다수의 스케일 주의부(321 ~ 32n) 각각에서 획득된 다수의 스케일 인지 특징의 크기를 일치시킨다. 스케일 매칭부(330)는 다수의 업샘플링부(332 ~ 33n)을 포함할 수 있다. 스케일 매칭부(330)는 스케일 주의부(321 ~ 32n)와 동일하게 n개의 업샘플링부를 포함할 수도 있으나, 제1 스케일 주의부(321)에서 획득된 가장 큰 제1 스케일 인지 특징의 크기는 업샘플링하지 않아도 무방하므로, n-1개의 업샘플링부(332 ~ 33n)를 포함할 수도 있다.
다수의 업샘플링부(332 ~ 33n) 각각은 대응하는 스케일 주의부(322 ~ 32n)에서 획득된 스케일 인지 특징을 인가받아 제1 스케일 주의부(321)에서 획득된 제1 스케일 인지 특징과 동일한 크기가 되도록 업샘플링하여 출력한다.
다중 스케일 결합부(340)는 제1 스케일 인지 특징과 다수의 업샘플링부(332 ~ 33n) 각각에서 제1 스케일 인지 특징과 동일한 크기로 업샘플링된 제2 내지 제n 스케일 인지 특징을 결합하여 다중 스케일 인지 특징을 획득한다.
객체 검출부(400)는 각 스케일에 따른 주의 영역이 강조된 다중 스케일 인지 특징을 인가받고, 미리 학습된 방식에 따라 신경망 연산을 수행하여, 3D 객체 탐지 장치에 입력된 포인트 클라우드 데이터에서 객체가 위치하는 객체 영역과 객체 영역에 포함된 객체를 색별하여 출력한다. 즉 객체를 검출하여 출력한다. 객체 검출부(400)는 미리 학습된 인공 신경망으로 구현될 수 있으며, 일 예로 다수의 FC(Fully Connected Layer)로 구현될 수 있다.
상기한 3D 객체 탐지 장치의 다수의 인공 신경망은 학습 포인트 클라우드 데이터를 기반으로 미리 학습될 수 있으며, 검출된 객체 위치와 식별된 객체 정보와 학습 포인트 클라우드 데이터에 미리 레이블된 진리값(ground truth) 사이의 오차를 기반으로 손실을 계산하고 역전파함으로써, 미리 학습될 수 있다.
결과적으로 본 실시예에 따른 3D 객체 탐지 장치는 포인트 클라우드 데이터를 복셀화하고 복셀 특징을 추출하여 복셀을 기반으로 3D 객체를 검출하되, 추출된 복셀 특징과 유사한 다수의 포인트 특징을 결합하여 혼합 표현자를 생성하여 3D 객체를 검출하므로 매우 정확하게 3D 객체를 검출할 수 있다. 특히 다수의 포인트 특징을 인가되는 포인트 클라우드 데이터로부터 추출하지 않고, 미리 학습에 의해 획득되어 메모리 등에 저장된 포인트 특징을 이용함으로써 매번 포인트 특징을 별도로 추출하지 않아도 되므로 연산량을 크게 줄여 빠르게 3D 객체를 검출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 3D 객체 탐지 방법을 나타내고, 도 7은 도 6의 포인트 특징 저장 단계의 상세 구성을 나타낸다.
도 6을 참조하면, 본 실시예에 따른 3D 객체 탐지 방법은 우선 다양한 환경에서 획득된 다수의 학습 포인트 클라우드 데이터를 기반으로 미리 획득되어 메모리 등에 저장되는 포인트 특징을 저장하는 단계를 수행한다(S10).
도 7을 참조하면, 포인트 특징을 저장하는 단계(S10)에서는 우선 학습 포인트 클라우드 데이터를 입력받는다(S11). 그리고 학습 포인트 클라우드 데이터의 다수의 포인트를 복셀화하여 복셀 데이터를 획득한다(S12). 복셀 데이터가 획득되면 복셀 데이터로부터 다수의 복셀 특징(fvox(n))을 추출하고, 포인트 클라우드 데이터로부터 다수의 포인트 특징()을 추출한다(S13).
다수의 복셀 특징(fvox(n))과 다수의 포인트 특징()이 추출되면, 이전 획득되어 저장된 다수의 저장 포인트 특징 중 다수의 복셀 특징(fvox(n)) 각각에 대해 수학식 1에 계산된 유사도가 가장 높은 K개의 저장 포인트 특징()을 선택하고, 학습 포인트 클라우드 데이터에서 추출된 다수의 포인트 특징() 중 다수의 복셀 특징(fvox(n)) 각각에 가장 유사도가 높은 K개의 포인트 특징()을 선택한다(S14).
그리고 선택된 K개의 저장 포인트 특징()과 선택된 K개의 포인트 특징을 각각 수학식 2에 따라 압축하여 압축 포인트 특징(gmem(n))과 학습 압축 포인트 특징(gpts(n))을 획득한다(S15).
압축 포인트 특징(gmem(n))과 학습 압축 포인트 특징(gpts(n))이 획득되면, 수학식 3과 같이 학습 압축 포인트 특징(gpts(n))과 압축 포인트 특징(gmem(n)) 사이의 누적 오차를 계산하여 저장 손실(Lmem)을 계산한다(S16).
그리고 계산된 저장 손실(Lmem)에 따라 이전 저장된 다수의 저장 포인트 특징을 업데이트한다(S17). 저장 포인트 특징이 업데이트되면, 업데이트 횟수가 기지정된 기준 횟수를 이상인지 판별한다(S18). 만일 업데이트 횟수가 기준 횟수 미만이면, 다시 학습 포인트 데이터를 인가받아 저장 포인트 특징을 업데이트한다(S11).
그러나 기준 횟수 이상이면, 저장 포인트 특징 업데이트를 종료하고, 혼합 표현자 획득 단계(S20)를 수행한다.
3D 객체 탐지 단계(S20)에서는 객체를 검출하고자 하는 포인트 클라우드 데이터를 입력받는다(S21). 여기서 포인트 클라우드 데이터는 라이다 등을 이용하여 획득될 수 있다. 포인트 클라우드 데이터가 입력되면, 입력된 포인트 클라우드 데이터를 복셀화하여 복셀 데이터를 획득한다(S23). 그리고 복셀 데이터에 대해 미리 학습된 신경망 연산을 수행하여 다수의 복셀 특징(fvox(n))을 추출한다(S23). 복셀 특징(fvox(n))이 추출되면 포인트 특징 저장 단계(S10)에서 최종적으로 업데이트되어 저장된 다수의 저장 포인트 특징 중 수학식 1에 따른 유사도가 가장 높은 K개의 저장 포인트 특징()을 선택한다(S24).
이후 선택된 K개의 저장 포인트 특징()을 수학식 2에 따라 압축하여 압축 포인트 특징(gmem(n))을 획득한다(S25). 그리고 획득된 압축 포인트 특징(gmem(n))을 대응하는 복셀 특징(fvox(n))과 결합하여 혼합 특징을 획득한다(S26). 다수의 혼합 특징 각각을 2차원 평면에서 대응하는 복셀 특징의 위치에 배치하여, 2차원 위치 좌표와 다수의 혼합 특징이 함께 포함된 혼합 표현자를 획득한다(S27).
혼합 표현자가 획득되면, 스케일별 주의 특징 획득 단계(S30)를 수행한다.
스케일별 주의 특징 획득 단계(S30)에서는 먼저 획득된 혼합 표현자에 대해 다단 신경망 연산을 수행하여, 서로 다른 스케일에서의 다수의 스케일 특징을 추출한다(S31). 그리고 다수의 스케일 특징 각각에서 각 스케일에 따른 주의 영역을 강조하여 다수의 스케일 인지 특징을 획득한다(S32). 다수의 스케일 인지 특징이 획득되면, 획득된 다수의 스케일 인지 특징이 동일한 크기가 되도록 업샘플링을 수행한다(S33). 이후 동일한 크기로 업샘플링된 다수의 스케일 인지 특징을 결합하여 다중 스케일 인지 특징을 획득한다(S34).
다중 스케일 인지 특징이 획득되면, 획득된 다중 스케일 인지 특징으로부터 객체를 검출한다(S40). 즉 포인트 클라우드 데이터에서 객체가 포함된 객체 영역의 위치 정보를 검출하고 검출된 객체 영역의 객체를 식별한다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 복셀화부 200: 혼합 표현자 생성부
210: 복셀 특징 추출부 220: 포인트 특징 저장부
230: 유사 포인트 특징 선택부 240: 포인트 특징 결합부
250: 혼합 표현자 획득부 300: 다중 스케일 특징 추출부
310: 스케일별 특징 추출부 320: 다중 스케일 주의부
330: 스케일 매칭부 340: 다중 스케일 결합부
400: 객체 검출부 500: 포인트 특징 업데이트부
520: 포인트 특징 추출부 530: 유사도 분석부
540: 복셀 특징 결합부 540: 업데이트부

Claims (20)

  1. 입력된 포인트 클라우드 데이터의 다수의 포인트를 복셀화하여 복셀 데이터를 획득하는 복셀화부;
    상기 복셀 데이터의 다수의 복셀 각각에 대해 미리 학습된 신경망 연산을 수행하여 다수의 복셀 특징을 획득하고, 학습 포인트 데이터 클라우드를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 중 획득된 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 대응하는 복셀 특징과 결합하고 2차원 위치 정보에 매칭하여 혼합 표현자를 생성하는 혼합 표현자 생성부;
    상기 혼합 표현자에 대해 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에서의 특징을 추출하고, 추출된 특징에서 스케일에 따른 주의 영역을 강조하고, 동일 스케일로 변환 및 결합하여 다중 스케일 특징을 획득하는 다중 스케일 특징 추출부; 및
    상기 다중 스케일 특징에 대해 미리 학습된 신경망 연산을 수행하여 포인트 클라우드 데이터에 포함된 객체를 검출하는 객체 검출부를 포함하되,
    상기 혼합 표현자 생성부는
    미리 학습된 신경망 연산을 수행하여 상기 복셀 데이터의 다수의 복셀 각각에 대한 복셀 특징을 추출하는 복셀 특징 추출부;
    다수의 학습 포인트 클라우드 데이터를 기반으로 미리 획득된 다수의 저장 포인트 특징이 저장된 포인트 특징 저장부;
    상기 다수의 복셀 특징과 상기 다수의 저장 포인트 특징 사이의 유사도를 기지정된 방식으로 계산하여, 상기 다수의 복셀 특징 각각에 대해 가장 높은 유사도를 갖는 기지정된 개수의 저장 포인트 특징을 선택하는 유사 포인트 특징 선택부;
    상기 다수의 복셀 특징 각각에 대응하여 선택된 저장 포인트 특징을 결합하여 혼합 특징을 획득하는 포인트 특징 결합부; 및
    상기 다수의 혼합 특징을 2차원 좌표계에서 대응하는 복셀의 위치 정보와 결합하여 혼합 표현자를 획득하는 혼합 표현자 획득부를 포함하는 3D 객체 탐지 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 포인트 특징 결합부는
    상기 다수의 복셀 특징 각각에 대응하여 선택된 기지정된 개수의 저장 포인트 특징을 복셀과의 유사도에 따라 가중합하여 압축 포인트 특징을 획득하고, 획득된 압축 포인트 특징을 대응하는 복셀 특징과 결합하여 상기 다수의 혼합 특징을 획득하는 3D 객체 탐지 장치.
  4. 제3항에 있어서, 상기 3D 객체 탐지 장치는
    상기 3D 객체 탐지 장치를 운용하기 이전 상기 다수의 저장 포인트 특징 저장 시에 구비되어, 상기 학습 포인트 데이터 클라우드의 다수의 포인트 각각의 특징을 추출하여 획득된 다수의 포인트 특징 중 상기 혼합 표현자 생성부가 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 선택하고 압축하여 획득된 학습 압축 포인트 특징과, 상기 혼합 표현자 생성부가 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각과 가장 유사한 것으로 선택한 저장 포인트 특징을 압축하여 획득한 압축 포인트 특징 사이의 오차를 저장 손실로 계산하여 상기 저장 포인트 특징을 업데이트하는 포인트 특징 업데이트부를 더 포함하는 3D 객체 탐지 장치.
  5. 제4항에 있어서, 상기 포인트 특징 업데이트부는
    상기 학습 포인트 데이터 클라우드를 인가받아 미리 학습된 신경망 연산을 수행하여 다수의 포인트 각각에 대한 포인트 특징을 추출하는 포인트 특징 추출부;
    상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징과 다수의 포인트 특징 각각 사이의 유사도를 계산하고, 계산된 유사도가 가장 높은 기지정된 개수의 포인트 특징을 선택하는 유사도 분석부;
    상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각에 대응하여 선택된 기지정된 개수의 포인트 특징을 대응하는 복셀과의 유사도에 따라 가중합하여 학습 압축 포인트 특징을 획득하고, 획득된 학습 압축 포인트 특징을 대응하는 복셀 특징과 결합하여 상기 다수의 학습 혼합 특징을 획득하는 복셀 특징 결합부; 및
    상기 학습 압축 포인트 특징과 상기 압축 포인트 특징 사이의 오차를 계산하여 저장 손실을 획득하고, 획득된 상기 저장 손실에 따라 상기 포인트 특징 저장부에 저장된 저장 포인트 특징을 업데이트하는 업데이트부를 포함하는 3D 객체 탐지 장치.
  6. 제1항에 있어서, 상기 다중 스케일 특징 추출부는
    상기 혼합 표현자를 인가받아 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에 따른 다수의 스케일 특징을 획득하는 스케일별 특징 추출부;
    상기 다수의 스케일 특징 각각에 대해 신경망 연산을 수행하여 상기 다수의 스케일 특징 각각에 주의 영역이 강조된 다수의 스케일 인지 특징을 획득하는 다중 스케일 주의부;
    상기 다수의 스케일 인지 특징의 크기가 동일해지도록 업샘플링하는 스케일 매칭부; 및
    업샘플링된 다수의 스케일 인지 특징을 결합하여 상기 다중 스케일 인지 특징을 획득하는 다중 스케일 결합부를 포함하는 3D 객체 탐지 장치.
  7. 제6항에 있어서, 상기 스케일별 특징 추출부는
    다단 연결되어 상기 혼합 표현자 또는 이전단에서 출력되는 스케일 특징을 인가받아 서로 다른 대응하는 스케일에 따른 스케일 특징을 각각 추출하는 다수의 스케일 특징 추출부를 포함하는 3D 객체 탐지 장치.
  8. 제7항에 있어서, 상기 다중 스케일 주의부는
    상기 복셀화부의 복셀화 과정에서 포인트 클라우드 데이터에서 각 복셀에 대응하는 포인트 개수, 복셀에 대응하는 포인트들의 평균 위치 및 상기 포인트 클라우드 데이터를 획득하는 센서로부터 각 복셀까지의 거리 정보에 대해 미리 학습된 신경망 연산과 다운샘플링을 수행하여 획득되는 3D 스케일 특징을 기반으로 신경망 연산하여 상기 다수의 스케일 특징 추출부 중 대응하는 스케일 특징 추출부에서 출력되는 스케일 특징의 주의 영역이 강조된 스케일 인지 특징을 각각 출력하는 다수의 스케일 주의부를 포함하는 3D 객체 탐지 장치.
  9. 제8항에 있어서, 상기 다수의 스케일 주의부 각각은
    대응하는 스케일 특징을 인가받아 미리 학습된 신경망 연산을 수행하여 스케일 특징맵을 획득하는 특징 추출부;
    상기 3D 스케일 특징을 인가받아 각각 최대값 풀링 및 평균값 풀링하는 2개의 풀링부;
    풀링된 2개의 3D 스케일 특징을 결합하여 3D 스케일 풀링 특징을 출력하는 풀링 결합부;
    상기 3D 스케일 풀링 특징을 인가받아 신경망 연산을 수행하여 스케일에 따른 주의맵을 획득하는 주의맵 추출부;
    상기 주의맵의 크기를 스케일 특징맵에 대응하는 크기로 확장하여 확장 주의맵을 획득하는 채널 확장부;
    상기 스케일 특징맵과 상기 확장 주의맵을 원소곱하여 스케일 강조맵을 획득하는 강조부; 및
    대응하는 상기 스케일 특징에 상기 스케일 강조맵을 가산하여 스케일 인지 특징을 획득하는 스케일 인지 특징 획득부를 포함하는 3D 객체 탐지 장치.
  10. 제7항에 있어서, 상기 스케일 매칭부는
    상기 다수의 스케일 주의부 중 대응하는 스케일 주의부에서 출력되는 스케일 인지 특징을 인가받아 상기 다수의 스케일 인지 특징 중 가장 큰 크기의 스케일 인지 특징과 동일한 크기로 업샘플링하는 다수의 업샘플링부를 포함하는 3D 객체 탐지 장치.
  11. 포인트 클라우드 데이터를 인가받아 객체를 탐지하는 3D 객체 탐지 장치의 3D 객체 탐지 방법에 있어서,
    상기 포인트 클라우드 데이터의 다수의 포인트를 복셀화하여 복셀 데이터를 획득하는 단계;
    상기 복셀 데이터의 다수의 복셀 각각에 대해 미리 학습된 신경망 연산을 수행하여 다수의 복셀 특징을 획득하고, 학습 포인트 데이터 클라우드를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 중 획득된 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 대응하는 복셀 특징과 결합하고 2차원 위치 정보에 매칭하여 혼합 표현자를 생성하는 단계;
    상기 혼합 표현자에 대해 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에서의 특징을 추출하고, 추출된 특징에서 스케일에 따른 주의 영역을 강조하고, 동일 스케일로 변환 및 결합하여 다중 스케일 특징을 획득하는 단계; 및
    상기 다중 스케일 특징에 대해 미리 학습된 신경망 연산을 수행하여 포인트 클라우드 데이터에 포함된 객체를 검출하는 단계를 포함하되,
    상기 혼합 표현자를 생성하는 단계는
    미리 학습된 신경망 연산을 수행하여 상기 복셀 데이터의 다수의 복셀 각각에 대한 복셀 특징을 추출하는 단계;
    상기 다수의 복셀 특징과 다수의 학습 포인트 클라우드 데이터를 기반으로 미리 획득되어 저장된 다수의 저장 포인트 특징 사이의 유사도를 기지정된 방식으로 계산하여, 상기 다수의 복셀 특징 각각에 대해 가장 높은 유사도를 갖는 기지정된 개수의 저장 포인트 특징을 선택하는 단계;
    상기 다수의 복셀 특징 각각에 대응하여 선택된 저장 포인트 특징을 결합하여 혼합 특징을 획득하는 단계; 및
    상기 다수의 혼합 특징을 2차원 좌표계에서 대응하는 복셀의 위치 정보와 결합하여 혼합 표현자를 획득하는 단계를 포함하는 3D 객체 탐지 방법.
  12. 삭제
  13. 제11항에 있어서, 상기 혼합 특징을 획득하는 단계는
    상기 다수의 복셀 특징 각각에 대응하여 선택된 기지정된 개수의 저장 포인트 특징을 복셀과의 유사도에 따라 가중합하여 압축 포인트 특징을 획득하는 단계; 및
    획득된 압축 포인트 특징을 대응하는 복셀 특징과 결합하여 상기 다수의 혼합 특징을 획득하는 단계를 포함하는 3D 객체 탐지 방법.
  14. 제13항에 있어서, 상기 3D 객체 탐지 방법은
    상기 3D 객체 탐지 장치를 운용하기 이전, 상기 학습 포인트 데이터 클라우드의 다수의 포인트 각각의 특징을 추출하여 획득된 다수의 포인트 특징 중 상기 혼합 표현자 생성부가 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각과 가장 유사한 기지정된 개수의 포인트 특징을 선택하고 압축하여 획득된 학습 압축 포인트 특징과, 상기 혼합 표현자 생성부가 상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각과 가장 유사한 것으로 선택한 저장 포인트 특징을 압축하여 획득한 압축 포인트 특징 사이의 오차를 저장 손실로 계산하여 상기 저장 포인트 특징을 업데이트하는 단계를 더 포함하는 3D 객체 탐지 방법.
  15. 제14항에 있어서, 상기 저장 포인트 특징을 업데이트하는 단계는
    상기 학습 포인트 데이터 클라우드를 인가받아 미리 학습된 신경망 연산을 수행하여 다수의 포인트 각각에 대한 포인트 특징을 추출하는 단계;
    상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징과 다수의 포인트 특징 각각 사이의 유사도를 계산하고, 계산된 유사도가 가장 높은 기지정된 개수의 포인트 특징을 선택하는 단계;
    상기 학습 포인트 데이터 클라우드로부터 획득한 다수의 복셀 특징 각각에 대응하여 선택된 기지정된 개수의 포인트 특징을 대응하는 복셀과의 유사도에 따라 가중합하여 학습 압축 포인트 특징을 획득하고, 획득된 학습 압축 포인트 특징을 대응하는 복셀 특징과 결합하여 상기 다수의 학습 혼합 특징을 획득하는 단계; 및
    상기 학습 압축 포인트 특징과 상기 압축 포인트 특징 사이의 오차를 계산하여 저장 손실을 획득하고, 획득된 상기 저장 손실에 따라 이전 획득된 저장 포인트 특징을 업데이트하는 단계를 포함하는 3D 객체 탐지 방법.
  16. 제11항에 있어서, 상기 다중 스케일 특징을 획득하는 단계는
    상기 혼합 표현자를 인가받아 미리 학습된 신경망 연산을 수행하여 서로 다른 각 스케일에 따른 다수의 스케일 특징을 획득하는 단계;
    상기 다수의 스케일 특징 각각에 대해 신경망 연산을 수행하여 상기 다수의 스케일 특징 각각에 주의 영역이 강조된 다수의 스케일 인지 특징을 획득하는 단계;
    상기 다수의 스케일 인지 특징의 크기가 동일해지도록 업샘플링하는 단계; 및
    업샘플링된 다수의 스케일 인지 특징을 결합하여 상기 다중 스케일 인지 특징을 획득하는 단계를 포함하는 3D 객체 탐지 방법.
  17. 제16항에 있어서, 상기 다수의 스케일 특징을 획득하는 단계는
    상기 혼합 표현자 또는 이전단에서 출력되는 스케일 특징을 인가받아 서로 다른 대응하는 스케일에 따른 다수의 스케일 특징을 각각 추출하는 3D 객체 탐지 방법.
  18. 제17항에 있어서, 상기 다수의 스케일 인지 특징을 획득하는 단계는
    상기 복셀 데이터를 획득하는 단계에서 각 복셀에 대응하는 포인트 개수, 복셀에 대응하는 포인트들의 평균 위치 및 상기 포인트 클라우드 데이터를 획득하는 센서로부터 각 복셀까지의 거리 정보에 대해 미리 학습된 신경망 연산과 다운샘플링을 수행하여 획득되는 3D 스케일 특징을 기반으로 신경망 연산하여 상기 다수의 스케일 특징 추출부 중 대응하는 스케일 특징 추출부에서 출력되는 스케일 특징의 주의 영역이 강조된 다수의 스케일 인지 특징을 각각 출력하는 3D 객체 탐지 방법.
  19. 제18항에 있어서, 상기 다수의 스케일 인지 특징을 획득하는 단계는
    대응하는 스케일 특징을 인가받아 미리 학습된 신경망 연산을 수행하여 스케일 특징맵을 획득하는 단계;
    상기 3D 스케일 특징을 인가받아 각각 최대값 풀링 및 평균값 풀링하는 단계;
    풀링된 2개의 3D 스케일 특징을 결합하여 3D 스케일 풀링 특징을 출력하는 단계;
    상기 3D 스케일 풀링 특징을 인가받아 신경망 연산을 수행하여 스케일에 따른 주의맵을 획득하는 단계;
    상기 주의맵의 크기를 스케일 특징맵에 대응하는 크기로 확장하여 확장 주의맵을 획득하는 단계;
    상기 스케일 특징맵과 상기 확장 주의맵을 원소곱하여 스케일 강조맵을 획득하는 단계; 및
    대응하는 상기 스케일 특징에 상기 스케일 강조맵을 가산하여 스케일 인지 특징을 획득하는 단계를 포함하는 3D 객체 탐지 방법.
  20. 제17항에 있어서, 상기 업샘플링하는 단계는
    상기 다수의 스케일 인지 특징을 인가받아 상기 다수의 스케일 인지 특징 중 가장 큰 크기의 스케일 인지 특징과 동일한 크기로 업샘플링하는 3D 객체 탐지 방법.
KR1020210129810A 2021-09-30 2021-09-30 3d 객체 탐지 장치 및 방법 KR102660084B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210129810A KR102660084B1 (ko) 2021-09-30 2021-09-30 3d 객체 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210129810A KR102660084B1 (ko) 2021-09-30 2021-09-30 3d 객체 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230046623A KR20230046623A (ko) 2023-04-06
KR102660084B1 true KR102660084B1 (ko) 2024-04-22

Family

ID=85918255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210129810A KR102660084B1 (ko) 2021-09-30 2021-09-30 3d 객체 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102660084B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11543534B2 (en) 2019-11-22 2023-01-03 Samsung Electronics Co., Ltd. System and method for three-dimensional object detection
CN111626208B (zh) * 2020-05-27 2023-06-13 阿波罗智联(北京)科技有限公司 用于检测小目标的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Z. Cui and Z. Zhang, "PVF-NET: Point & Voxel Fusion 3D Object Detection Framework for Point Cloud," 17th Conference on Computer and Robot Vision (CRV), 2020, pp. 125-133.*

Also Published As

Publication number Publication date
KR20230046623A (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
KR101808840B1 (ko) 학습 기반 깊이 정보 추출 방법 및 장치
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
Poirson et al. Fast single shot detection and pose estimation
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10430691B1 (en) Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
KR20200091330A (ko) 이미지 컨캐터네이션과 타겟 객체 통합 네트워크를 이용하여, 다중 카메라 혹은 서라운드 뷰 모니터링에 이용될 cnn 기반 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
CN112149694B (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
KR102349854B1 (ko) 표적 추적 시스템 및 방법
KR102655999B1 (ko) 스테레오 카메라를 이용한 인스턴스 객체별 거리값 검출 장치 및 방법
KR20200091324A (ko) 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
CN116740668B (zh) 三维目标检测方法、装置、计算机设备和存储介质
CN116152334A (zh) 图像处理方法及相关设备
WO2021092600A2 (en) Pose-over-parts network for multi-person pose estimation
KR102068489B1 (ko) 3차원 객체 생성 장치
CN117935088A (zh) 基于全尺度特征感知和特征重构的无人机图像目标检测方法、系统及存储介质
KR102358854B1 (ko) 얼굴 이미지 색상 합성 장치 및 방법
JP2020017136A (ja) 物体検出認識装置、方法、及びプログラム
KR102660084B1 (ko) 3d 객체 탐지 장치 및 방법
CN116206196B (zh) 一种海洋低光环境多目标检测方法及其检测系统
CN114638996A (zh) 基于对抗学习的模型训练方法、装置、设备和存储介质
CN116704187A (zh) 一种语义对齐的实时语义分割方法、系统及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant