KR102270827B1 - 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치 - Google Patents

360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치 Download PDF

Info

Publication number
KR102270827B1
KR102270827B1 KR1020200021417A KR20200021417A KR102270827B1 KR 102270827 B1 KR102270827 B1 KR 102270827B1 KR 1020200021417 A KR1020200021417 A KR 1020200021417A KR 20200021417 A KR20200021417 A KR 20200021417A KR 102270827 B1 KR102270827 B1 KR 102270827B1
Authority
KR
South Korea
Prior art keywords
feature map
coordinate system
sensor
dimensional
fusion
Prior art date
Application number
KR1020200021417A
Other languages
English (en)
Inventor
최준원
유진혁
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200021417A priority Critical patent/KR102270827B1/ko
Priority to US17/801,414 priority patent/US20230082097A1/en
Priority to PCT/KR2020/010619 priority patent/WO2021167189A1/ko
Application granted granted Critical
Publication of KR102270827B1 publication Critical patent/KR102270827B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/62—
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치가 제시된다. 본 발명에서 제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법은 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득하는 단계, 획득된 특징지도를 통합된 3차원 좌표계로 변환하는 단계 및 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 단계를 포함한다.

Description

360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치{Generating Joint Cameraand LiDAR Features Using Cross-View Spatial Feature Mapping for 3D Object Detection}
본 발명은 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치에 관한 것이다.
물체 인지란 다양한 센서(예를 들어, 카메라, 라이다, 레이더)로부터 취득된 데이터를 이용하여 검출, 영역분할 등의 물체와 관련된 영역의 정보를 얻어내는 작업을 의미한다. 특히, 카메라 센서정보를 통한 물체 검출 기술은 컴퓨터 비전 분야에서 오랫동안 연구되어 왔던 분야이다. 최근 딥뉴럴네트워크 구조의 등장으로 딥러닝 기술이 발전함에 따라 대용량의 영상데이터로부터 고차원의 특징값을 얻어내도록 학습하여 이를 통해 매우 높은 수준의 정확도로 물체 인지작업을 수행할 수 있는 기법들이 제안되었고, 이러한 기술이 자율주행, 로봇 공학, 의료, 스마트홈 보안 등의 다양한 분야에 활발히 적용되고 있다. 최근 자동차의 보행자 안전 시스템 탑재가 의무화 되는 추세로 안전을 위한 운전자 지원 시스템에 보행자의 위치와 상태를 인지하여 위험을 회피하는 기술에도 사용되고 있다. 또한 자율주행 차량의 보급률이 급속도로 올라감에 따라 레벨4의 자율주행 기술을 탑재한 차량의 수요 또한 매우 큰 속도로 증가할 것으로 전망된다.
제안하는 기술과 관련도가 높은 종래 기술은 단일 센서 정보 기반의 물체 검출 기술이 있다. 그 중 딥러닝 기술이 적용되기 이전에는 카메라 센서를 통해 얻어진 영상데이터를 기반으로 발명자가 데이터의 주요 특징들을 추출할 수 있는 기법들을 정교하고 설계하여 영상의 특징값을 얻고 이를 통계적인 분류기를 통해 물체를 인식 또는 검출하는 기술이 주로 사용되었다. 예를 들어, 영상의 선의 구조나 형태등의 특징들을 알아내고 이를 이미 알고있는 템플릿과 비교하여 물체를 인지하거나 검출하는 기술이다. 대표적인 특징 추출 기술로는 SIFT(Scale invariant feature transform)과 HOG(Historgram of oriented gradients) 표현자 등이 있다. SIFT는 영상에서 코너점 등 식별이 용이한 특징점들을 선택한 후에 각 특징점을 중심으로 한 로컬 패치에 대해 방향성을 갖는 특징 벡터를 추출하는 방법이다. 이는 주변의 밝기 변화의 방향 및 밝기 변화의 급격한 정도를 표현하는 특징을 이용한 방법이다. HOG는 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 경계 픽셀들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램 bin 값들을 일렬로 연결한 벡터를 이용한 방법이다. HOG는 경계의 방향정보를 이용하기 때문에 경계기반 템플릿 매칭 방법이다. 또한 물체의 실루엣 정보를 이용하므로 사람, 자동차 등과 같이 내부 패턴이 복잡하지 않으면서도 고유의 독특한 윤곽선 정보를 갖는 물체를 식별하는데 적합한 방법이다. 이러한 기술들은 미리 엣지나 형태에 대한 물체의 알려진 정보들만을 활용하기 때문에 영상 데이터에 다양한 조도 변화나 형태 왜곡, 노이즈, 가림 등이 발생하는 경우에 특징값이 예측된 분포에서 벗어나게 되면 인식 성능이 크게 떨어지는 단점이 있다.
이러한 특징값 기반의 물체 검출 기법의 한계를 극복하기 위해서 딥러닝 기술은 보다 일반화된 학습 모델인 딥뉴럴네트워크 구조를 사용하여 방대한 양의 데이터로부터 데이터의 표현 방법 즉 특징값을 학습하게 된다. 이러한 경우 데이터의 표현 방법을 다양한 종류의 데이터를 통해 얻기 때문에 영상 정보의 다양한 변화와 악의적인 요소에 대해 좋은 성능을 얻을 수 있다. 딥러닝 기법을 이용한 종래 물체검출 방법에는 R-CNN, Fast R-CNN, SSD(Single shot detector)와 YOLO(You only look once) 등의 기법이 제안되었다. 이러한 영상정보를 기반으로 한 딥러닝 물체 검출 기법의 등장과 더불어, 라이다 센서 데이터 정보를 이용하여 물체의 위치와 더불어 센서와의 거리까지 예측 할 수 있는 3D 검출 기법이 많이 제안되었다. 이러한 기법의 경우 라이다 센서만을 이용한 단일 센서를 이용하는 딥러닝 기반의 물체 검출 기법들이 제안되었으며, 이러한 방법에서는 대표적으로 MV3D, PIXOR, PointRCNN, STD 등이 있다. 또한 카메라 정보 등의 라이다 센서 데이터외의 다중 센서정보를 이용하여 3D 물체검출을 수행하는 기법으로는 AVOD, ContFuse, MMF 등이 제안되어 왔다.
종래의 딥러닝을 기반으로 한 종래의 물체 인지 기법은 주로 단일 센서로부터 취득된 데이터를 하나의 딥뉴럴네트워크에 통과시켜 인지 결과를 얻게 된다. 하지만 단일 센서를 이용하는 경우 해당 센서에 대한 의존성이 매우 커지므로 센서 데이터가 여러 가지 원인으로 인해 부정확한 경우(예를 들어, 강한 빛에 의한 카메라 센서 오류), 혹은 부족한 경우(예를 들어, 거리가 먼 물체에 대한 라이다 포인트의 희소성) 에는 인지 결과가 매우 부정확해진다. 이러한 단일 센서 인지 기법의 한계를 해결하기 위해서 종래의 딥러닝 물체 인지 기법에서는 다중 센서를 입력으로 받는 센서융합 기반의 물체 인지 기법들이 제안되었다. 하지만 종래의 다중 센서 융합 기반의 물체 인지 기법은 서로 다른 센서 데이터의 경우 센서데이터가 서로 다른 좌표계로 표현이 되기 때문에 효과적인 융합이 어렵다는 문제가 있다. 따라서 서로 다른 좌표계로 표현되는 데이터를 효과적으로 융합하여 보다 정확하고 강인한 물체검출, 인식이 되도록 하는 방법이 필요하다.
한편, 360도 주변의 물체 인지를 수행하기 위해서는 하나 이상의 센서에 의존해야 한다. 예를 들어 카메라를 사용하는 경우에 주변 360도의 환경을 인식하기 위해서는 모든 시야각을 포함하기 위한 다수의 카메라를 사용해야 한다. 이러한 경우에는 각각의 카메라 신호에 대해 딥뉴럴네트워크를 이용하여 주변 물체들에 대한 인지를 수행해야 한다. 하지만 이처럼 모든 카메라 영상을 독립적으로 프로세싱하는 것은 비효율적이며 이러한 경우, 다른 라이더 또는 레이더 센서와의 융합이 어려운 점이 있다. 따라서 여러 센서 신호에서 얻은 정보들을 효과적으로 융합하여 융합된 특징값을 구성하고 이로부터 통합적인 주변 환경인지 정보를 추출할 수 있는 센서융합 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 자율주행 또는 스마트 홈 환경을 위한 물체 인지 정보가 요구되는 상황에서 딥러닝 네트워크를 기반으로 카메라, 라이더, 데이더 등의 다중 센서 정보를 융합하여 검출 및 영역 분할 등의 물체 인지에 도움이 되는 정보를 생성할 수 있는 방법 및 장치를 제안하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법은 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득하는 단계, 획득된 특징지도를 통합된 3차원 좌표계로 변환하는 단계 및 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 단계를 포함한다.
획득된 특징지도를 통합된 3차원 좌표계로 변환하는 단계는 3차원 격자구조를 가정하고 각 센서 고유의 좌표계에서 표현된 특징지도를 3차원 격자구조로 투영하여 통일된 좌표계로 나타낸다.
본 발명의 일 실시예에 따르면, 격자구조의 각각의 픽셀 중심점에 좌표계 변환 행렬을 곱하여 각 센서에 해당하는 3차원 좌표계로 투영하고 투영된 점의 주변의 특징값들을 조합하여 연속적인 하나의 3차원 격자구조에 해당하는 특징지도를 생성한다.
본 발명의 일 실시예에 따르면, 투영된 점과 픽셀 중심점의 상대거리에 반비례하는 가중치를 적용하여 특징값들을 조합하는 보간투사법을 적용한다.
본 발명의 일 실시예에 따르면, 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 단계는 변환된 하나의 3차원 격자구조에 해당하는 특징지도를 병합하거나 추가한 후에 추가적인 컨벌루션 계층을 통과시킨다.
본 발명의 일 실시예에 따르면, 특징지도를 z 축 기준으로 평균을 내어 하나의 3차원 격자구조에 해당하는 특징지도에 비해 압축된 형태의 2차원 특징지도를 획득한다.
본 발명의 일 실시예에 따르면, 융합 특징지도를 이용하여 3차원 물체 검출, 조감도 방향(Bird’s eye view)에서의 물체 검출 또는 영역 분할을 수행한다.
본 발명의 일 실시예에 따르면, 자차 주변의 정밀지도 정보를 2차원 영상으로 재구성하고 딥뉴럴네트워크를 적용하여 특징지도를 획득하고, 다중 센서 신호로부터 얻은 특징지도와 융합하여 물체 검출 또는 영역 분할을 수행한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 장치는 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득하는 센서 데이터 수집부, 획득된 특징지도를 통합된 3차원 좌표계로 변환하는 좌표계 변환부 및 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 융합특징지도 생성부를 포함한다.
본 발명의 실시예들에 따르면 다중 센서 기반의 융합정보를 이용하여 물체 인지 작업을 수행하는 경우 이러한 한계를 극복하여 강인하고 정확한 물체 인지 작업을 수행할 수 있고, 이러한 정확하고 강인한 물체 인지 정보는 자율주행 등의 응용분야에 적용되어 보행자 혹은 운전자의 안전에 직결되는 작업을 수행함에 있어 중요하게 이용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 다중 센서 데이터 융합 구조를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 라이더 카메라 센서 융합 기술을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 특징지도의 좌표계 변환 시 적용하는 선형 보간투사 기법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 장치의 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 보간 투사 기법 사용에 따른 효과를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 게이팅 네트워크 사용의 효과를 설명하기 위한 예시도이다.
본 발명에서는 자율주행 또는 스마트 홈 환경을 위한 물체 인지 정보가 요구되는 상황에서 딥러닝 네트워크를 기반으로 카메라, 라이더, 데이더 등의 다중 센서 정보를 융합하여 검출 및 영역 분할 등의 물체 인지에 도움이 되는 정보를 생성할 수 있는 기법을 제안하고자 한다. 기존의 딥러닝 기반 물체 인지 기법의 경우 주로 단일 센서를 이용하는데 이 경우 센서정보가 부정확하거나 센서 자체의 한계로 인해 정확한 인지 검출을 하지 못하는 경우가 생길 수 있다는 단점이 있다. 제안하는 다중 센서 기반의 융합정보를 이용하여 물체 인지 작업을 수행하는 경우 이러한 한계를 극복하여 강인하고 정확한 물체 인지 작업을 수행할 수 있게 되는데 이러한 정확하고 강인한 물체 인지 정보는 자율주행 등의 응용분야에 적용되어 보행자 혹은 운전자의 안전에 직결되는 작업을 수행함에 있어 중요하게 이용될 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법을 설명하기 위한 흐름도이다.
제안하는 기술에서는 하나 이상의 카메라, 하나 이상의 라이더, 하나 이상의 레이더 등의 다중 센서 신호를 딥뉴럴네트워크를 이용하여 그 특징지도(feature map)를 얻고 이들을 통합된 3차원 좌표계로 변환하여 보다 정확하고 강인한 인지를 수행할 수 있는 융합특징지도를 생성해 내기 위한 구조를 포함한다. 본 발명은 서로 다른 종류의 센서 융합을 통해 3차원, 조감도 기반 물체 검출, 영역 분할을 수행하기 위한 것이다.
제안하는 기술의 핵심은 모든 센서 신호에서 추출된 특징지도를 하나의 좌표계로 변환하여 융합된 특징지도를 구성하는 것이다. 또한 센서 정보뿐만 아니라 주변 환경을 2차원 영상으로 재구성한 정밀지도 정보도 함께 융합될 수 있다.
제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법은 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득하는 단계(110), 획득된 특징지도를 통합된 3차원 좌표계로 변환하는 단계(120) 및 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 단계(130)를 포함한다.
단계(110)에서, 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득한다. 딥뉴럴네트워크를 각각의 센서 신호에 적용하여 센서 고유의 좌표계(예를 들어, 카메라 좌표계)에서 표현되는 특징지도를 얻는다. 이러한 특징지도들은 서로 다른 센서 좌표계에서 표현되기 때문에 그 융합이 어려운 문제점이 있다. 이를 해결하기 위해 제안하는 기술에서는 이러한 특징지도들을 하나의 3차원 좌표계 기준으로 변환하게 된다.
단계(120)에서, 획득된 특징지도를 통합된 3차원 좌표계로 변환한다. 이때, 3차원 격자구조를 가정하고 각 센서 좌표계의 특징지도를 격자구조로 변환하고, 격자구조의 각각의 픽셀 중심점에 좌표계 변환 행렬을 곱한다. 이후, 각 센서에 해당하는 3차원 좌표계로 투영하고 투영된 점의 주변의 특징값들을 조합하여 연속적인 하나의 3차원 격자구조에 해당하는 특징지도를 생성한다. 통합된 3차원 좌표계로 변환하기 위해 투영된 점과 픽셀 중심점의 상대거리에 반비례하는 가중치를 적용하여 특징값들을 조합하는 보간투사법을 적용한다.
단계(130)에서, 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성한다. 변환된 하나의 3차원 격자구조에 해당하는 특징지도를 병합하거나 추가한 후에 추가적인 컨벌루션 계층을 통과시킨다.
제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법은 특징지도를 z 축 기준으로 평균을 내어 조감도 방향의 2차원 특징지도를 획득함으로써, 하나의 3차원 격자구조에 해당하는 특징지도에 비해 압축된 형태의 2차원 특징지도를 획득하는 것이 가능하다.
도 2는 본 발명의 일 실시예에 따른 다중 센서 데이터 융합 구조를 나타내는 도면이다.
도 2에서 보는 바와 같이 제안하는 기법에서는 딥뉴럴네트워크들(230)을 각각의 센서 신호(210)의 센서 정보들(220)에 적용하여 센서 고유의 좌표계(예를 들어, 카메라 좌표계)에서 표현되는 특징지도를 얻는다. 이러한 특징지도들은 서로 다른 센서 좌표계에서 표현되기 때문에 그 융합이 어려운 문제점이 있다. 이를 해결하기 위해 제안하는 기술에서는 이러한 특징지도들을 하나의 3차원 좌표계 기준으로 변환(240)하게 된다. 이를 위해 도 2에서 보이는 3차원 격자구조(250)를 가정하고 각 센서 좌표계의 특징지도를 이러한 격자구조로 변환한다. 먼저 각각의 격자 원소의 중심점을 좌표계 변환 행렬을 곱하여 각 센서 좌표계로 투영하고 투영된 점의 주변의 특징값들을 조합(260)하여 연속적인 특징지도(270)를 생성한다. 즉, 투영된 점의 위치가 정확히 센서 좌표계의 특징지도의 픽셀의 중심과 일치하지 않기 때문에 이로 인해 생기는 분연속적인 특징지도 생성을 막기 위해서 투영된 점과 픽셀 중심의 상대거리에 반비례하여 가중치를 적용하여 특징값들을 결합하는 보간투사법을 적용하게 된다. 이처럼 각 센서에 대한 특징지도가 제안하는 보간투사법을 통해 하나의 3차원 격자구조에 해당하는 특징지도로 변환이 되면 하나의 3차원 좌표계로 표현된 특징지도들을 융합하게 된다. 이를 위해서 변환된 특징지도들을 그대로 병합(concatenate) 하거나 더한 후에 추가적인 컨벌루션 계층을 통과시키게 된다. 이처럼 융합된 특징지도를 활용하여 3차원, 조감도 기준의 물체검출 또는 영역분할 등의 인지작업을 수행한다.
도 3은 본 발명의 일 실시예에 따른 라이더 카메라 센서 융합 기술을 설명하기 위한 도면이다.
도 3에서는 일례로 카메라 정보(310)와 라이다 정보(320)를 융합하여 3D 물체 검출을 수행하는 구조를 나타내었다. 먼저 카메라 센서로부터 취득한 영상 정보(311)는 카메라 컨벌류션널뉴럴네트워크(CNN) 구조(312)를 이용하여 카메라 좌표계 기준의 특징지도(313)를 얻는다. 라이더센서 신호의 경우에는 데이터가 보통 포인트의 집합인 라이다 센서 포인트 클라우드(321)로 표현되는데 포인트들을 3차원 격자구조를 이용하여 나누고 각 격자구조 원소의 점들을 따로 인코딩하여 라이다 특징지도(342)를 얻게 된다. 이처럼 얻은 카메라 특징지도(313)와 라이더 센서 기반의 특징지도(342)는 서로 다른 좌표계에서 표현이 되어 있기 때문에 융합이 어렵다. 이를 해결하기 위해 카메라에 해당하는 특징지도를 3차원 격자구조 기준으로 변환하여 융합한다(340).
이를 위해 앞서 설명한 보간 투사 기법(330)을 통해 라이더 도메인으로 변환된 카메라 특징지도(344)를 게이팅 네트워크(341)를 이용해 생성된 게이팅 지도(343)와 곱하여 융합을 위한 최종 카메라 도메인 특징맵을 얻어내다. 이 때 게이팅 네트워크(341)는 라이다 특징맵을 입력으로 하는 CNN 네트워크로 구성되어있으며, 변환된 카메라 특징맵과 같은 크기의 게이팅 지도(343)를 출력으로 생성해낸다. 이러한 게이팅 과정을 통하면 카메라 특징맵이 도 7에서 볼 수 있듯 3차원 물체 검출에 도움을 줄 수 있는 형태로 얻어지게 된다.
이처럼 카메라 특징지도를 3차원 격자 구조 기준으로 변환을 하면 카메라, 라이더의 특징지도가 통합된 좌표계로 표현이 되어 단순히 병합하거나 더하는 작업으로 정보의 효과적인 융합이 가능하게 된다. 한편, 자율주행과 같은 응용분야에서는 주변의 물체들이 대부분 같은 높이에 존재하기 때문에 물체의 z 축 위치가 크게 변하지 않는다. 따라서 위에서 언급한 특징지도를 z 축 기준으로 평균을 내어 조감도(bird’s eye view) 방향의 2차원 특징지도를 얻어낼 수도 있다. 이러한 경우 3차원 격자 구조에 할당된 특징지도에 비해 압축된 형태의 2차원 특징지도를 얻을 수 있게 된다. 마지막으로 이러한 융합된 특징지도에 3차원 물체검출, 영역분할 등을 위한 추가적인 네트워크를 적용하여 인지기능를 수행한다.
도 4는 본 발명의 일 실시예에 따른 특징지도의 좌표계 변환 시 적용하는 선형 보간투사 기법을 설명하기 위한 도면이다.
도 4에서는 제안하는 보간투사 기법을 이용한 좌표계 변환을 보여주고 있다. 라이다 도메인 복셀 특징 지도(410)인 3차원 격자 구조의 각 원소의 중심점(411)을 좌표계변환 행렬을 곱하여 카메라 특징 지도(420)의 카메라 좌표계(421)로 투영(412)한 후 그 투영된 점 주위에 있는 특징값을 결합하여 3차원 좌표계의 격자구조로 가져오게 된다(430). 좌표계로 변환할 때 발생되는 불연속성을 방지하기 위하여 도 4와 같이 카메라 격자구조를 특징지도의 값으로 채울 때 해당하는 카메라 특징맵의 하나의 값을 가져오는 대신 변환좌표와 주변의 특징값과의 거리를 계산하여 거리가 멀수록 적은 비율, 거리가 가까울수록 큰 비율로 값을 섞어서 가져오게 된다.
도 5는 본 발명의 일 실시예에 따른 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 장치의 구성을 나타내는 도면이다.
제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 장치(500)는 센서 데이터 수집부(510), 좌표계 변환부(520) 및 융합특징지도 생성부(530)를 포함한다.
센서 데이터 수집부(510)는 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득한다. 딥뉴럴네트워크를 각각의 센서 신호에 적용하여 센서 고유의 좌표계(예를 들어, 카메라 좌표계)에서 표현되는 특징지도를 얻는다. 이러한 특징지도들은 서로 다른 센서 좌표계에서 표현되기 때문에 그 융합이 어려운 문제점이 있다. 이를 해결하기 위해 제안하는 기술에서는 이러한 특징지도들을 하나의 3차원 좌표계 기준으로 변환하게 된다.
좌표계 변환부(520)는 획득된 특징지도를 통합된 3차원 좌표계로 변환한다.
좌표계 변환부(520)는 3차원 격자구조를 가정하고 각 센서 좌표계의 특징지도를 격자구조로 변환하고,격자구조의 각각의 픽셀 중심점에 좌표계 변환 행렬을 곱하여 각 센서에 해당하는 3차원 좌표계로 투영하고 투영된 점의 주변의 특징값들을 조합하여 연속적인 하나의 3차원 격자구조에 해당하는 특징지도를 생성한다. 좌표계 변환부(520)는 투영된 점과 픽셀 중심점의 상대거리에 반비례하는 가중치를 적용하여 특징값들을 조합하는 보간투사법을 적용한다.
융합특징지도 생성부(530)는 변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성한다. 융합특징지도 생성부(530)는 변환된 하나의 3차원 격자구조에 해당하는 특징지도를 병합하거나 추가한 후에 추가적인 컨벌루션 계층을 통과시킨다.
제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 장치(500)는 특징지도를 z 축 기준으로 평균을 내어 조감도 방향의 2차원 특징지도를 획득함으로써, 하나의 3차원 격자구조에 해당하는 특징지도에 비해 압축된 형태의 2차원 특징지도를 획득하는 것이 가능하다.
제안하는 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 장치는 전체적으로 다음과 같이 동작하게 된다. 주변의 360도의 정보들을 수집하기 위해 라이더 센서, 모든 시야각을 포함하는 다중 카메라, 다중 레이더 센서들을 사용하여 신호를 얻는다. 이러한 신호들은 중앙의 컴퓨터로 전송이 되고 컴퓨터는 딥뉴럴네트워크를 적용하여 센서 고유의 좌표계로 표현된 특징지도를 생성해 낸다. 이후 3차원 격자구조 기준으로 변환 시 연속적인 특징지도를 만들어내기 위해 제안한 보간 투사법을 사용하여 모든 특징지도를 변환하게 된다. 모두 같은 격자구조 기준으로 변환이 되었기 때문에 변환된 특징지도는 같은 크기와 해상도를 가지며 단순히 병합 또는 합의 연산으로 센서 정보가 융합될 수 있다.
정밀지도는 주변 환경에 대한 중요한 정보를 제공하기 때문에 주변 환경에 대한 정밀지도 정보도 센서정보와 함께 융합이 가능하다. 이를 위해서는 정밀지도정보를 2차원 영상으로 재구성하고 이를 CNN 구조를 통해 특징지도를 추출한다. 이를 다시 격자 좌표계로 변환하여 지도 정보들이 센서에서 도출된 특징지도와 융합하게 된다.
제안하는 기술은 위의 종래기술의 문제점을 다음과 같이 해결해 준다. 먼저, 종래의 단일센서만을 이용하는 딥러닝기반 물체 인지 기술은 하나의 센서에 의존하여 물체 인지 작업을 수행하기 때문에 센서 데이터의 질이 저해되는 경우 인지 결과가 부정확 해질 수 있으나 제안하는 다중 센서 기반의 융합 특징맵을 통해 물체 인지를 수행하는 경우 센서 정보에 강인한 검출 결과를 얻을 수 있으며, 각각의 센서의 단점을 보완하는 형태로 융합 정보를 생성하여 물체 인지 성능을 높일 수 있다. 또한 종래의 다중 센서 기반 물체 인지 기술의 경우 이른 융합 혹은 늦은 융합의 방법을 이용하여 센서 정보를 합치게 되는데 이러한 경우와 비교해서 제안하는 중간단 융합 정보생성 기술을 이용하여 다중 센서 정보를 합치면 종래의 융합 기법의 한계를 극복할 수 있다.
본 발명에서는 딥러닝 기법을 이용한 물체 검출 수행 시 지역정보와 전역정보를 함께 이용하여 검출 성능을 향상 시킬 수 있는 기술을 제안하였다. 제안하는 방법은 카메라 센서 데이터를 입력으로 하는 딥뉴럴네트워크에서 물체가 있는 지역 정보를 얻기위한 네트워크와 물체가 속해 있는 주변 환경에 대한 전역 정보를 얻기 위한 네트워크를 각각 구성하고 두 정보를 효과적으로 융합하여 물체의 주변 환경에 대한 이해를 기반으로 효율적인 물체 인지를 수행 할 수 있게 된다. 최근 스마트 홈 환경에나 자율 주행 환경에서는 카메라 센서 데이터를 이용하여 물체 검출을 수행할 때 물체 검출과 동시에 물체가 속한 주변 환경에 대한 이해를 수행하는 데에 활용될 것으로 예상이 되며 제안하는 방법은 이러한 물체와 그 주변환경에 대한 이해를 효과적으로 수행할 수 있는 해결책을 제시한다. 또한 스마트 홈이나 자율주행 뿐 아니라 환경이나 물체를 인식하는 다양한 인공지능 기술에 적용이 가능하다.
도 6은 본 발명의 일 실시예에 따른 보간 투사 기법 사용에 따른 효과를 설명하기 위한 예시도이다.
좌표계로 변환할 때 발생되는 불연속성을 방지하기 위하여 도 4와 같이 카메라 격자구조를 특징지도의 값으로 채울 때 해당하는 카메라 특징맵의 하나의 값을 가져오는 대신 변환좌표와 주변의 특징값과의 거리를 계산하여 거리가 멀수록 적은 비율, 거리가 가까울수록 큰 비율로 값을 섞어서 가져오게 된다. 결과적으로 도 6에서 보듯 이러한 보간투사 방법을 사용하게 되면 좌표계 변환 시 부드럽고 연속적인 특징지도를 생성할 수 있게 된다.
도 7은 본 발명의 일 실시예에 따른 게이팅 네트워크 사용의 효과를 설명하기 위한 예시도이다.
설명한 보간 투사 기법을 통해 라이더 도메인으로 변환된 카메라 특징지도를 게이팅 네트워크를 이용해 생성된 게이팅 지도와 곱하여 융합을 위한 최종 카메라 도메인 특징맵을 얻어내다. 이 때 게이팅 네트워크는 라이다 특징맵을 입력으로 하는 CNN 네트워크로 구성되어있으며, 변환된 카메라 특징맵과 같은 크기의 게이팅 지도를 출력으로 생성해낸다. 이러한 게이팅 과정을 통하면 카메라 특징맵이 도 7에서 볼 수 있듯 3차원 물체 검출에 도움을 줄 수 있는 형태로 얻어지게 된다.
본 발명에서 제안하는 다중 센서 데이터 기반의 융합 정보 생성 기술은 다중 물체 검출, 물체 영역 분할, 물체의 움직임 예측 등의 다양한 물체 인지 분야에 적용이 가능하다. 대표적인 적용가능 분야로는 자율주행 자동차, 스마트 홈이 있다. 첫째로, 자율주행 자동차 분야에서 주변의 환경과 차량, 보행자에 대한 인지 정보는 다음 단계인 예측 및 판단을 함에 있어 가장 중요하게 선행 제공 되어야 하는 것이며, 인지 정확도 또한 안전에 직결되는 문제이므로 가장 중요한 부분이다. 자율주행 차량에 장착된 다양한 센서가 장착되어 있기 때문에 제안하는 다중센서 정보 융합 기술은 물체 인지정보의 정확도 향상을 통해 자율주행 환경의 안전성과 예측의 정확도 향상을 이끌 수 있다. 두 번째로 스마트 홈 환경은 홈 카메라를 이용한 사람, 또는 사물 인지를 기반으로 위험상황 예측 및 예방이 가능해지며, 정확한 인지 정보를 기반으로 사물인터넷이 장착된 제품의 작동 판단에 도움을 줄 수 있다.
이 기술을 적용하기 위해서는 라이다, 카메라 등의 다양한 센서를 이용하여 데이터를 실시간으로 취득하고 이를 그래픽 프로세서 유닛(GPU) 등을 장착한 임베디드 시스템에서 취득된 다중 센서 정보를 제안하는 기술로 융합 한 후 물체 인지 알고리즘을 수행하는 방법이 있다. 이를 위해서는 미리 다양한 환경에 대한 다중센서 데이터들을 확보하고 이를 통해 딥뉴럴네트워크 구조를 학습시키게 된다. 학습된 딥뉴럴네트워크는 최적화된 네트워크 계수로 저장되게 되고 이를 임베디드 시스템에 적용하여 실시간으로 입력되는 테스트 데이터에 대해 물체인지 알고리즘을 수행하여 그 결과를 얻게 된다.
딥러닝을 이용한 다중 센서 기반의 물체 검출 기술은 현재 스마트홈 카메라나 자율주행, 모바일 로봇 등에 응용될 수 있으며 이 기술을 바탕으로 향후에는 인지를 넘어 물체의 추적 및 물체간의 관계 파악, 환경에 대한 이해를 통한 미래 예측 등 좀 더 복잡한 기능을 수행할 것으로 예상된다. 예를 들면 스마트 홈 환경에서 다중 센서 정보를 융합하여 센서 데이터의 방해요소에 강인한 물체 인지 작업을 수행한다면 위험 상황의 예측 및 예방이 가능하다. 또한 자율주행 환경에서는 자동화된 감시, 교통 모니터링 등의 고도화된 작업에 이용 될 수 있다. 이와 같이 다중센서 융합 기술 기반의 물체 검출 알고리즘은 인간의 안전과 직결되며, 미래 기술에 기초가 되는 기술로 대표적인 인공지능 기술 중의 하나라고 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득하는 단계;
    획득된 특징지도를 통합된 3차원 좌표계로 변환하는 단계; 및
    변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합 특징지도를 생성하는 단계
    를 포함하고,
    획득된 특징지도를 통합된 3차원 좌표계로 변환하는 단계는,
    3차원 격자구조를 가정하고 각 센서 고유의 좌표계에서 표현된 특징지도를 3차원 격자구조로 투영하여 통일된 좌표계로 나타내고,
    투영된 점과 픽셀 중심점의 상대거리에 반비례하는 가중치를 적용하여 특징값들을 조합하는 보간투사법을 적용하는
    다중 센서 데이터 기반의 융합 정보 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    격자구조의 각각의 픽셀 중심점에 좌표계 변환 행렬을 곱하여 각 센서에 해당하는 3차원 좌표계로 투영하고 투영된 점의 주변의 특징값들을 조합하여 연속적인 하나의 3차원 격자구조에 해당하는 특징지도를 생성하는
    다중 센서 데이터 기반의 융합 정보 생성 방법.
  4. 삭제
  5. 제1항에 있어서,
    변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 단계는,
    변환된 하나의 3차원 격자구조에 해당하는 특징지도를 병합하거나 추가한 후에 추가적인 컨벌루션 계층을 통과시키는
    다중 센서 데이터 기반의 융합 정보 생성 방법.
  6. 제1항에 있어서,
    특징지도를 z 축 기준으로 평균을 내어 하나의 3차원 격자구조에 해당하는 특징지도에 비해 압축된 형태의 2차원 특징지도를 획득하는
    다중 센서 데이터 기반의 융합 정보 생성 방법.
  7. 제6항에 있어서,
    융합 특징지도를 이용하여 3차원 물체 검출, 조감도 방향(Bird’s eye view)에서의 물체 검출 또는 영역 분할을 수행하는
    다중 센서 데이터 기반의 융합 정보 생성 방법.
  8. 제1항에 있어서,
    자차 주변의 정밀지도 정보를 2차원 영상으로 재구성하고 딥뉴럴네트워크를 적용하여 특징지도를 획득하고, 다중 센서 신호로부터 얻은 특징지도와 융합하여 물체 검출 또는 영역 분할을 수행하는
    다중 센서 데이터 기반의 융합 정보 생성 방법.
  9. 딥뉴럴네트워크를 이용하여 다중 센서 신호로부터 특징지도를 획득하는 센서 데이터 수집부;
    획득된 특징지도를 통합된 3차원 좌표계로 변환하는 좌표계 변환부; 및
    변환된 통합된 3차원 좌표계를 이용하여 인지를 수행하기 위한 융합특징지도를 생성하는 융합특징지도 생성부
    를 포함하고,
    좌표계 변환부는,
    3차원 격자구조를 가정하고 각 센서 고유의 좌표계에서 표현된 특징지도를 3차원 격자구조로 투영하여 통일된 좌표계로 나타내고,
    투영된 점과 픽셀 중심점의 상대거리에 반비례하는 가중치를 적용하여 특징값들을 조합하는 보간투사법을 적용하는
    다중 센서 데이터 기반의 융합 정보 생성 장치.
  10. 삭제
  11. 제9항에 있어서,
    좌표계 변환부는,
    격자구조의 각각의 픽셀 중심점에 좌표계 변환 행렬을 곱하여 각 센서에 해당하는 3차원 좌표계로 투영하고 투영된 점의 주변의 특징값들을 조합하여 연속적인 하나의 3차원 격자구조에 해당하는 특징지도를 생성하는
    다중 센서 데이터 기반의 융합 정보 생성 장치.
  12. 삭제
  13. 제9항에 있어서,
    융합특징지도 생성부는,
    변환된 하나의 3차원 격자구조에 해당하는 특징지도를 병합하거나 추가한 후에 추가적인 컨벌루션 계층을 통과시키는
    다중 센서 데이터 기반의 융합 정보 생성 장치.
  14. 제9항에 있어서,
    특징지도를 z 축 기준으로 평균을 내어 하나의 3차원 격자구조에 해당하는 특징지도에 비해 압축된 형태의 2차원 특징지도를 획득하는
    다중 센서 데이터 기반의 융합 정보 생성 장치.
  15. 제9항에 있어서,
    융합 특징지도를 이용하여 3차원 물체 검출, 조감도 방향(Bird’s eye view)에서의 물체 검출 또는 영역 분할을 수행하는
    다중 센서 데이터 기반의 융합 정보 생성 장치.
KR1020200021417A 2020-02-21 2020-02-21 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치 KR102270827B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200021417A KR102270827B1 (ko) 2020-02-21 2020-02-21 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
US17/801,414 US20230082097A1 (en) 2020-02-21 2020-08-11 Method and device for multi-sensor data-based fusion information generation for 360-degree detection and recognition of surrounding object
PCT/KR2020/010619 WO2021167189A1 (ko) 2020-02-21 2020-08-11 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200021417A KR102270827B1 (ko) 2020-02-21 2020-02-21 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102270827B1 true KR102270827B1 (ko) 2021-06-29

Family

ID=76626418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021417A KR102270827B1 (ko) 2020-02-21 2020-02-21 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치

Country Status (3)

Country Link
US (1) US20230082097A1 (ko)
KR (1) KR102270827B1 (ko)
WO (1) WO2021167189A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359502A (zh) * 2021-07-05 2021-09-07 信阳农林学院 一种基于人工智能的智能家居多传感器检测方法、系统及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11976940B2 (en) * 2021-09-30 2024-05-07 Woven By Toyota, Inc. Vehicle data collection system and method of using

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
KR20190131207A (ko) * 2018-05-16 2019-11-26 한양대학교 산학협력단 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
KR20190131207A (ko) * 2018-05-16 2019-11-26 한양대학교 산학협력단 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enrico Schroder, ET AL, "Feature Map Transformation for Multi-sensor Fusion in Object Detection Networks for Autonomous Driving", CVC 2019, pp. 118-131, 25-26 April 2019(2019.04.25.) 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359502A (zh) * 2021-07-05 2021-09-07 信阳农林学院 一种基于人工智能的智能家居多传感器检测方法、系统及存储介质

Also Published As

Publication number Publication date
US20230082097A1 (en) 2023-03-16
WO2021167189A1 (ko) 2021-08-26

Similar Documents

Publication Publication Date Title
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
US11315266B2 (en) Self-supervised depth estimation method and system
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
WO2020052540A1 (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
JP5782088B2 (ja) 歪みのあるカメラ画像を補正するシステム及び方法
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
KR102108953B1 (ko) 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
US11810311B2 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
JP7091485B2 (ja) 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
KR102270827B1 (ko) 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
EP3992909A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN113269147B (zh) 基于空间和形状的三维检测方法、系统、存储及处理装置
US20220270327A1 (en) Systems and methods for bounding box proposal generation
Gählert et al. Single-shot 3d detection of vehicles from monocular rgb images via geometry constrained keypoints in real-time
CN116189150B (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质
Cai et al. 3D vehicle detection based on LiDAR and camera fusion
Kim et al. Rcm-fusion: Radar-camera multi-level fusion for 3d object detection
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
KR20230119334A (ko) 레이더 클러터 제거를 위한 자가 집중 기법 적용 3차원 물체 검출 기술
KR20220049819A (ko) 차량의 번호판의 꼭지점을 검출하는 인공 신경망을 학습시키는 방법 및 상기 인공 신경망을 이용하여 검출된 번호판을 재정렬하는 방법
Song et al. Target detection based on 3d multi-component model and inverse projection transformation
KR102683455B1 (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统

Legal Events

Date Code Title Description
GRNT Written decision to grant