KR102525570B1 - 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 - Google Patents

라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 Download PDF

Info

Publication number
KR102525570B1
KR102525570B1 KR1020220164953A KR20220164953A KR102525570B1 KR 102525570 B1 KR102525570 B1 KR 102525570B1 KR 1020220164953 A KR1020220164953 A KR 1020220164953A KR 20220164953 A KR20220164953 A KR 20220164953A KR 102525570 B1 KR102525570 B1 KR 102525570B1
Authority
KR
South Korea
Prior art keywords
depth
depth map
lidar
outliers
extracting
Prior art date
Application number
KR1020220164953A
Other languages
English (en)
Inventor
이재민
박예성
이진석
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Priority to KR1020220164953A priority Critical patent/KR102525570B1/ko
Application granted granted Critical
Publication of KR102525570B1 publication Critical patent/KR102525570B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 라이다와 카메라로부터 영상을 획득하는 방법에 관한 것으로 본 발명에 따른 라이다 및 카메라 센서를 이용한 영상 획득 방법은 라이다 및 카메라 센서로 구성된 센서 시스템 내 라이다로부터 수집된 점군 데이터를 카메라 센서로부터 수집된 영상을 기준으로 투영하여 깊이맵을 생성하는 단계; 상기 깊이맵 내 연속하는 픽셀의 깊이 변화를 통해 이상치를 추출하는 단계; 및 상기 추출된 이상치를 제거하여 깊이맵을 정제하는 단계를 포함한다. 본 발명에 따르면, 라이더의 점군(point cloud) 데이터와 카메라의 영상의 시각 차이를 고려하여 점군 데이터를 정제함으로써 보다 정밀한 깊이맵을 생성할 수 있다.

Description

라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치{Method of removing outliers in lidar data for lidar-camera image fusion and computing device performing the same method}
본 발명은 라이다와 카메라로부터 영상을 획득하는 방법에 관한 것이다. 보다 구체적으로 본 발명은 본 발명은 라이다와 카메라 영상 정합 시 각 센서의 위치 차이로 발생하는 이상치를 제거하는 방법에 관한 것이다.
카메라는 객체 검출과 분류에 대하여 일반적으로 좋은 성능을 나타내고 있지만, 날씨나 조도와 같은 환경의 변화에 보다 민감하다. 반면 라이다 및 레이더는 카메라보다 외부 환경의 변화에는 강인하지만, 객체 분류는 카메라보다 낮은 성능을 보여주고 있다.
따라서, 최근에는 라이다의 외부 환경에 대해 강인한 거리 측정과 높은 정밀도, 환경 영향을 덜 받는 특징과 카메라의 보다 정확한 객체의 구분 성능을 융합하여 다양한 분야에 활용하고자 하며 이에 따라 구체적인 융합 방법들이 제안되고 있다.
예를 들어 선행발명(논문, 카메라와 라이다의 객체 검출 성능 향상을 위한 Sensor Fusion. 방송공학회논문지 제24권 제4호, 2019년 7월)은 카메라와 라이다 센서의 융합을 위해 라이다에서 검출된 객체를 영상 평면에 옮겨 Intersection over union(IoU)을 계산하고, 카메라에서 검출된 객체를 월드 좌표에 옮겨 거리, 각도를 계산하여 IoU, 거리 그리고 각도 세 가지 속성을 로지스틱회귀를 이용하여 융합하는 방법을 제안하고 있다.
하지만, 라이다와 카메라의 융합을 위해서는 좌표 변환을 위한 소프트웨어적인 처리 방식 외에 센서 구조에 기인하는 하드웨어적인 차이에 따른 오차를 해결할 필요가 있으며 이를 위한 구체적인 방법이 제시될 필요가 있다.
본 발명은 라이다(LiDAR)와 카메라를 이용하여 보다 정확한 깊이맵의 생성이 가능한 방법을 제안한다.
본 발명은 라이다와 카메라의 위치 차이에 따른 사각영역의 오차를 보정하는 방법을 제안하는 것을 목적으로 한다
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨팅 장치에서 수행되는 라이다 및 카메라 센서를 이용한 영상 획득 방법은 라이다 및 카메라 센서로 구성된 센서 시스템 내 라이다로부터 수집된 점군 데이터를 카메라 센서로부터 수집된 영상을 기준으로 투영하여 깊이맵을 생성하는 단계; 상기 깊이맵 내 연속하는 픽셀의 깊이 변화를 통해 이상치를 추출하는 단계; 및 상기 추출된 이상치를 제거하여 깊이맵을 정제하는 단계를 포함하는 것이 바람직하다.
상기 이상치를 추출하는 단계는, 미리 결정된 크기의 윈도우로 상기 깊이맵을 구역별로 탐색하는 단계; 상기 탐색하는 구역 내 깊이의 편차를 산출하는 단계; 및 임계값 이상의 편차를 갖는 구역 내 픽셀의 깊이를 이상치로 추출하는 단계를 포함하는 것이 바람직하다.
상기 이상치를 추출하는 단계는, 상기 산출된 편차로 상기 구역 중 객체의 경계를 포함하는 구역은 이상치 추출 대상에서 제외하는 단계를 더 포함하는 것이 바람직하다.
상기 제외하는 단계는, 상기 구역 내 깊이의 표준편차가 미리 설정된 제2 임계값 이상인 경우 객체의 경계를 포함하는 구역으로 판단하여 추출 대상에서 제외하고, 상기 제2 임계값은 상기 제1 임계값에 비하여 큰 값인 것이 바람직하다.
상기 윈도우의 크기는 상기 깊이맵 내 존재하는 객체의 크기에 따라 결정되는 것이 바람직하다.
주변 픽셀의 깊이 비교를 통해 상기 깊이맵 내 객체의 경계 영역을 검출하는 단계를 더 포함하고, 상기 이상치를 추출하는 단계는 상기 검출된 경계 영역을 제외한 구역의 이상치를 추출하는 것이 바람직하다.
상기 깊이맵 내 객체의 영역을 학습된 신경망을 통하여 세그멘테이션 정보로 추출하는 단계를 더 포함하고, 상기 이상치를 추출하는 단계는 세그멘테이션 정보를 통해 윈도우의 크기 및 탐색할 구역을 결정하는 것이 바람직하다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨팅 장치는 프로세서, 및 상기 프로세서와 통신하는 메모리를 포함하고, 상기 메모리는 상기 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장하고, 상기 동작들은, 라이다 및 카메라 센서로 구성된 센서 시스템 내 라이다로부터 수집된 점군 데이터를 카메라 센서로부터 수집된 영상을 기준으로 투영하여 깊이맵을 생성하는 동작, 상기 깊이맵 내 연속하는 픽셀의 깊이 변화를 통해 이상치를 추출하는 동작, 및 상기 추출된 이상치를 제거하여 깊이맵을 정제하는 동작을 포함하는 것이 바람직하다.
상기 이상치를 추출하는 동작은, 미리 결정된 크기의 윈도우로 상기 깊이맵을 구역별로 탐색하는 동작, 상기 탐색하는 구역 내 깊이의 편차를 산출하는 동작, 및 임계값 이상의 편차를 갖는 구역 내 픽셀의 깊이를 이상치로 추출하는 동작을 포함하는 것이 바람직하다.
상기 이상치를 추출하는 동작은, 상기 산출된 편차로 상기 구역 중 객체의 경계를 포함하는 구역은 이상치 추출 대상에서 제외하는 동작을 더 포함하는 것이 바람직하다.
상기 제외하는 동작은, 상기 구역 내 깊이의 표준편차가 미리 설정된 제2 임계값 이상인 경우 객체의 경계를 포함하는 구역으로 판단하여 추출 대상에서 제외하고, 상기 제2 임계값은 상기 제1 임계값에 비하여 큰 값인 것이 바람직하다.
상기 윈도우의 크기는 상기 깊이맵 내 존재하는 객체의 크기에 따라 결정되는 것이 바람직하다.
주변 픽셀의 깊이 비교를 통해 상기 깊이맵 내 객체의 경계 영역을 검출하는 동작을 더 포함하고, 상기 이상치를 추출하는 동작은 상기 검출된 경계 영역을 제외한 구역의 이상치를 추출하는 것이 바람직하다.
상기 깊이맵 내 객체의 영역을 학습된 신경망을 통하여 세그멘테이션 정보로 추출하는 동작을 더 포함하고, 상기 이상치를 추출하는 동작은 세그멘테이션 정보를 통해 윈도우의 크기 및 탐색 할 구역을 결정하는 것이 바람직하다.
본 발명에 따르면, 라이더의 점군(point cloud) 데이터와 카메라의 영상의 시각 차이를 고려하여 점군 데이터를 정제함으로써 보다 정밀한 깊이맵을 생성할 수 있다.
또한, 본 발명은 객체의 경계 특성을 고려하여 점군 데이터의 이상치를 제거함으로써 실제 정보의 손실을 줄일 수 있다.
또한, 본 발명은 수집되는 영역에 존재하는 객체의 특성을 고려하여 정제 조건을 동적으로 결정함으로써 보다 정확한 깊이맵을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 센서 시스템을 나타낸 예시도이다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 이상치 발생 예를 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 이상치 발생 예를 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 이상치 제거를 통한 영상 획득 과정을 나타낸 흐름도이다.
도 5 내지 7은 본 발명의 일 실시예에 따른 이상치 제거 예를 나타낸 예시도이다.
도 8는 본 발명의 일 실시예에 따른 이상치 제거 과정을 수도 코드 형태로 나타낸 예시도이다.
도 9 내지 11은 본 발명의 일 실시예에 따른 이상치 제거 결과를 나타낸 시도이다.
도 12은 본 발명의 일 실시예에 따른 센서 시스템의 구성을 나타낸 블록도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하에는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 센서 시스템을 나타내는 예시도이다.
도 1을 참조하면 본 실시예에 따른 센서 시스템은 라이다(100)와 카메라(200) 센서를 쌍으로 하는 다중 센서로 구성될 수 있다.
본 실시예에서 센서 시스템은 다중 센서들로부터 수집된 데이터들을 융합하고 객체 탐지 결과를 생성하여 사용자에게 제공해 줄 수 있다.
라이다(100)와 카메라(200)의 융합 과정은 이종의 센서에서 수집된 서로 다른 좌표계의 동일한 객체들을 매칭시키는 것으로, 라이다(100)의 점군 데이터를 카메라(200)로 촬영 된 영상에 투영할 수 있다.
이를 위해서는 라이다(100)의 점군 데이터(110)와 영상 데이터(210)에서 특징점을 추출하고 대응되는 대응점 쌍을 추출함으로써 투영 과정이 수행될 수 있다.
라이다(100)와 카메라(200)는 물리적인 위치 차이를 가지게 되므로 이에 대한 보정이 필요하며 본 실시예에서는 라이다(100)와 카메라(200) 센서로부터 수집된 영상을 공통된 좌표로 정합하기 위한 외부 행렬을 생성할 수 있다.
구체적으로 라이다(100)와 카메라(200)의 좌표계 정합을 위해서는 두 센서 사이의 화각과 위치 차이를 알아내고 정합 과정에서 반영한다. 정합을 위한 수학식은 아래와 같이 표현될 수 있다.
[수학식]
L=R(C)+T
라이다(100) 가 제공하는 값은 2차원 좌표 L(x,y)에 해당하는 깊이 값이고, 카메라(200) 가 제공하는 값 C(x,y)는 색상 정보로서, 보정 행렬은 두 센서 간의 위치를 고려해서 회전(R, Rotation)과 변이(T, Transform)의 식으로 생성될 수 있으며 두 센서의 위치를 수직 또는 수평 축을 정렬함으로써 일 방향의 변이 값을 정의하도록 생성될 수 있다.
또한, 해상도의 차이를 고려하여 상대적으로 해상도가 높은 카메라(200)의 영상 데이터(210)을 다운사이징 하고 화각이 상대적으로 큰 라이다(100) 포인트 클라우드 데이터(110)은 카메라(200)의 화각에 대응되도록 깊이 값을 추출하는 과정이 전처리로 수행되는 것도 가능하다.
이상의 과정을 통해 특정 센서를 기준으로 데이터들을 픽셀단위로 정합함으로써 투영된 깊이맵(30)을 생성한다.
나아가, 공통된 좌표로 양 데이터들을 투영하더라도 융합 센서를 구성하는 카메라와 라이다 센서의 서로 다른 위치로 인해 보다 원거리에 위치하는 객체가 근거리의 객체에 의해 가려짐으로써 서로 볼 수 없는 사각 영역이 존재할 수 있다
이러한 경우 점군 데이터를 카메라 기준으로 투영시켰을 때 카메라의 사각 영역에 서로 다른 위치의 깊이 값들이 겹치는 이상치가 발생한다.
따라서, 센서 시스템 내 이상치 제거 필터(307)는 영상 데이터의 객체를 기준으로 깊이 지도를 투영하는 경우 이상치들을 제거함으로써 정제된 깊이맵(30')을 생성할 수 있다.
센서 간의 위치 차이로 인한 이상치의 발생 예를 도 2a를 참고하여 설명하면, 예를 들어 카메라의 경우 제2 객체(14)의 일부를 인식하지 못함에 따라 제2 객체(14)의 깊이에 대한 점군 데이터가 일부 제1 객체(12)의 깊이 값에도 투영되어 제1 객체(12)가 중첩된 깊이를 갖는 형태의 객체로 인식될 수 있다.
즉 점군 데이터 내 이상치를 발생시키는 영역이 양 센서 간의 위치 차이에 따라 나타날 수 있으며 이에 대한 부가적인 처리가 필요할 수 있다.
반대로, 도 2b를 참고하면 라이다의 사각 영역에 대해서는 라이다가 인식하지 못한 제2 객체(14)의 일부에서 깊이 값이 존재하지 않는 등의 이상치가 나타날 수 있다.
구체적으로 투영된 깊이맵의 예를 참고하면 도 3에서 라이다가 카메라에 비해 수평축을 기준으로 상대적으로 좌측에 위치하여 제1 객체(12)와 제2 객체(14)를 촬영하는 경우 제2 객체(14)의 영역 중 일부가 제1 객체(12)에 의해 카메라의 시야에서 가려질 수 있다.
반면 라이다(100)에서는 카메라의 사각 영역 내 제2 객체(14)의 일부가 수집될 수 있으므로, 카메라(200)의 영상을 기준으로 투영하면 가려진 영역의 깊이 정보가 제1 객체의 깊이 정보와 중첩될 수 있다.
즉, 투영을 통해 생성된 깊이맵(30)에서 특정 객체의 깊이 값이 중첩됨에 따른 이상치가 발생된다.
따라서, 이러한 이상치는 동일한 객체 내에서 깊이 값의 차이가 급격히 변화하는 특징으로 나타날 수 있으며, 본 발명에 따른 영상 획득 방법은 객체를 기준으로 깊이 값의 변화를 통해 이상치 구간을 판단하고 이를 정제하는 방법을 제시한다.
이하, 도 4을 참고하여 본 실시예에 따른 구체적인 센서 시스템의 영상 획득 방법에 대하여 설명한다.
도 4를 참조하면, 본 실시예에 따른 센서 시스템은 먼저 라이다로부터 수집된 점군 데이터를 카메라 센서로부터 수집된 영상을 기준으로 투영하여 깊이맵을 생성 한다(S100).
이상의 좌표계가 통일된 후 상술한 이상치의 제거 과정을 수행할 수 있다.
구체적으로, 본 실시예에 따른 센서 시스템은 깊이맵 내 연속하는 픽셀의 깊이 변화를 통해 이상치를 추출한다(S200).
상술한 바와 같이, 영상 데이터를 기준으로 점군 데이터 내 각 점 들의 깊이 값을 투영하는 경우 동일한 객체 내에서 깊이 값의 변화가 크게 발생하는 이상치 구간을 추출할 수 있다.
도 5를 참고하면, 상술한 도 3에 따른 촬영 환경에서 투영된 깊이 맵 내 제2 객체들의 깊이 값들이 이상치를 발생시킬 수 있다.
이러한 이상치는 라이다 센서와 카메라를 융합하는데 있어 물리적인 오류를 발생시킬 수 있으며, 라이다-카메라를 사용하는 다양한 과제에서 노이즈로 작용하여 성능 저하의 요인이 된다.
따라서, 센서 시스템은 깊이맵 내에서 특정 축을 기준으로(예를 들어 수평축) 깊이 값들을 픽셀 단위로 순차적으로 판단한다. 이상치 구간에서 깊이 값은 다른 구간의 평균적인 픽셀 값과 차이를 나타낼 수 있으며, 본 실시예에서는 이러한 특성을 제거하는 것을 목표로 할 수 있다.
나아가 본 실시예에 따른 이상치의 제거 방식은 차원에 따라 결정될 수 있다.
예를 들어 도 6과 같이 특정 축을 중심으로 비교함으로 1차원 상의 픽셀들의 값을 통하여 이상치를 판단한다.
도 6에서, 카메라에서 객체의 가려짐에 의해 특정 객체의 일부에 대해 깊이 값이 중복으로 나타나는 경우 깊이 값들의 표준 편차(6-1, 6-2)를 이용하여 이상치를 제거할 수 있다.
예를 들어 중복이 발생된 구간의 깊이 값의 표준 편차는 일반적인 영역에 비해 편차가 크게 나타날 수 있으며 가려지게 되는 원거리의 값을 삭제함으로써 해당 이상치를 제거할 수 있다.
1차원의 필터링 과정에서 수평 방향의 구간 길이 D는 미리 결정될 수 있으며 바람직하게는 포함된 객체의 특징이나 거리에 따라 설정될 수 있다.
나아가, 객체의 형태를 더욱 고려하여 연속적인 이상치의 판단 및 제거를 위해 고차원의 필터링 과정을 수행하는 것도 가능하다.
예를 들어 2차원의 깊이맵에 대하여 도 7과 같이 깊이 값이 겹치는 영역(72)에 대해서 필터링을 수행할 수 있다.
구체적으로 본 실시예에서는 필터로 깊이맵을 특정 크기의 윈도우로 탐색하고, 해당 윈도우 내 깊이 값들의 표준편차를 이용하여 표준편차와 임계값 이상의 차이를 가지는 픽셀들의 값으로 판단할 수 있다.
이때, 필터 내의 객체의 경계에서 일반적으로 깊이 값의 차이가 발생하는 데, 따라서 정상적인 경계 주위의 값이 제외되는 것을 방지하기 위해 추가적인 제한 값을 설정할 수 있다.
구체적으로 도 8을 참조하여 본 실시예에 따른 필터링을 수행하는 알고리즘 1(ORF, Outlier Removal Filter)의 수도(pseudo) 코드를 통해 설명한다.
알고리즘 1은 입력(input)으로 깊이맵을 수신하고, 필터링을 위한 탐색 윈도우(window)의 크기(kernel_size) 및 표준 편차에 대한 임계값(std_thresh)과 깊이에 다한 임계값(distance_thresh)을 입력 받을 수 있다.
이때, 도 9를 참고하면 윈도우 (92)는 지정된 크기만큼 입력된 깊이맵(94)에 대하여 슬라이딩 하면서 탐색하고 필터링을 수행한다. 이때 윈도우 내 특정 픽셀의 위치가 객체의 경계 영역인지 아닌지 판별한다.
즉, 현재 윈도우의 검사 구역이 객체의 가장자리 영역일 경우 객체 뒤 혹은 주변의 깊이 정보들이 함께 존재하기에 표준편차가 높게 계산될 수 있다. 본 실시예에서 경계 영역은 표준 편차에 대한 임계 값 α를 조건으로 판단될 수 있다.
구체적으로 본 실시예에 따른 센서 시스템은 객체의 경계 여부 판단을 위한 제1 임계 값 α, 이상치 제거를 위한 제2 임계 값 β를 지정하여 아래의 수학식을 만족하는 픽셀 별 깊이 값(x)에 대한 필터링을 수행한다.
[수학식]
Figure 112022128797619-pat00001
Figure 112022128797619-pat00002
(이때, n은 전체 픽셀의 수, x는 픽셀의 깊이 값,
Figure 112022128797619-pat00003
는 평균임)
따라서, 윈도우 내 표준 편차 s가 제1 임계 값 α 미만인 경우(if s< α) 객체의 경계가 아닌 내부라고 판단하고, 윈도우 내 깊이 값들 중 제2 임계 값 β를 초과하는 높은 깊이 값을 갖는 데이터는 이상치로 판단한다.
도 10을 함께 참고하면 경계가 아닌 관심 영역으로 지정된 입력에 대하여 임계 값 β이상의 정보를 갖는 픽셀의 깊이 값(97)을 이상치라고 판단하고 깊이 값을 0으로 설정하는 방식으로 제거한다(window[window>β]=0).
이상의 투영된 깊이맵 내 윈도우의 탐색 영역에서 이상치를 제거함으로써 깊이맵을 정제한다(S300).
또한, 본 알고리즘에서 표준편차를 통해 경계 영역을 검출하는 과정은 영상 데이터를 기초로 별도의 경계 검출 프로세스로 수행될 수 있다.
깊이 맵 내 경계는 영상 데이터 내 각 픽셀의 값의 변화량을 기초로 검출될 수 있으며 연속된 선분의 형태로 구성 경계를 검출하고, 경계를 기초로 동일한 연결된 구성 요소에 속하는 픽셀을 함께 그룹화 하여 하나의 픽셀로 정의하는 슈퍼 픽셀을 추출하는 방식으로 수행될 수 있다.
다음 센서 시스템은 추출된 슈퍼픽셀 내에서 이상치를 제거하는 윈도우의 탐색을 수행함으로써 객체의 내부에 대한 이상치를 제거하도록 할 수 있다.
나아가, 윈도우의 크기 역시 객체의 특징을 고려하여 설정될 수 있다. 본 실시예에서 사용하는 윈도우의 사이즈를 고정하지 않고 동적으로 변경하여 적용이 가능하다. 예를 들어 작은 객체들이 존재하는 경우 작은 크기의 윈도우로, 큰 객체의 경우는 큰 필터를 사용하는 것이 더욱 바람직할 수 있으며, 윈도우의 크기에 따라 제1 또는 제2 임계 값이 조절될 수 있다.
이를 위해 영상 데이터에 대한 객체를 검출하는 컨볼루션 연산 기반의 CNN(Convolutional Neural Networks)를 통해 객체를 바운딩 박스 형태로 세그멘테이션 맵을 검출하고 바운딩 박스의 크기를 기초로 윈도우의 사이즈를 결정할 수 있다.
도 11을 참고하면 이상의 과정을 통해 원본 투영된 각각의 깊이맵(a, b)에 대하여 이상치의 제거를 수행함으로써 보다 정확한 깊이맵을 생성할 수 있다.
이하, 본 실시예에 따른 센서 시스템의 영상 생성 과정을 수행하는 컴퓨팅 장치로의 구현에 대하여 설명한다.
도 12을 참조하면, 본 발명의 몇몇 실시예들에서 센서 시스템(300)은 컴퓨팅 장치의 형태로 구현될 수 있다. 센서 시스템(300)을 구성하는 각각의 모듈 중 하나 이상은 범용 컴퓨팅 프로세서 상에서 구현되며 따라서 프로세서(processor)(308), 입출력 I/O(302), 메모리 (memory)(340), 인터페이스(interface)(306) 및 버스(314, bus)를 포함할 수 있다. 프로세서(308), 입출력 장치(302), 메모리 (340) 및/또는 인터페이스(306)는 버스(314)를 통하여 서로 결합될 수 있다. 버스(314)는 데이터들이 이동되는 통로(path)에 해당한다.
구체적으로, 프로세서(308)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(302)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다. 메모리 장치(340)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(306)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(306)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(306)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 메모리 (340)는 프로세서(308)의 동작을 향상시키되, 개인정보의 보호를 위한 휘발성의 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다.
또한, 메모리(340) 또는 스토리지(312)내에는 여기에 설명된 일부 또는 모든 모듈의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 상술한 학습 방법의 선택된 양태들을 수행하도록 하는 로직을 포함할 수 있다.
메모리 (340)에 저장된 상술한 획득 방법을 수행하는 각 단계를 포함하는 명령어들의 집합으로 프로그램 또는 어플리케이션을 로드하고 프로세서가 각 단계를 수행할 수 있도록 한다.
나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컴퓨팅 장치에서 수행되는 라이다 및 카메라 센서를 이용한 영상 획득 방법에 있어서,
    라이다 및 카메라 센서로 구성된 센서 시스템 내 라이다로부터 수집된 점군 데이터를 카메라 센서로부터 수집된 영상을 기준으로 투영하여 깊이맵을 생성하는 단계;
    상기 깊이맵 내 연속하는 픽셀의 깊이 변화를 통해 이상치를 추출하는 단계; 및
    상기 추출된 이상치를 제거하여 깊이맵을 정제하는 단계를 포함하고,
    상기 이상치를 추출하는 단계는,
    미리 결정된 크기의 윈도우로 상기 깊이맵을 구역별로 탐색하는 단계;
    상기 탐색하는 구역 내 깊이의 편차를 산출하는 단계;
    상기 산출된 편차로 상기 구역 중 객체의 경계를 포함하는 구역은 이상치 추출 대상에서 제외하는 단계; 및
    제외되지 않은 구역 내 제1 임계값 이상의 편차를 갖는 픽셀의 깊이를 이상치로 추출하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제외하는 단계는,
    상기 구역 내 깊이의 표준편차가 미리 설정된 제2 임계값 이상인 경우 객체의 경계를 포함하는 구역으로 판단하여 추출 대상에서 제외하고,
    상기 제2 임계값은 상기 제1 임계값에 비하여 큰 값인 것을 특징으로 하는 영상 획득 방법.
  5. 제 1 항에 있어서,
    상기 윈도우의 크기는 상기 깊이맵 내 존재하는 객체의 크기에 따라 결정되는 것을 특징으로 하는 영상 획득 방법.
  6. 제 1 항에 있어서,
    주변 픽셀의 깊이 비교를 통해 상기 깊이맵 내 객체의 경계 영역을 검출하는 단계를 더 포함하고,
    상기 이상치를 추출하는 단계는 상기 검출된 경계 영역을 제외한 구역의 이상치를 추출하는 것을 특징으로 하는 영상 획득 방법.
  7. 제 1 항에 있어서,
    상기 깊이맵 내 객체의 영역을 학습된 신경망을 통하여 세그멘테이션 정보로 추출하는 단계를 더 포함하고,
    상기 이상치를 추출하는 단계는 세그멘테이션 정보를 통해 윈도우의 크기 및 탐색 할 구역을 결정하는 것을 특징으로 하는 영상 획득 방법.
  8. 프로세서, 및
    상기 프로세서와 통신하는 메모리를 포함하고,
    상기 메모리는 상기 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장하고,
    상기 동작들은,
    라이다 및 카메라 센서로 구성된 센서 시스템 내 라이다로부터 수집된 점군 데이터를 카메라 센서로부터 수집된 영상을 기준으로 투영하여 깊이맵을 생성하는 동작,
    상기 깊이맵 내 연속하는 픽셀의 깊이 변화를 통해 이상치를 추출하는 동작, 및
    상기 추출된 이상치를 제거하여 깊이맵을 정제하는 동작을 포함하고,
    상기 이상치를 추출하는 동작은,
    미리 결정된 크기의 윈도우로 상기 깊이맵을 구역별로 탐색하는 동작,
    상기 탐색하는 구역 내 깊이의 편차를 산출하는 동작,
    상기 산출된 편차로 상기 구역 중 객체의 경계를 포함하는 구역은 이상치 추출 대상에서 제외하는 동작, 및
    제외되지 않은 구역 내 제1 임계값 이상의 편차를 갖는 픽셀의 깊이를 이상치로 추출하는 동작을 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  9. 삭제
  10. 삭제
  11. 제 8 항에 있어서,
    상기 제외하는 동작은,
    상기 구역 내 깊이의 표준편차가 미리 설정된 제2 임계값 이상인 경우 객체의 경계를 포함하는 구역으로 판단하여 추출 대상에서 제외하고,
    상기 제2 임계값은 상기 제1 임계값에 비하여 큰 값인 것을 특징으로 하는 컴퓨팅 장치.
  12. 제 8 항에 있어서,
    상기 윈도우의 크기는 상기 깊이맵 내 존재하는 객체의 크기에 따라 결정되는 것을 특징으로 하는 컴퓨팅 장치.
  13. 제 8 항에 있어서,
    주변 픽셀의 깊이 비교를 통해 상기 깊이맵 내 객체의 경계 영역을 검출하는 동작을 더 포함하고,
    상기 이상치를 추출하는 동작은 상기 검출된 경계 영역을 제외한 구역의 이상치를 추출하는 것을 특징으로 하는 컴퓨팅 장치.
  14. 제 8 항에 있어서,
    상기 깊이맵 내 객체의 영역을 학습된 신경망을 통하여 세그멘테이션 정보로 추출하는 동작을 더 포함하고,
    상기 이상치를 추출하는 동작은 세그멘테이션 정보를 통해 윈도우의 크기 및 탐색 할 구역을 결정하는 것을 특징으로 하는 컴퓨팅 장치.
  15. 제 1 항 및 제 4 항 내지 제 7 항 중 어느 한 항에 따른 영상 획득 방법 을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.
KR1020220164953A 2022-11-30 2022-11-30 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 KR102525570B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220164953A KR102525570B1 (ko) 2022-11-30 2022-11-30 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164953A KR102525570B1 (ko) 2022-11-30 2022-11-30 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR102525570B1 true KR102525570B1 (ko) 2023-04-25

Family

ID=86101959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164953A KR102525570B1 (ko) 2022-11-30 2022-11-30 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR102525570B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703952A (zh) * 2023-08-09 2023-09-05 深圳魔视智能科技有限公司 过滤遮挡点云的方法、装置、计算机设备及存储介质
CN116862985A (zh) * 2023-09-01 2023-10-10 江苏中安建设集团有限公司 一种土地高精度定位电子信息化监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321571A1 (en) * 2011-02-23 2013-12-05 Koninklijke Philips N.V. Processing depth data of a three-dimensional scene
KR20140027468A (ko) * 2011-06-24 2014-03-06 소프트키네틱 소프트웨어 깊이 측정치 품질 향상
JP2017027101A (ja) * 2015-07-15 2017-02-02 凸版印刷株式会社 デプスマップ生成装置、デプスマップ生成方法及びプログラム
KR20180113043A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 깊이 영상 보정 방법 및 장치
KR102404867B1 (ko) * 2020-12-16 2022-06-07 한국전자기술연구원 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321571A1 (en) * 2011-02-23 2013-12-05 Koninklijke Philips N.V. Processing depth data of a three-dimensional scene
KR20140027468A (ko) * 2011-06-24 2014-03-06 소프트키네틱 소프트웨어 깊이 측정치 품질 향상
JP2017027101A (ja) * 2015-07-15 2017-02-02 凸版印刷株式会社 デプスマップ生成装置、デプスマップ生成方法及びプログラム
KR20180113043A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 깊이 영상 보정 방법 및 장치
KR102404867B1 (ko) * 2020-12-16 2022-06-07 한국전자기술연구원 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703952A (zh) * 2023-08-09 2023-09-05 深圳魔视智能科技有限公司 过滤遮挡点云的方法、装置、计算机设备及存储介质
CN116703952B (zh) * 2023-08-09 2023-12-08 深圳魔视智能科技有限公司 过滤遮挡点云的方法、装置、计算机设备及存储介质
CN116862985A (zh) * 2023-09-01 2023-10-10 江苏中安建设集团有限公司 一种土地高精度定位电子信息化监测方法
CN116862985B (zh) * 2023-09-01 2023-11-10 江苏中安建设集团有限公司 一种土地高精度定位电子信息化监测方法

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
KR102525570B1 (ko) 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치
US11270148B2 (en) Visual SLAM method and apparatus based on point and line features
US10540777B2 (en) Object recognition device and object recognition system
EP3680809A1 (en) Visual slam method and apparatus based on point and line characteristic
CN112880687B (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN116879870B (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112683228A (zh) 单目相机测距方法及装置
US20220277595A1 (en) Hand gesture detection method and apparatus, and computer storage medium
CN113255779A (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN118038411A (zh) 基于激光雷达与相机的远距离障碍物检测方法和系统
WO2022111682A1 (zh) 移动行人检测方法、电子设备及机器人
Fu et al. Camera-based semantic enhanced vehicle segmentation for planar lidar
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN114519681A (zh) 自动标定方法及装置、计算机可读存储介质、终端
CN112529011A (zh) 目标检测方法及相关装置
CN115836322A (zh) 图像裁剪方法与装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant