KR20190080022A - 스테레오 점군 처리장치 및 그 방법 - Google Patents

스테레오 점군 처리장치 및 그 방법 Download PDF

Info

Publication number
KR20190080022A
KR20190080022A KR1020170182183A KR20170182183A KR20190080022A KR 20190080022 A KR20190080022 A KR 20190080022A KR 1020170182183 A KR1020170182183 A KR 1020170182183A KR 20170182183 A KR20170182183 A KR 20170182183A KR 20190080022 A KR20190080022 A KR 20190080022A
Authority
KR
South Korea
Prior art keywords
point
point cloud
point group
group
depth
Prior art date
Application number
KR1020170182183A
Other languages
English (en)
Other versions
KR102464581B1 (ko
Inventor
전영재
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020170182183A priority Critical patent/KR102464581B1/ko
Publication of KR20190080022A publication Critical patent/KR20190080022A/ko
Application granted granted Critical
Publication of KR102464581B1 publication Critical patent/KR102464581B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

본 발명은 한 스테레오 점군 처리장치 및 그 방법이 개시된다. 본 발명의 스테레오 점군 처리장치는, 차량의 주행 중 점군 데이터를 획득하기 위한 제1 라이다; 제1 라이다와 점군 데이터의 획득시점이 차이나도록 설치된 제2 라이다; 점군 데이터를 획득하는 시점에서 차량의 위치와 방향을 측정하기 위한 위치측정부; 및 제1 라이다와 제2 라이다를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터로부터 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 깊이 차영상과 방향 차영상을 통해 동적점군을 추정하여 동적점군에 의한 정적점군의 폐색영역을 복원하며, 정적점군의 반사강도를 보정하는 제어부;를 포함하는 것을 특징으로 한다.

Description

스테레오 점군 처리장치 및 그 방법{APPARATUS FOR PROCESSING STEREO POINTS OF CLOUD AND METHOD THEREOF}
본 발명은 스테레오 점군 처리장치 및 그 방법에 관한 것으로서, 보다 상세하게는 MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군 데이터를 기반으로, 동적점군으로 인해 폐색된 영역을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있도록 한 스테레오 점군 처리장치 및 그 방법에 관한 것이다.
최근, 지능형 자동차에 대한 연구가 활발히 이루어지고 있으며, 지능형 자동차 기술 중 하나로 차량 사고를 방지하기 위해 개발된 운전자 보조 시스템(Driving Assistant System)이 있다.
운전자 보조 시스템(Driving Assistant System)으로는 차선이탈방지 시스템(Lane Departure Warning System), 차량충돌방지 시스템(Forward Collision Warning System), 보행자충돌방지 시스템(Pedestrian Collision Warning System) 등이 있으며, 영상인식 기술을 통해 개발되어 각종 차량 사고를 줄이는데 사용되고 있다.
차선, 차량, 보행자는 운전자 보조시스템의 차량 사고 방지를 위한 대표적인 검출 대상이며, 근래에는, 횡단보도와 같은 도로 노면표시 또한 사고 방지를 위한 중요 인지 대상으로서 여겨지게 되어, 도로 노면표시에 대한 인식 기술이 요구되고 있다.
하지만, 도로 노면표시는 여타 장애물과는 달리 도로 노면에 매우 얇게 색칠되어 있는 형태를 띠고 많은 잡음에 노출되어 있어서, 카메라 센서의 입력 영상이 아닌 초음파 센서와 같은 센서로 계측하기가 어렵다.
따라서 횡단보도와 같은 도로 노면표시를 검출하기 위해서는 도로상에 존재하는 여타 장애물에 비해 영상인식 기술의 의존성이 클 수밖에 없는 문제점이 있다.
본 발명의 배경기술은 대한민국 등록특허공보 제1595317호(2016.02.18. 공고, 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템)에 개시되어 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군 데이터를 기반으로, 동적점군으로 인해 폐색된 영역을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있도록 한 스테레오 점군 처리장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 한 스테레오 점군 처리장치는, 차량의 주행 중 점군 데이터를 획득하기 위한 제1 라이다; 제1 라이다와 점군 데이터의 획득시점이 차이나도록 설치된 제2 라이다; 점군 데이터를 획득하는 시점에서 차량의 위치와 방향을 측정하기 위한 위치측정부; 및 제1 라이다와 제2 라이다를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터로부터 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 깊이 차영상과 방향 차영상을 통해 동적점군을 추정하여 동적점군에 의한 정적점군의 폐색영역을 복원하며, 정적점군의 반사강도를 보정하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에서 제어부는, 제1 라이다를 통해 획득한 제1 점군 데이터와 제2 라이다를 통해 획득한 제2 점군 데이터에 대해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 깊이&방향 맵 생성부; 깊이&방향 맵 생성부로부터 생성된 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하고, 동적점군과의 최대거리를 추정하며, 동적점군의 깊이 맵 상 픽셀 위치의 점군밀도를 계산하여 동적점군에 의한 정적점군의 폐색영역을 복원하는 폐색영역 복원부; 정적점군을 이용하여 정적점군의 반사강도 맵을 생성하는 정적점군 반사강도 맵 생성부; 및 정적점군 반사강도 맵 생성부에서 생성된 정적점군의 반사강도 맵을 이용하여 폐색영역 복원부에서 복원된 정적점군의 반사강도를 보정하는 반사강도 보정부;를 포함하는 것을 특징으로 한다.
본 발명에서 폐색영역 복원부는, 깊이&방향 맵 생성부로부터 생성된 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산하여 교집합을 구하고, 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인하여 동적점군을 추정하는 동적점군 추정부; 제1 내지 제2 깊이 맵 상 동적점군의 픽셀 위치에서의 점군밀도를 계산하는 점군밀도 계산부; 및 제1 내지 제2 깊이 맵 상 동적점군의 픽셀 위치까지의 최대거리를 추정하는 최대거리 추정부;를 포함하는 것을 특징으로 한다.
본 발명에서 폐색영역 복원부는, 동적점군의 주변 점군밀도가 높을 경우 최대거리와의 차이를 계산하여 그 차이만큼 동적점군을 이동하여 복원하는 것을 특징으로 한다.
본 발명에서 폐색영역 복원부는, 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 스테레오 점군 처리방법은, 제어부가 제1 라이다와 제 2라이다로부터 시점을 달리한 제1 내지 제2 점군 데이터를 입력받는 단계; 제어부가 각각 획득한 제1 내지 제2 점군 데이터를 통해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 단계; 제어부가 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하는 단계; 제어부가 제1 내지 제2 깊이 맵에서 동적점군의 픽셀 위치에서의 점군밀도를 계산하는 단계; 제어부가 동적점군의 주변 점군밀도와 같은 위치의 정적점군의 주변 점군밀도를 기반으로 폐색영역을 복원하는 단계; 및 제어부가 정적점군의 반사강도를 보정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 단계는, 제어부가 제1 라이다와 제2 라이다로부터 입력된 각각의 제1 내지 제2 점군 데이터에 대해 후처리하여 측정 시 위치와 방향을 부여하는 것을 특징으로 한다.
본 발명에서 동적점군을 추정하는 단계는, 제어부가 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵으로부터 각각 깊이 차영상과 방향 차영상을 계산하는 단계; 제어부가 깊이 차영상과 방향 차영상의 교집합을 계산하는 단계; 제어부가 교집합을 계산하여 점군 데이터의 이미지를 투영하는 단계; 및 제어부가 투영된 이미지에서 교집합의 범위에 포함되는 점군을 동적점군으로 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 폐색영역을 복원하는 단계는, 제어부가 동적점군의 주변 점군밀도가 높을 경우 제1 내지 제2 깊이 맵에서 동적점군의 픽셀위치로부터 최대거리를 추정하여 최대거리와의 차이를 계산하고, 그 차이만큼 동적점군을 이동하여 복원하는 것을 특징으로 한다.
본 발명에서 폐색영역을 복원하는 단계는, 제어부가 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정점점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 한 스테레오 점군 처리장치 및 그 방법은 MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군을 기반으로 동적물체로 인해 폐색된 영역을 정적점군을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 라이다의 설치상태를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 맵의 생성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 정보의 추정과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 위치보정을 통한 폐색영역의 복원을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 복사를 통한 폐색영역의 복원을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법에서 동적점군의 추정과정을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 한 스테레오 점군 처리장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 라이다의 설치상태를 설명하기 위한 도면이며, 도 3은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 맵의 생성을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 깊이 정보의 추정과정을 설명하기 위한 도면이며, 도 5는 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 위치보정을 통한 폐색영역의 복원을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 스테레오 점군 처리장치에서 점군의 복사를 통한 폐색영역의 복원을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 스테레오 점군 처리장치는, 제1 라이다(10), 제2 라이다(20), 위치측정부(30) 및 제어부(40)를 포함한다.
제1 라이다(10)는 차량의 주행 중 제1 점군 데이터를 획득하여 제어부(40)에 제공한다.
여기서, 차량(5)은 MMS(Mobile Mapping System) 차량으로 위성위치정보 시스템(GPS), 라이다(LiDAR), 카메라 등의 각종 센서들을 탑재하여 주변에 있는 지형 지물의 위치와 시각정보를 취득하는 차량일 수 있다.
제 2라이다(20)는 제1 라이다(10)와 점군 데이터의 획득시점이 차이나도록 설치되어 획득한 제2 점군 데이터를 제어부(40)에 제공한다.
위치측정부(30)는 점군 데이터를 획득하는 시점에서 차량(5)의 위치와 방향을 측정하여 제어부(40)에 제공한다.
여기서, 위치측정부(30)는 위성위치정보 시스템 뿐만 아니라 관성측정장치를 더 포함할 수도 있다.
본 실시예에서 제1 내지 제2 라이다(10 ~ 20)는 도 2에 도시된 바와 같이 센서 스캔영역 및 방향이 상이하여, t-1 시점에서는 (가)와 같이 제2 라이다(20)를 통해 획득한 점군이 t 시점에서는 (나)와 같이 제1 라이다(10)를 통해 획득된다.
이와 같이 스테레오로 점군 데이터를 획득할 경우, 동적물체 표면상의 점군 데이터를 제1 라이다(10)에서는 획득하고 제2 라이다(20)에서는 획득하지 못하면, 제1 라이다(10)는 동적점군은 획득하지만 이로 인한 폐색구간에 대한 점군은 획득하지 못한다. 반면, 제2 라이다(20)는 제1 라이다(10)에서 획득하지 못한 폐색구간의 점군을 획득할 수 있다.
제어부(40)는 제1 라이다(10)와 제2 라이다(20)를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터를 후처리하여 위치와 방향을 부여한 후 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 깊이 차영상과 방향 차영상을 통해 동적점군을 추정하여 동적점군에 의한 정적점군의 폐색영역을 복원하며, 정적점군의 반사강도를 보정한다.
여기서, 제어부(40)는 깊이&방향 맵 생성부(42), 폐색영역 복원부(44), 정적점군 반사강도 맵 생성부 (46)및 반사강도 보정부(48)를 포함하여 구성될 수 있다.
깊이&방향 맵 생성부(42)는 제1 라이다(10)를 통해 획득한 제1 점군 데이터와 제2 라이다(20)를 통해 획득한 제2 점군 데이터에 대해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성할 수 있다.
도 3에 도시된 바와 같이 MMS 차량의 주행 경로선을 참조하여 특정 위치와 방향에 가상 카메라를 정의하여 3차원 공간상에 그릴 수 있다.
즉, 제1 내지 제2 라이다(10 ~ 20)에서 획득한 제1 내지 제2 점군 데이터를 기반으로 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하기 위해 텍셀 당 각 2byte의 저장 공간을 할당할 경우, 가상 카메라의 센서 중심으로부터 가장 먼저 관측되는 점군과의 거리 정보를 최대 655.35미터까지 2차원 맵에 저장할 수 있다. 이때, 깊이 정보는 단위 수치 당 1cm의 정밀도를 가질 수 있으나 제1 내지 제2 라이다의 정밀도보다 정밀하게 저장할 수는 없다.
가상 카메라의 뷰 프러스텀 내 점군 데이터들은 2차원 평면으로 투영되며 투영된 위치의 텍셀에서 라디아와의 거리를 1cm 단위로 절삭하여 저장할 수 있다.
그리고 각 점 실제 표면 상에 분포되어 있다고 가정할 때 점의 방향성 또한 활용될 수 있으므로 방향 맵을 생성할 필요가 있다. 점군의 방향은 한 점의 주변 점군의 기하정보를 이용하여 표면의 법선을 추정함으로써 계산할 수 있다. 일반적으로, 주변 점군 데이터를 활용한 주성분 분석 등의 방법을 통해 수행할 수 있다.
또한, 투영되는 방향 맵의 텍셀에 RGB 색상 값으로 방향 벡터를 정규화하여 저장할 수 있다. 이때 방향 맵을 생성하는 과정에서 각 점의 주변 점군을 획득해야 하므로 지역별 점군밀도도 함께 계산할 수도 있다.
한편, 점군밀도의 부족으로 깊이 맵의 모든 텍셀에 대해 깊이 정보를 저장하기 어려울 경우, 도 4에 도시된 바와 같이 Pull-Push 방법으로 빈 공간에 대한 깊이 정보를 추정할 수 있다. 즉, 평균 또는 최소값 단계별 다운 스케일을 수행한 후, 다시 이중 선형 필터링 단계별 업 스케일을 수행하여 추정할 수 있다.
폐색영역 복원부(44)는 깊이&방향 맵 생성부(42)로부터 생성된 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하고, 동적점군과의 최대거리를 추정하며, 동적점군의 깊이 맵 상 픽셀 위치의 점군밀도를 계산하여 동적점군에 의한 정적점군의 폐색영역을 복원한다.
이때 폐색영역 복원부(44)는 동적점군 추정부(442), 점군밀도 계산부(444) 및 최대거리 추정부(446)를 포함할 수 있다.
동적점군 추정부(442)는 깊이&방향 맵 생성부(42)로부터 생성된 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산하여 교집합을 구하고, 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인하여 동적점군을 추정한다.
즉, 제1 내지 제2 점군 데이터를 이미지에 투영하여 교집합의 범위에 들어오는 경우 동적점군으로 추정하고 교집합의 범위를 벗어나는 경우 정적점군으로 추정할 수 있다.
점군밀도 계산부(442)는 제1 내지 제2 깊이 맵 상에서 동적점군의 픽셀 위치에서의 점군밀도를 계산한다.
최대거리 추정부(446)는 제1 내지 제2 깊이 맵에서 동적점군의 픽셀위치로부터 최대거리를 추정한다.
위에서 폐색영역 복원부(42)는 동적점군의 주변 점군밀도가 높을 경우 최대거리와의 차이를 계산하여 그 차이만큼 동적점군을 이동하여 복원할 수 있다.
도 5에 도시된 바와 같이 (가)는 제1 라이다(10)의 제1 점군 데이터이고, (나)는 제2 라이다(20)의 제2 점군 데이터이며, (다)는 제1 라이다(10)의 탑뷰 이미지이고, (라)는 MMS 차량의 주행 방향에 대한 수직 단면으로써, 차량의 정면에서 바라본 점군의 단면을 나타낸다. 점군 폐색이 발생하는 경우 동일한 위치에 투영되는 동적점군, 정적점군 및 라이다 사이의 거리는 상이할 수 있다. 이때 하나의 라이다와 동적점군까지의 거리는 상대적으로 짧은 거리가 되고, 다른 라이다와 정적점군 사이의 거리는 상대적으로 긴 거리가 된다.
이 거리들의 차이를 벡터의 크기로 사용하고 가상 카메라가 점을 바라보는 방향을 벡터의 방향으로 사용하여 3차원 평행 이동변환을 수행하여 (다)에 도시된 바와 같이 동적점군을 폐색영역으로 이동시켜 복원할 수 있다.
또한, 폐색영역 복원부(42)는, 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원할 수 있다.
도 6에 도시된 바와 같이 깊이 맵상에서 픽셀 위치와 같은 동적점군과 정적점군의 주변 점군밀도를 비교하여, 동적점군의 밀도가 상대적으로 낮고 최대거리에 위치한 다른 라이다의 점군의 밀도가 충분히 높으면, 이를 복사하여 옮겨놓는 것으로 복원 작업을 대신할 수 있다. 또한, 기존의 최대거리에 있던 점군은 정적 점군일 확률이 높으므로 그 반사 강도를 그대로 폐색 영역으로 이동시킨 점군에 부여하는 것으로 폐색영역의 형상과 밝기를 동시에 복원할 수 있다.
정적점군 반사강도 맵 생성부(46)는 동적점군을 추정할 때 교집합의 범위를 벗어난 정적점군을 이용하여 정적점군의 반사강도 맵을 생성한다.
반사강도 보정부(48)는 정적점군 반사강도 맵 생성부(46)에서 생성된 정적점군의 반사강도 맵을 이용하여 폐색영역 복원부(42)에서 복원된 정적점군의 반사강도를 보정할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 스테레오 점군 처리장치에 따르면, MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군을 기반으로 동적물체로 인해 폐색된 영역에 대해 정적점군을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법을 설명하기 위한 흐름도이고, 도 8은 본 발명의 일 실시예에 따른 스테레오 점군 처리방법에서 동적점군의 추정과정을 설명하기 위한 흐름도이다.
도 7에 도시된 바와 같이 본 발명의 일 실시예에 따른 스테레오 점군 처리방법에서는 먼저, 제어부(40)가 제1 라이다(10)와 제 2라이다(20)로부터 시점을 달리한 제1 내지 제2 점군 데이터를 입력받다(S10).
본 실시예에서 제1 내지 제2 라이다(10 ~ 20)는 도 2에 도시된 바와 같이 센서 스캔영역 및 방향이 상이하여, t-1 시점에서는 (가)와 같이 제2 라이다(20)를 통해 획득한 점군이 t 시점에서는 (나)와 같이 제1 라이다(10)를 통해 획득된다.
또한, 제어부(40)는 제1 라이다(10)와 제2 라이다(20)로부터 입력된 각각의 제1 내지 제2 점군 데이터에 대해 후처리하여 측정 시 위치와 방향을 부여할 수 있다.
S10 단계에서 제어부(40)가 각각 획득한 제1 내지 제2 점군 데이터를 통해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성한다(S20).
제어부(40)는 깊이 맵을 생성할 때, 도 3에 도시된 바와 같이 MMS 차량의 주행 경로선을 참조하여 특정 위치와 방향에 가상 카메라를 정의하여 3차원 공간상에 그릴 수 있다.
즉, 제1 내지 제2 라이다(10 ~ 20)에서 획득한 제1 내지 제2 점군 데이터를 기반으로 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하기 위해 텍셀 당 각 2byte의 저장 공간을 할당할 경우, 가상 카메라의 센서 중심으로부터 가장 먼저 관측되는 점군과의 거리 정보를 최대 655.35미터까지 2차원 맵에 저장할 수 있다. 이때, 깊이 정보는 단위 수치 당 1cm의 정밀도를 가질 수 있으나 제1 내지 제2 라이다의 정밀도보다 정밀하게 저장할 수는 없다.
가상 카메라의 뷰 프러스텀 내 점군 데이터들은 2차원 평면으로 투영되며 투영된 위치의 텍셀에서 라디아와의 거리를 1cm 단위로 절삭하여 저장할 수 있다.
그리고 각 점 실제 표면 상에 분포되어 있다고 가정할 때 점의 방향성 또한 활용될 수 있으므로 방향 맵을 생성할 필요가 있다. 점군의 방향은 한 점의 주변 점군의 기하정보를 이용하여 표면의 법선을 추정함으로써 계산할 수 있다. 일반적으로, 주변 점군 데이터를 활용한 주성분 분석 등의 방법을 통해 수행할 수 있다.
또한, 투영되는 방향 맵의 텍셀에 RGB 색상 값으로 방향 벡터를 정규화하여 저장할 수 있다. 이때 방향 맵을 생성하는 과정에서 각 점의 주변 점군을 획득해야 하므로 지역별 점군밀도도 함께 계산할 수도 있다.
한편, 제어부(40)는 점군밀도의 부족으로 깊이 맵의 모든 텍셀에 대해 깊이 정보를 저장하기 어려울 경우, 도 4에 도시된 바와 같이 Pull-Push 방법으로 빈 공간에 대한 깊이 정보를 추정할 수 있다. 즉, 평균 또는 최소값 단계별 다운 스케일을 수행한 후, 다시 이중 선형 필터링 단계별 업 스케일을 수행하여 추정할 수 있다.
S20 단계에서 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성한 후 제어부(40)는 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 기반으로 동적점군을 추정할 수 있다(S30).
S30 단계에서 동적점군을 추정하기 위해 제어부(40)는 도 8에 도시된 바와 같이 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산한다(S310).
S310 단계에서 깊이 차영상과 방향 차영상을 계산한 후, 제어부(40)는 깊이 차영상과 방향 차영상의 교집합을 계산하여 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인한다(S320).
S320 단계에서 교집합을 계산한 후, 제어부(40)는 제1 내지 제2 점군 데이터를 이미지에 투영한다(S330).
S330 단계에서 이미지를 투영한 후, 제어부(40)는 투영된 점군들이 교집합의 범위에 포함되는지 판단한다(S340).
S340 단계에서 교집합의 범위에 포함되는지 판단하여 교집합의 범위에 포함되는 경우, 제어부(40)는 교집합의 범위에 포함되는 점군을 동적점군으로 추정할 수 있다(S350).
S340 단계에서 교집합의 범위에 포함되는지 판단하여 교집합의 범위에 포함되지 않는 경우, 제어부(40)는 교집합의 범위에 포함되지 않는 점군을 정적점군으로 추정할 수 있다(S360).
S30 단계에서 동적점군을 추정한 후 제어부(40)는 제1 내지 제2 깊이 맵에서 동적점군의 픽셀 위치에서의 점군밀도를 계산할 수 있다(S40).
S40 단계에서 점군밀도를 계산하고, 제어부(40)는 제1 내지 제2 깊이 맵에서 동적점군의 픽셀위치로부터 최대거리를 추정할 수 있다(S50).
S50 단계에서 최대거리를 추정한 후 제어부(40)는 동적점군의 주변 점군밀도와 같은 위치의 정적점군의 주변 점군밀도를 기반으로 폐색영역을 복원할 수 있다(S60).
여기서, 제어부(40)는 동적점군의 주변 점군밀도가 높을 경우 최대거리와의 차이를 계산하여 그 차이만큼 동적점군을 이동하여 복원할 수 있다.
도 5에 도시된 바와 같이 (가)는 제1 라이다(10)의 제1 점군 데이터이고, (나)는 제2 라이다(20)의 제2 점군 데이터이며, (다)는 제1 라이다(10)의 탑뷰 이미지이고, (라)는 MMS 차량의 주행 방향에 대한 수직 단면으로써, 차량의 정면에서 바라본 점군의 단면을 나타낸다. 점군 폐색이 발생하는 경우 동일한 위치에 투영되는 동적점군, 정적점군 및 라이다 사이의 거리는 상이할 수 있다. 이때 하나의 라이다와 동적점군까지의 거리는 상대적으로 짧은 거리가 되고, 다른 라이다와 정적점군 사이의 거리는 상대적으로 긴 거리가 된다.
이 거리들의 차이를 벡터의 크기로 사용하고 가상 카메라가 점을 바라보는 방향을 벡터의 방향으로 사용하여 3차원 평행 이동변환을 수행하여 (다)에 도시된 바와 같이 동적점군을 폐색영역으로 이동시켜 복원할 수 있다.
또한, 제어부(40)는 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 정적점군의 주변 점군밀도가 높으면, 동적점군을 제거하고 정적점군을 복사하여 복원할 수 있다.
도 6에 도시된 바와 같이 깊이 맵상에서 픽셀 위치와 같은 동적점군과 정적점군의 주변 점군밀도를 비교하여, 동적점군의 밀도가 상대적으로 낮고 최대거리에 위치한 다른 라이다의 점군의 밀도가 충분히 높으면, 이를 복사하여 옮겨놓는 것으로 복원 작업을 대신할 수 있다. 또한, 기존의 최대거리에 있던 점군은 정적 점군일 확률이 높으므로 그 반사강도를 그대로 폐색 영역으로 이동시킨 점군에 부여하는 것으로 폐색영역의 형상과 밝기를 동시에 복원할 수 있다.
S30 단계에서 폐색영역을 복원한 후 제어부(40)는 동적점군을 추정할 때 교집합의 범위를 벗어난 정적점군을 기반으로 생성한 정적점군의 반사강도 맵을 이용하여 복원된 정적점군의 반사강도를 보정할 수 있다(S70).
상술한 바와 같이, 본 발명의 실시예에 의한 스테레오 점군 처리방법에 따르면, MMS(Mobile Mapping System) 차량에서 스테레오 라이다(LiDAR) 센서를 통해 측정한 스테레오 점군을 기반으로 동적물체로 인해 폐색된 영역에 대해 정적점군을 복원하여 지도 객체 추출의 정확성을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 제1 라이다 20 : 제2 라이다
30 : 위치측정부 40 : 제어부
42 : 깊이&방향 맵 생성부 44 : 폐색영역 복원부
46 : 정적점군 반사강도 맵 생성부 48 : 반사강도 보정부
442 : 동적점군 추정부 444 : 점군밀도 계산부
446 : 최대거리 추정부

Claims (10)

  1. 차량의 주행 중 점군 데이터를 획득하기 위한 제1 라이다;
    상기 제1 라이다와 점군 데이터의 획득시점이 차이나도록 설치된 제2 라이다;
    상기 점군 데이터를 획득하는 시점에서 차량의 위치와 방향을 측정하기 위한 위치측정부; 및
    상기 제1 라이다와 상기 제2 라이다를 통해 각각 획득한 제1 점군 데이터와 제2 점군 데이터로부터 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하여 깊이 차영상과 방향 차영상을 계산하고, 상기 깊이 차영상과 상기 방향 차영상을 통해 동적점군을 추정하여 상기 동적점군에 의한 정적점군의 폐색영역을 복원하며, 상기 정적점군의 반사강도를 보정하는 제어부;를 포함하는 것을 특징으로 하는 스테레오 점군 처리장치.
  2. 제 1항에 있어서, 상기 제어부는, 상기 제1 라이다를 통해 획득한 상기 제1 점군 데이터와 상기 제2 라이다를 통해 획득한 상기 제2 점군 데이터에 대해 각각 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 생성하는 깊이&방향 맵 생성부;
    상기 깊이&방향 맵 생성부로부터 생성된 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 이용하여 상기 동적점군을 추정하고, 상기 동적점군과의 최대거리를 추정하며, 상기 동적점군의 깊이 맵 상 픽셀 위치의 점군밀도를 계산하여 상기 동적점군에 의한 상기 정적점군의 상기 폐색영역을 복원하는 폐색영역 복원부;
    상기 정적점군을 이용하여 정적점군의 반사강도 맵을 생성하는 정적점군 반사강도 맵 생성부; 및
    상기 정적점군 반사강도 맵 생성부에서 생성된 상기 정적점군의 반사강도 맵을 이용하여 상기 폐색영역 복원부에서 복원된 상기 정적점군의 반사강도를 보정하는 반사강도 보정부;를 포함하는 것을 특징으로 하는 스테레오 점군 처리장치.
  3. 제 2항에 있어서, 상기 폐색영역 복원부는,
    상기 깊이&방향 맵 생성부로부터 생성된 상기 제1 내지 제2 깊이 맵으로부터 깊이 차영상과 상기 제1 내지 제2 방향 맵으로부터 방향 차영상을 계산하여 교집합을 구하고, 상기 제1 내지 제2 점군 데이터에서 거리와 방향이 동시에 변경된 위치를 확인하여 상기 동적점군을 추정하는 동적점군 추정부;
    상기 제1 내지 제2 깊이 맵 상 상기 동적점군의 픽셀 위치에서의 상기 점군밀도를 계산하는 점군밀도 계산부; 및
    상기 제1 내지 제2 깊이 맵 상 상기 동적점군의 픽셀 위치까지의 상기 최대거리를 추정하는 최대거리 추정부;를 포함하는 것을 특징으로 하는 스테레오 점군 처리장치.
  4. 제 2항에 있어서, 상기 폐색영역 복원부는, 상기 동적점군의 주변 점군밀도가 높을 경우 상기 최대거리와의 차이를 계산하고, 그 차이만큼 상기 동적점군을 이동하여 복원하는 것을 특징으로 하는 스테레오 점군 처리장치.
  5. 제 2항에 있어서, 상기 폐색영역 복원부는, 상기 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 상기 정적점군의 주변 점군밀도가 높으면, 상기 동적점군을 제거하고 상기 정적점군을 복사하여 복원하는 것을 특징으로 하는 스테레오 점군 처리장치.
  6. 제어부가 제1 라이다와 제 2라이다로부터 시점을 달리한 제1 내지 제2 점군 데이터를 입력받는 단계;
    상기 제어부가 각각 획득한 상기 제1 내지 제2 점군 데이터를 통해 각각 제1 내지 제2 깊이 맵과 제1 내지 제2 방향 맵을 생성하는 단계;
    상기 제어부가 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 이용하여 동적점군을 추정하는 단계;
    상기 제어부가 상기 제1 내지 제2 깊이 맵에서 상기 동적점군의 픽셀 위치에서의 점군밀도를 계산하는 단계;
    상기 제어부가 상기 동적점군의 주변 점군밀도와 같은 위치의 정적점군의 주변 점군밀도를 기반으로 폐색영역을 복원하는 단계; 및
    상기 제어부가 폐색영역을 복원한 후 상기 정적점군의 반사강도를 보정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 점군 처리방법.
  7. 제 6항에 있어서, 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵을 생성하는 단계는, 상기 제어부가 상기 제1 라이다와 상기 제2 라이다로부터 입력된 각각의 상기 제1 내지 제2 점군 데이터에 대해 후처리하여 측정 시 위치와 방향을 부여하는 것을 특징으로 하는 스테레오 점군 처리방법.
  8. 제 6항에 있어서, 상기 동적점군을 추정하는 단계는,
    상기 제어부가 상기 제1 내지 제2 깊이 맵과 상기 제1 내지 제2 방향 맵으로부터 각각 깊이 차영상과 방향 차영상을 계산하는 단계;
    상기 제어부가 상기 깊이 차영상과 상기 방향 차영상의 교집합을 계산하는 단계;
    상기 제어부가 상기 교집합을 계산하여 점군 데이터의 이미지를 투영하는 단계; 및
    상기 제어부가 투영된 이미지에서 상기 교집합의 범위에 포함되는 점군을 상기 동적점군으로 추정하는 단계;를 포함하는 것을 특징으로 하는 스테레오 점군 처리방법.
  9. 제 6항에 있어서, 상기 폐색영역을 복원하는 단계는, 상기 제어부가 상기 동적점군의 주변 점군밀도가 높을 경우 상기 제1 내지 제2 깊이 맵에서 상기 동적점군의 픽셀위치로부터 최대거리를 추정하여 상기 최대거리와의 차이를 계산하고, 그 차이만큼 상기 동적점군을 이동하여 복원하는 것을 특징으로 하는 스테레오 점군 처리방법.
  10. 제 6항에 있어서, 상기 폐색영역을 복원하는 단계는, 상기 제어부가 상기 동적점군의 깊이 맵 상 픽셀 위치와 같은 위치의 상기 정점점군의 주변 점군밀도가 높으면, 상기 동적점군을 제거하고 상기 정적점군을 복사하여 복원하는 것을 특징으로 하는 스테레오 점군 처리방법.
KR1020170182183A 2017-12-28 2017-12-28 스테레오 점군 처리장치 및 그 방법 KR102464581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170182183A KR102464581B1 (ko) 2017-12-28 2017-12-28 스테레오 점군 처리장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170182183A KR102464581B1 (ko) 2017-12-28 2017-12-28 스테레오 점군 처리장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190080022A true KR20190080022A (ko) 2019-07-08
KR102464581B1 KR102464581B1 (ko) 2022-11-07

Family

ID=67256500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170182183A KR102464581B1 (ko) 2017-12-28 2017-12-28 스테레오 점군 처리장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102464581B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041304A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 도로 경계 추출 장치 및 방법
CN112767506A (zh) * 2020-12-31 2021-05-07 维沃移动通信有限公司 图像处理方法、装置和电子设备
KR20220081135A (ko) * 2020-12-08 2022-06-15 국민대학교산학협력단 객체 검출 장치 및 방법
CN115079128A (zh) * 2022-08-23 2022-09-20 深圳市欢创科技有限公司 一种激光雷达点云数据去畸变的方法、装置及机器人
KR102616435B1 (ko) * 2023-07-21 2023-12-21 주식회사 모빌테크 지도 갱신 방법 및 이를 실행하기 위하여 기록매체에기록된 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529475A (ja) * 2013-06-14 2016-09-23 ウーバー テクノロジーズ，インコーポレイテッド ライダに基づいたオブジェクト移動の分類
KR20170083028A (ko) * 2014-09-11 2017-07-17 사이버옵틱스 코포레이션 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529475A (ja) * 2013-06-14 2016-09-23 ウーバー テクノロジーズ，インコーポレイテッド ライダに基づいたオブジェクト移動の分類
KR20170083028A (ko) * 2014-09-11 2017-07-17 사이버옵틱스 코포레이션 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gheorghii Postica 등, Robust Moving Objects Detection in Lidar Data Exploiting Visual Cues, arXiv:1609.09267v1(2016.09.29.) *
P. Biasuttia 등, DISOCCLUSION OF 3D LIDAR POINT CLOUDS USING RANGE IMAGES, ISPRS 2017(2017.06.06.) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041304A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 도로 경계 추출 장치 및 방법
KR20220081135A (ko) * 2020-12-08 2022-06-15 국민대학교산학협력단 객체 검출 장치 및 방법
CN112767506A (zh) * 2020-12-31 2021-05-07 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN115079128A (zh) * 2022-08-23 2022-09-20 深圳市欢创科技有限公司 一种激光雷达点云数据去畸变的方法、装置及机器人
CN115079128B (zh) * 2022-08-23 2022-12-09 深圳市欢创科技有限公司 一种激光雷达点云数据去畸变的方法、装置及机器人
KR102616435B1 (ko) * 2023-07-21 2023-12-21 주식회사 모빌테크 지도 갱신 방법 및 이를 실행하기 위하여 기록매체에기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR102464581B1 (ko) 2022-11-07

Similar Documents

Publication Publication Date Title
KR102464581B1 (ko) 스테레오 점군 처리장치 및 그 방법
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
CN108692719B (zh) 物体检测装置
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
EP3032818A1 (en) Image processing device and markers
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
JP2017010553A (ja) 道路境界物の検出方法及び検出装置
JP2011134207A (ja) 運転記録装置および地図作成システム
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2010287029A (ja) 周辺表示装置
US20190362512A1 (en) Method and Apparatus for Estimating a Range of a Moving Object
JP5548212B2 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
KR102441100B1 (ko) Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
CN111382591B (zh) 一种双目相机测距校正方法及车载设备
CN104913762B (zh) 用于估计行驶中的车辆和对象之间的距离的方法和装置
Leu et al. High speed stereo vision based automotive collision warning system
US11715277B2 (en) Perception system for autonomous vehicles
KR20180061803A (ko) 도로면 폐색 영역 복원 장치 및 방법
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2018036225A (ja) 状態推定装置
CN110986887A (zh) 物体尺寸检测方法、测距方法、存储介质及单目摄像头
JP2017211791A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3435286A1 (en) Imaging control device and imaging control method
JP2018194417A (ja) 位置推定装置、移動装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant