KR102056147B1 - 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 - Google Patents

자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 Download PDF

Info

Publication number
KR102056147B1
KR102056147B1 KR1020160167656A KR20160167656A KR102056147B1 KR 102056147 B1 KR102056147 B1 KR 102056147B1 KR 1020160167656 A KR1020160167656 A KR 1020160167656A KR 20160167656 A KR20160167656 A KR 20160167656A KR 102056147 B1 KR102056147 B1 KR 102056147B1
Authority
KR
South Korea
Prior art keywords
data
point group
distance data
vehicle
distance
Prior art date
Application number
KR1020160167656A
Other languages
English (en)
Other versions
KR20180066618A (ko
Inventor
김수연
김현수
Original Assignee
(주)엠아이테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이테크 filed Critical (주)엠아이테크
Priority to KR1020160167656A priority Critical patent/KR102056147B1/ko
Publication of KR20180066618A publication Critical patent/KR20180066618A/ko
Application granted granted Critical
Publication of KR102056147B1 publication Critical patent/KR102056147B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 데이터 획득부와, 상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 데이터 정합부와, 상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 연산부, 및 상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 제어부를 포함하는 자율주행차량을 위한 데이터 정합 장치를 제공한다.
본 발명에 의하면, 자율주행차량의 주행 중에 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공함에 따라, 자율주행차량의 안정성을 높일 수 있음은 물론 운전자에게 주변 환경 및 주행 정보를 시각화하여 효과적으로 전달할 수 있는 이점이 있다.

Description

자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치{Registration method of distance data and 3D scan data for autonomous vehicle and method thereof}
본 발명은 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 매핑할 수 있는 자율주행차량을 위한 데이터 정합 방법 및 장치에 관한 것이다.
자율주행차량은 주변 주행 환경을 인식하여 차량의 경로를 자동으로 제어하는 차량을 의미한다. 주변 환경을 인식하는 센서에는 라이다(Lidar), 레이더(Radar), 2D 카메라, 3D 스캐너, 스테레오 비전 등이 존재하며, 이들 센서로부터 거리 및 형상 정보를 획득할 수 있다.
최근에는 거리 및 형상 정보 획득 기기들을 복합적으로 활용하는 기법이 주로 사용되고 있다. 여기서 각각의 센서에 획득한 2D/3D 거리 및 형상 정보를 통합하는 과정은 주행 경로 계산 및 차량 제어를 위해 필수적인 전처리 과정 중 하나로 볼 수 있다.
더욱이, 자율 주행차량의 안정성을 고려하여 본다면, 차량 주행 중에 실시간 변화하는 거리 및 형상 정보를 빠르고 효과적으로 통합하여 시각화하는 기술이 절실히 요구된다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1613849호(2016.04.29 공고)에 개시되어 있다.
본 발명은, 차량의 주행 중에 획득되는 라이다 센서의 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공할 수 있는 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치를 제공하는데 목적이 있다.
본 발명은, 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 데이터 획득부와, 상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 데이터 정합부와, 상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 연산부, 및 상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 제어부를 포함하는 자율주행차량을 위한 데이터 정합 장치를 제공한다.
여기서, 상기 데이터 정합 장치는, 상기 매핑한 결과 영상을 시각화하여 제공하는 출력부를 더 포함할 수 있다.
또한, 상기 연산부는, ICP 알고리즘을 사용하여 상기 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 상기 좌표 변환 행렬을 산출할 수 있다.
그리고, 본 발명은, 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 단계와, 상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 단계와, 상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 단계, 및 상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 단계를 포함하는 자율주행차량을 위한 데이터 정합 방법을 제공한다.
본 발명에 따른 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치에 따르면, 자율주행차량의 주행 중에 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공함에 따라, 자율주행차량의 안정성을 높일 수 있음은 물론 운전자에게 주변 환경 및 주행 정보를 시각화하여 효과적으로 전달할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 자율주행차량을 위한 데이터 정합 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 장치를 이용한 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법을 나타낸 도면이다.
도 3은 본 발명의 실시예에서 라이다 센서와 3차원 스캐너가 차량에 설치된 모습을 나타낸 도면이다.
도 4는 본 발명의 실시예에서 센서 데이터를 획득하는 모습을 예시한 도면이다.
도 5는 본 발명의 실시예에서 획득되는 거리 데이터와 3차원 점군 데이터의 좌표계를 설명하는 도면이다.
도 6은 본 발명의 실시예에서 좌표 변환 행렬을 연산하는 개념을 설명하는 도면이다.
도 7은 본 발명의 실시예에서 실시간 제공되는 데이터 매핑 결과를 예시한 도면이다.
도 8은 본 발명의 실시예에서 센서 정보 통합 소프트웨어 플랫폼을 제공하는 모습을 설명하는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 자율주행차량을 위한 데이터 정합 장치의 구성을 나타낸 도면이다. 도 1에 도시된 것과 같이, 본 발명의 실시예에 따른 데이터 정합 장치(100)는 데이터 획득부(110), 데이터 정합부(120), 연산부(130), 제어부(140), 출력부(150)를 포함한다.
데이터 획득부(110)는 차량에 설치된 라이다(Lidar) 센서(10) 및 3차원 스캐너(20)를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군(point cloud) 데이터를 각각 획득한다. 3차원 점군 데이터는 기 공지된 데이터 종류의 하나이므로 상세한 설명은 생략한다.
데이터 정합부(120)는 획득한 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출한다. 데이터 정합 방법은 기 공지된 방식 중에서 선택적으로 사용될 수 있다.
연산부(130)는 검출한 복수의 대응점의 좌표를 이용하여 거리 데이터와 3차원 점군 데이터 간의 좌표 변환 행렬을 산출한다. 산출한 좌표 변환 행렬은 추후 차량의 주행 중에 획득되는 거리 데이터를 3차원 점군 데이터의 공간 상에 실시간 매핑하는데 사용된다.
제어부(140)는 차량의 주행 중에 거리 데이터 및 3차원 점군 데이터가 획득되면, 앞서 구하여진 좌표 변환 행렬을 이용하여 거리 데이터를 3차원 점군 데이터의 공간상에 매핑하는 것을 통해 매핑 결과를 실시간 제공할 수 있다.
출력부(150)는 매핑 결과 영상을 시각화하여 사용자에게 제공할 수 있다. 예를 들어, 차량에 설치된 디스플레이 수단, 내비게이션 장치, 사용자 단말 등을 통하여 매핑 결과 영상을 실시간 제공할 수 있다.
다음은 본 발명의 실시예에 따른 자율주행차량을 위한 데이터 정합 방법에 관하여 상세히 설명한다.
도 2는 도 1의 장치를 이용한 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법을 나타낸 도면이다.
먼저, 정지한 차량에 라이다 센서(10) 및 3차원 스캐너(20)를 설치한다. 라이다 센서(10) 및 3차원 스캐너(20)는 차량 전방 또는 후방에 나란히 설치될 수 있다.
도 3은 본 발명의 실시예에서 라이다 센서와 3차원 스캐너가 차량에 설치된 모습을 나타낸 도면이다. 라이다 센서(10) 및 3차원 스캐너(20)는 차량의 앞부분에 설치되어 차량 전방에 대한 거리 데이터 및 3차원 스캔 데이터를 각각 획득할 수 있다. 물론, 본 발명이 반드시 이에 한정되지 않으며, 라이다 센서(10) 및 3차원 스캐너(20)는 후방 영상에 대한 데이터 획득을 위해 차량의 뒷부분에 나란히 설치되어 운용될 수 있다.
이후, 데이터 획득부(110)는 차량이 정지한 상태에서 라이다 센서(10)와 3차원 스캐너(20)로부터 주변 환경에 대한 거리 데이터와 3차원 점군 데이터(3차원 스캔 데이터)를 각각 획득한다(S210).
이러한 S210 단계는 차량이 흔들림 없이 안정된 상태에서 거리 데이터 및 3차원 점군 데이터를 획득한다. 또한 이를 통해 데이터 획득, 정합, 그리고 행렬 연산을 위한 프로세스의 오차를 최소화할 수 있다.
도 4는 본 발명의 실시예에서 센서 데이터를 획득하는 모습을 예시한 도면이다. 도 4에 도시된 것과 같이, 라이다 센서(10) 및 3차원 스캐너(20)는 차량 전방에 있는 동일한 장애물에 대해 거리 데이터와 3차원 스캔 데이터를 각각 획득한다.
이러한 도 4는 차량의 상부에서 바라본 모습을 나타내며 장애물은 집 모양의 건물을 예시하고 있다. 도 4에서 차량의 양쪽에 도시한 3D 스캔 데이터 및 거리 데이터를 보면, 차량과 마주보는 장애물의 전면에는 깊이 정보가 서로 상이한 다수의 면들이 존재하는 것을 확인할 수 있다.
도 5는 본 발명의 실시예에서 획득되는 거리 데이터와 3차원 점군 데이터의 좌표계를 설명하는 도면이다. 도 5와 같이, 거리 데이터는 라이다 좌표계를 가지고 3차원 점군 데이터는 3차원 글로벌 좌표계를 가진다.
이처럼, 거리 데이터와 3차원 점군 데이터의 좌표계가 상이하기 때문에, 거리 데이터를 3차원 점군 데이터의 좌표계 상에 매핑하기 위해서는 별도의 좌표 변환 행렬을 필요로 한다. 좌표 변환 행렬을 이용하면 거리 데이터의 라이다 좌표계가 3차원 글로벌 좌표계로 변환될 수 있어 거리 데이터를 3차원 점군 데이터의 좌표 공간 상에 매핑할 수 있게 된다.
좌표 변환 행렬을 얻기 위해서는 두 데이터 간의 서로 대응되는 지점 간의 투영이 필요하다. 이를 위해 데이터 정합부(120)는 거리 데이터와 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출함으로써 서로 대응하는 점 간을 매칭한다(S220).
어느 한 좌표계 상의 제1 좌표와 대응하는 다른 좌표계 상의 제2 좌표를 추적하고 투영하는 것은 기 공지된 방법을 사용할 수 있고 특징점 등을 활용할 수 있다. 이후에는 두 좌표계 간 서로 대응하는 점을 이용하여 좌표 변환 공식을 획득한다.
연산부(130)는 검출한 복수의 대응점의 좌표를 이용하여 거리 데이터와 3차원 점군 데이터 간의 좌표 변환 행렬을 산출한다(S230). 이때, 연산부(130)는 ICP(Iterative Closest Point) 알고리즘을 사용하여, 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 좌표 변환 행렬을 산출하도록 한다.
ICP 알고리즘을 사용하면, 서로 연관이 있는 데이터 쌍 간에 에러를 최소화할 수 있는 회전행렬과 이동벡터를 계산할 수 있다. ICP 알고리즘은 기 공지된 방식으로 그 개념을 간략히 설명하면 다음과 같다.
ICP 알고리즘은 거리 데이터 상의 좌표(M)와 그에 대응하는 3차원 점군 데이터 상의 좌표(S) 간 거리를 최소화하는 좌표 변환 행렬을 구하는 방법으로, M을 3차원 글로벌 좌표계로 변환하기 위한 행렬을 T라고 가정할 때, 좌표 변환 행렬은 간단히 T(M)으로 표현할 수 있다.
또한, S와 T(M) 간의 유클리드 거리 dist(T(M),S)는 다음의 수학식 1과 같이 표현할 수 있다.
Figure 112016120984331-pat00001
ICP 알고리즘은 수학식 1을 최소화하는 least squares problem으로 정의할 수 있으며, 수학식 1이 최소화되는 좌표 변환 행렬은 M과 S 간의 거리를 최소화하는 T(M,θ)로 다시 정의할 수 있다. 여기서 θ는 행렬의 회전, 이동 확대/축소와 연관된 매개변수를 의미한다.
수학식 1과 같이 3차원 스캔 데이터 상의 좌표점 S와 좌표 변환 행렬을 사용하여 구한 결과 T(M) 사이의 오차를 최소화하기 위한 행렬을 구해야 하며, 다음 수학식 2의 pseudocode와 같은 방식으로 T(M,θ)를 계산한다.
Figure 112016120984331-pat00002
수학식 2는 기 공지된 방식에 해당하므로 상세한 설명은 생략한다. least squares(X) 함수는
Figure 112016120984331-pat00003
두 점의 거리를 최소화하는 least squares regression을 수행하여 산출한다. 여기서 least squares regression 해법은 일반적으로 널리 알려져 있으므로 별도 설명은 생략한다.
도 6은 본 발명의 실시예에서 좌표 변환 행렬을 연산하는 개념을 설명하는 도면이다. 도 6은 Offline 환경에서 Lidar의 거리 데이터와 3D 스캔 데이터의 좌표 변환을 위한 이동, 회전, 확대 축소 행렬 T(M,θ)을 추출하는 모습을 나타낸다. 이를 통해 좌표 변환 행렬 T(M,θ)에 두 좌표계 간의 이동, 회전, 확대/축소 인자가 적용될 수 있다. 도 6에서 오른쪽 그림의 경우, 좌표 변환 행렬을 사용하여 3차원 스캔 데이터 상에 거리 데이터를 매핑한 모습을 확인할 수 있다.
이상과 같이 S230 단계를 통하여 좌표 변환 행렬을 구할 경우, 추후에 차량의 주행 중에 실시간 획득되는 거리 데이터를 3차원 점군 데이터에 실시간 매핑하고, 매핑 결과를 사용자에게 실시간 제공할 수 있다.
즉, 제어부(140)는 차량 주행 중에 거리 데이터 및 3차원 점군 데이터가 획득될 때, 좌표 변환 행렬을 이용하여 거리 데이터를 3차원 점군 데이터의 공간상에 실시간 매핑하며(S240), 출력부(150)는 매핑한 결과 영상을 시각화하여 실시간 제공할 수 있다(S250).
도 7은 본 발명의 실시예에서 실시간 제공되는 데이터 매핑 결과를 예시한 도면이다. 도 7을 참조하면, 좌표 변환 행렬을 사용하여 Lidar 거리 데이터를 3D 스캔 데이터의 공간 위에 실시간 매핑하여 제공할 수 있음을 알 수 있다. 물론 주행 중에 다른 대상물에 대해서도 이러한 원리를 이용하여 매핑 결과를 시각적으로 제공할 수 있다.
도 8은 본 발명의 실시예에서 센서 정보 통합 소프트웨어 플랫폼을 제공하는 모습을 설명하는 도면이다. 본 발명의 실시예는 매핑 결과물을 소프트웨어 플랫폼 상에서 제공할 수 있다. 소프트웨어 플랫폼 화면에서 라이다 거리 정보가 3D 스캔 데이터에 통합된 결과를 확인할 수 있고, 매핑 결과를 제공하는데 사용된 좌표 변환 행렬도 확인할 수 있다.
이와 같이 라이다 센서로부터 획득하는 거리 정보를 3D 환경에 통합하면, 라이다 센서 이외에 실제 2D 주행 영상이나 다른 센서로부터 획득하는 정보와 함께 더 정밀한 지도 데이터를 생성할 수 있다. 다양한 센서정보를 통합하는 기술을 활용하여 주변환경 및 지도데이터를 생성하면, 자율 주행 차량의 경로 탐색 및 차량제어의 성능을 향상시켜 자율주행차량의 안전성을 크게 높일 수 있고, 운전자에게 시각적인 주변환경 및 주행정보를 효과적으로 전달할 수 있다.
또한 다양한 센서 정보를 이용한 빅데이터 분석 및 인공지능 활용을 통하여 현재 레벨 1(가속/조향/제동 중 하나를 자동차가 제어)인 자율주행차량의 기술 수준을 운전자가 전혀 관여하지 않는 레벨 4 수준의 자율주행 차량의 기술 수준까지 높일 수 있을 것으로 기대된다.
이상과 같은 본 발명에 따른 자율주행차량을 위한 데이터 정합 방법 및 그 장치에 따르면, 자율주행차량의 주행 중에 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공함에 따라, 자율주행차량의 안정성을 높일 수 있음은 물론 운전자에게 주변 환경 및 주행 정보를 시각화하여 효과적으로 전달할 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 데이터 정합 장치 110: 데이터 획득부
120: 데이터 정합부 130: 연산부
140: 제어부 150: 출력부

Claims (4)

  1. 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 데이터 획득부;
    상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 데이터 정합부;
    상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 연산부;
    상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 제어부; 및
    상기 매핑한 결과 영상을 상기 차량에 설치된 디스플레이 수단을 통해 시각화하여 제공하는 출력부를 포함하며,
    상기 연산부는,
    ICP 알고리즘을 사용하여 상기 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 상기 좌표 변환 행렬을 산출하는 자율주행차량을 위한 데이터 정합 장치.
  2. 삭제
  3. 삭제
  4. 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 단계;
    상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 단계;
    상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 단계;
    상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 단계; 및
    상기 매핑한 결과 영상을 상기 차량에 설치된 디스플레이 수단을 통해 시각화하여 제공하는 단계를 포함하며,
    상기 좌표 변환 행렬을 산출하는 단계는,
    ICP 알고리즘을 사용하여 상기 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 상기 좌표 변환 행렬을 산출하는 자율주행차량을 위한 데이터 정합 방법.
KR1020160167656A 2016-12-09 2016-12-09 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 KR102056147B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167656A KR102056147B1 (ko) 2016-12-09 2016-12-09 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167656A KR102056147B1 (ko) 2016-12-09 2016-12-09 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180066618A KR20180066618A (ko) 2018-06-19
KR102056147B1 true KR102056147B1 (ko) 2019-12-17

Family

ID=62790446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167656A KR102056147B1 (ko) 2016-12-09 2016-12-09 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102056147B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102428941B1 (ko) 2022-02-28 2022-08-08 75미리스튜디오 주식회사 광대역 라이다 스캔 기반 이미지 정합을 통해 텍스처가 구현된 3d 스캔 데이터 생성 방법, 장치 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367252B (zh) * 2018-12-26 2024-02-06 北京图森智途科技有限公司 一种停车控制方法、设备及系统
KR102170745B1 (ko) * 2018-12-28 2020-10-27 한국국토정보공사 실내 공간정보 데이터 융합을 통한 위치추정 방법
CN110057370A (zh) * 2019-06-13 2019-07-26 浙江智玲机器人科技有限公司 机器人的定位方法和装置
CN111683840B (zh) * 2019-06-26 2024-04-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
KR102270011B1 (ko) 2019-12-02 2021-06-28 가톨릭관동대학교산학협력단 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법
CN112835086B (zh) * 2020-07-09 2022-01-28 北京京东乾石科技有限公司 确定车辆位置的方法和装置
WO2022141913A1 (zh) * 2021-01-01 2022-07-07 杜豫川 一种基于车载定位装置的路侧毫米波雷达校准方法
CN114071112B (zh) * 2021-10-18 2023-09-01 北京魔鬼鱼科技有限公司 车辆点云识别成像方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5285487B2 (ja) * 2009-03-31 2013-09-11 日本放送協会 画像記録システム及び画像記録方法
KR101664365B1 (ko) * 2015-08-10 2016-10-19 (주)씨소 파이프에 대한 3차원 스캔 영상 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5285487B2 (ja) * 2009-03-31 2013-09-11 日本放送協会 画像記録システム及び画像記録方法
KR101664365B1 (ko) * 2015-08-10 2016-10-19 (주)씨소 파이프에 대한 3차원 스캔 영상 생성 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102428941B1 (ko) 2022-02-28 2022-08-08 75미리스튜디오 주식회사 광대역 라이다 스캔 기반 이미지 정합을 통해 텍스처가 구현된 3d 스캔 데이터 생성 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20180066618A (ko) 2018-06-19

Similar Documents

Publication Publication Date Title
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
JP6827627B2 (ja) ビークル環境マップを生成および更新するための方法およびシステム
AU2015234395B2 (en) Real-time range map generation
US10078335B2 (en) Ray tracing for hidden obstacle detection
KR100899820B1 (ko) 자율 이동 차량용 지면/장애물 판별장치 및 판별방법
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
US11560160B2 (en) Information processing apparatus
US20200353914A1 (en) In-vehicle processing device and movement support system
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
JP2017215940A (ja) 情報処理装置、車両、情報処理方法およびプログラム
JP2020021326A (ja) 情報処理方法、情報処理装置およびプログラム
KR102117313B1 (ko) 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
JP2020016541A (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2018048949A (ja) 物体識別装置
JP2019067116A (ja) 立体物接地判定装置
US10991155B2 (en) Landmark location reconstruction in autonomous machine applications
US20210080264A1 (en) Estimation device, estimation method, and computer program product
US10249056B2 (en) Vehicle position estimation system
US11532100B2 (en) Method for environmental acquisition, data processing unit
US11607999B2 (en) Method and apparatus for invisible vehicle underbody view
JP7028838B2 (ja) 周辺認識装置、周辺認識方法、およびプログラム
JP7179687B2 (ja) 障害物検知装置
US20220334259A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant