KR102373926B1 - 이동체 및 이동체의 위치 인식 방법 - Google Patents

이동체 및 이동체의 위치 인식 방법 Download PDF

Info

Publication number
KR102373926B1
KR102373926B1 KR1020160015215A KR20160015215A KR102373926B1 KR 102373926 B1 KR102373926 B1 KR 102373926B1 KR 1020160015215 A KR1020160015215 A KR 1020160015215A KR 20160015215 A KR20160015215 A KR 20160015215A KR 102373926 B1 KR102373926 B1 KR 102373926B1
Authority
KR
South Korea
Prior art keywords
channel
map
point cloud
information
moving object
Prior art date
Application number
KR1020160015215A
Other languages
English (en)
Other versions
KR20170093608A (ko
Inventor
백아론
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160015215A priority Critical patent/KR102373926B1/ko
Priority to US15/181,846 priority patent/US10768305B2/en
Priority to CN201780005513.3A priority patent/CN108475062B/zh
Priority to EP17747628.0A priority patent/EP3365740A4/en
Priority to PCT/KR2017/000252 priority patent/WO2017135583A1/en
Publication of KR20170093608A publication Critical patent/KR20170093608A/ko
Application granted granted Critical
Publication of KR102373926B1 publication Critical patent/KR102373926B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Abstract

이동체가 개시된다. 본 이동체는 멀티채널 레이저를 이용하여 상기 이동체 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득하는 라이다(LiDAR) 센서, 외부 서버와 통신을 수행하는 통신부 및 외부 서버로부터 맵 데이터를 수신하도록 통신부를 제어하고, 라이다 센서를 통해 획득된 채널별 포인트 클라우드 정보에 기초하여 맵 데이터 상에서 이동체의 위치를 결정하는 프로세서를 포함한다.

Description

이동체 및 이동체의 위치 인식 방법{VEHICLE AND RECOGNIZING METHOD OF VEHICLE'S POSITION BASED ON MAP}
본 개시는 이동체 및 이동체의 맵 기반 위치 인식 방법에 관한 것으로, 보다 상세하게는, 라이다(LiDAR) 센서를 탑재한 이동체 및 이동체의 맵 기반 위치 인식 방법에 관한 것이다.
자율주행 자동차란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 자동차를 말한다. 최근에는 이러한 자율주행 자동차가 교통사고를 줄이고, 교통 효율성을 높이며, 연료를 절감하고, 운전을 대신해줌으로써 편의를 증대시킬 수 있는 개인 교통수단으로 주목받고 있다.
이와 같은 자동차의 자율주행을 위해서는 차선이나 주변 차량, 보행자 등 주행 환경을 인식하기 위한 기술, 주행 상황을 판단하기 위한 기술, 조향 및 가속/감속 등과 같은 제어 기술 등 다양한 기술들이 필요한데, 그 중에서도 자동차의 위치를 정확하게 판단하는 기술이 매우 중요하다. 즉, 오차범위가 센티미터 단위인 정밀 지도를 생성하고, 생성된 정밀 지도상에서 자동차의 정확한 위치를 판단할 수 있어야 한다.
종래 자동차의 위치를 판단할 수 있는 기술로 GPS(Global Positioning System)나 와이파이 등을 이용하는 기술이 있으나, 정확도가 부족하여 한계가 있으며, 이를 보완하기 위해, 최근에는 레이저 펄스를 쏘아 반사되어 돌아오는 시간을 측정하여 반사체와의 거리를 측정하는 라이다(LiDAR) 센서를 이용한 기술이 개발되고 있는 실정이다.
이와 같은 상황에서, 차량를 포함한 각종 이동체의 자율주행을 위해, 실제 도로 환경에 관한 보다 정밀한 지도의 생성과 정밀 지도상에서 이동체의 보다 정확한 위치를 판단을 위한 기술에 대한 필요성이 대두된다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 이동체의 자율주행을 위한 정밀지도를 생성하고, 정밀지도상에서 정확한 위치를 결정할 수 있는 이동체 및 이동체의 맵 기반 위치 인식 방법을 제공함에 있다.
본 개시의 일 실시 예에 따른 이동체는 멀티채널 레이저를 이용하여 상기 이동체 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득하는 라이다(LiDAR) 센서, 외부 서버와 통신을 수행하는 통신부 및 상기 외부 서버로부터 맵 데이터를 수신하도록 상기 통신부를 제어하고, 상기 라이다 센서를 통해 획득된 상기 채널별 포인트 클라우드 정보에 기초하여 상기 맵 데이터 상에서 상기 이동체의 위치를 결정하는 프로세서를 포함한다.
또한, 상기 맵 데이터는, 상기 멀티채널 레이저의 채널별 반사율 정보를 포함하는 멀티채널 맵 데이터이고, 상기 프로세서는, 상기 라이다 센서를 통해 획득된 채널별 포인트 클라우드 정보와 상기 멀티채널 맵 데이터를 매칭하여 상기 이동체의 위치를 결정할 수 있다.
또한, 상기 맵 데이터는, 상기 멀티채널 레이저의 채널별 반사율 정보를 합성한 싱글 채널 맵 데이터이고, 상기 프로세서는, 상기 라이다 센서를 통해 획득된 채널별 포인트 클라우드 정보를 싱글 채널 포인트 클라우드 정보로 합성하고, 상기 합성된 싱글 채널 포인트 클라우드 정보와 상기 싱글 채널 맵 데이터를 매칭하여 상기 이동체의 위치를 결정할 수 있다
또한, 상기 프로세서는, 상기 채널별 포인트 클라우드 정보에 포함된 반사율 정보에 채널별로 가중치를 곱하고, 상기 가중치가 곱해진 채널별 반사율 정보를 합산하여 상기 채널별 포인트 클라우드 정보를 상기 싱글 채널 포인트 클라우드 정보로 합성할 수 있다.
또한, 상기 프로세서는, 상기 채널별 포인트 클라우드 정보에 포함된 반사율 정보의 분산 또는 표준 편차를 상기 채널별로 산출하고, 상기 산출된 분산 또는 표준 편차가 큰 채널일수록 큰 가중치를 곱할 수 있다.
또한, 상기 프로세서는, 상기 라이다 센서를 통해 획득된 상기 포인트 클라우드 정보를 2D 데이터로 래스터화(Rasterization)하고, 상기 래스터화된 2D 데이터에 반사광 제거 처리를 수행하며, 상기 반사광 제거 처리가 수행된 2D 데이터와 상기 맵 데이터를 매칭하여 상기 이동체의 위치를 결정할 수 있다.
또한, 상기 이동체 주위의 주변광 세기를 감지하는 주변광 센서를 더 포함하고, 상기 프로세서는, 상기 주변광 센서를 통해 감지된 상기 이동체 주위의 주변광 세기에 따라 상기 반사광 제거 처리 정도를 조절할 수 있다.
또한, 상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 GPS 신호 수신부를 더 포함하고, 상기 프로세서는, 상기 GPS 신호 수신부를 통해 수신된 상기 GPS 신호 및 현재 시각에 기초하여 태양의 위치를 판단하고, 상기 판단된 태양의 위치를 상기 반사광 제거 처리에 이용할 수 있다.
또한, 상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 GPS 신호 수신부를 더 포함하고, 상기 프로세서는, 상기 GPS 신호 수신부를 통해 수신된 상기 GPS 신호를 이용하여 상기 이동체의 위치를 판단하고, 상기 GPS 신호를 이용하여 판단된 상기 이동체의 위치를 바탕으로 상기 맵 데이터 상에서 상기 이동체의 위치를 결정할 수 있다.
또한, 상기 프로세서는, 상기 GPS 신호를 이용하여 판단된 상기 이동체의 위치로부터 기설정된 거리 범위에 대응되는 상기 맵 데이터를 상기 서버로부터 수신하도록 상기 통신부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 이동체의 맵 기반 위치 인식 방법은, 외부 서버로부터 맵 데이터를 수신하는 단계, 멀티채널 라이다(LiDAR) 센서를 이용하여 상기 이동체 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득하는 단계 및 상기 채널별 포인트 클라우드 정보에 기초하여 상기 맵 데이터 상에서 상기 이동체의 위치를 결정하는 단계를 포함한다.
또한, 상기 맵 데이터는, 상기 멀티채널 레이저의 채널별 반사율 정보를 포함하는 멀티채널 맵 데이터이고, 상기 이동체의 위치를 결정하는 단계는, 상기 라이다 센서를 통해 획득된 채널별 포인트 클라우드 정보와 상기 멀티채널 맵 데이터를 매칭하여 상기 이동체의 위치를 결정하는 단계를 포함할 수 있다.
또한, 상기 맵 데이터는, 상기 멀티채널 레이저의 채널별 반사율 정보를 합성한 싱글 채널 맵 데이터이고, 상기 이동체의 위치를 결정하는 단계는, 상기 라이다 센서를 통해 획득된 채널별 포인트 클라우드 정보를 싱글 채널 포인트 클라우드 정보로 합성하는 단계 및 상기 합성된 싱글 채널 포인트 클라우드 정보를 상기 싱글 채널 맵 데이터와 매칭하여 상기 이동체의 위치를 결정하는 단계를 포함할 수 있다.
또한, 상기 합성하는 단계는, 상기 채널별 포인트 클라우드 정보에 포함된 반사율 정보에 채널 별로 가중치를 곱하는 단계 및 상기 가중치가 곱해진 채널별 반사율 정보를 합산하는 단계를 포함할 수 있다.
또한, 상기 가중치를 곱하는 단계는, 상기 채널별 포인트 클라우드 정보에 포함된 반사율 정보의 분산 또는 표준 편차를 상기 채널별로 산출하고, 상기 산출된 분산 또는 표준 편차가 큰 채널일수록 큰 가중치를 곱할 수 있다.
또한, 상기 이동체의 위치를 결정하는 단계는, 상기 라이다 센서를 통해 획득된 상기 포인트 클라우드 정보를 2D 데이터로 래스터화(Rasterization)하는 단계, 상기 래스터화된 2D 데이터에 반사광 제거 처리를 수행하는 단계 및 상기 반사광 제거 처리가 수행된 2D 데이터와 상기 맵 데이터를 매칭하여 상기 이동체의 위치를 결정하는 단계를 포함할 수 있다.
또한, 상기 이동체 주위의 주변광 세기를 감지하는 단계를 더 포함하고, 상기 반사광 제거 처리를 수행하는 단계는, 상기 감지된 상기 이동체 주위의 주변광 세기에 따라 상기 반사광 제거 처리 정도를 조절할 수 있다.
또한, 상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 단계를 더 포함하고, 상기 반사광 제거 처리를 수행하는 단계는, 상기 수신된 상기 GPS 신호 및 현재 시각에 기초하여 태양의 위치를 판단하는 단계 및 상기 판단된 태양의 위치를 이용하여 상기 반사광 제거 처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 단계를 더 포함하고, 상기 이동체의 위치를 결정하는 단계는, 상기 수신된 상기 GPS 신호를 이용하여 상기 이동체의 위치를 판단하는 단계 및 상기 GPS 신호를 이용하여 판단된 상기 이동체의 위치를 바탕으로 상기 맵 데이터 상에서 상기 이동체의 위치를 결정하는 단계를 포함할 수 있다.
또한, 상기 맵 데이터를 수신하는 단계는, 상기 GPS 신호를 이용하여 판단된 상기 이동체의 위치로부터 기설정된 거리 범위에 대응되는 상기 맵 데이터를 상기 서버로부터 수신할 수 있다.
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 오차범위가 센티미터 단위 미만인 정밀지도를 생성할 수 있고, 이와 같이 생성된 정밀지도상에서 이동체의 정확한 위치를 결정할 수 있다. 이에 따라, 이동체의 자율주행이 용이해진다.
도 1은 본 개시의 일 실시 예에 따른 자율 주행 시스템을 나타내는 예시도,
도 2는 본 개시의 일 실시 예에 따른 맵 생성 환경을 나타내는 예시도,
도 3은 전자기파의 파장에 따른 물질의 종류별 반사율을 나타내는 예시도,
도 4 및 도 5는 본 개시의 다양한 실시 예들에 따라 서버가 맵을 생성하는 과정을 나타내는 예시도,
도 6 및 도 7은 본 개시의 다양한 일 실시 예들에 따른 맵 생성 방법을 나타내는 흐름도,
도 8은 본 개시의 일 실시 예에 따른 이동체의 위치 인식 환경을 나타내는 예시도,
도 9는 본 개시의 일 실시 예에 따른 이동체의 구성을 나타내는 블럭도,
도 10 및 도 11은 본 개시의 다양한 실시 예들에 따라 이동체가 맵 상에서 위치를 결정하는 과정을 나타내는 예시도,
도 12는 본 개시의 다른 일 실시 예에 따른 이동체의 구성을 나타내는 블럭도,
도 13은 본 개시의 또 다른 일 실시 예에 따른 이동체의 구성을 나타내는 블럭도,
도 14는 도 13의 예에 따른 이동체가 맵 상에서 위치를 결정하는 과정을 나타내는 예시도,
도 15 및 도 16은 본 개시의 다양한 실시 예들에 따른 이동체의 맵 기반 위치 인식 방법을 나타내는 흐름도, 및
도 17은 본 개시의 일 실시 예에 따른 자율 주행 시스템에서 맵의 생성과 생성된 맵을 기반으로 이동체가 위치를 인식하는 흐름을 나타내는 절차도이다.
본 개시의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시 예들에 대해 구체적으로 설명한다.
본 개시의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
한편, 본 개시를 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
한편, 이하에서는 이동체(vehicle)의 예로 차량을 들어 설명하나, 이동체가 이에 한정되는 것은 아니다. 가령, 이동체는 사람이 탑승하거나 화물이 적재되어 이동할 수 있는 선박, 오토바이, 항공기, 기차 등을 포함할 수 있다. 또한, 이하에서 설명되는 맵 생성 차량이나 맵 사용 차량 역시 이동체의 한 종류임은 물론이다.
이하에서 첨부된 도면을 참조하여 본 개시의 다양한 실시 예들에 대해 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 자율 주행 시스템을 나타내는 예시도이다. 도 1에 개시된 바와 같이, 자율 주행 시스템(10)은 맵 생성 차량(100), 서버(200), 맵 사용 차량(200)을 포함할 수 있다.
맵 생성 차량(100)은 맵을 생성하기 위한 정보를 수집하여 서버(200)로 전송한다. 구체적으로, 맵 생성 차량(100)은 맵을 생성하고자 하는 장소를 주행하면서 멀티채널 라이다(Light Detection And Ranging, LiDAR) 센서를 이용하여 획득되는 지면에 대한 포인트 클라우드 정보를 서버(200)로 전송할 수 있다.
일반적으로, 라이다 센서는 특정 주파수를 갖는 고출력의 펄스 레이저를 대상체에 조사하고, 대상체로부터 반사파가 수신되는 시간을 측정하여 대상체까지의 거리에 관한 정보를 획득할 수 있는 센서 시스템을 말한다.
이와 같은 라이다 기술에는 여러 가지가 있으나, 본 개시의 다양한 실시 예들에 따른 라이다 센서는 레이저 빔의 진행 방향에 대한 거리 정보뿐만 아니라, 공간에 대한 영상 모델링이 가능한 형태의 라이다 센서일 수 있다. 즉, 본 개시의 다양한 실시 예들에 따른 라이다 센서는 포인트 스캐닝(point-scanning)을 통해 지면에 대한 포인트 클라우드(point cloud) 정보를 수집할 수 있는 라이다 센서일 수 있다.
또한, 본 개시의 다양한 실시 예들에서 사용되는 라이다 센서는 단일 주파수를 갖는 레이저를 이용한 일반적인 라이다 센서가 아닌, 채널별로 다른 주파수를 갖는 복수의 레이저를 이용한 멀티채널 라이다 센서이다.
따라서, 도 1에 도시된 바와 같이, 맵 생성 차량(100)은 특정 지역의 도로에 대한 맵을 생성하기 위해 해당 지역의 도로를 주행하면서, 복수의 주파수를 갖는 레이저를 이용하여 도로를 스캔하고, 도로에 대한 각 주파수 채널별 포인트 클라우드 정보를 획득하여 서버(200)로 전송할 수 있다.
서버(200)는 맵 생성 차량(100)으로부터 수신한 도로에 대한 채널별 포인트 클라우드 정보를 이용하여 해당 도로에 대한 멀티채널 맵을 생성할 수 있다. 구체적으로, 서버(200)는 채널별 포인트 클라우드 정보에 각종 지도 생성 알고리즘을 적용하여 복수의 채널을 갖는 멀티채널 맵을 생성할 수 있으며, 이와 같이, 생성된 멀티채널 맵을 저장할 수 있다. 이때, 생성되는 멀티채널 맵은 도로 표면의 각 지점에 대한 반사율 정보를 포함하는 정밀지도로서, 자율주행을 위해 이용될 수 있다.
한편, 이와 같이 자율주행을 위해 생성되는 정밀지도는 기술적으로 소비자에게 표시되는 것이 가능하지만, 일반적으로는 이동체의 정확한 위치인식을 위해 사용되며, 소비자에게는 보여지지 않는 지도라는 사실은 당업자에게 자명할 것이다.
맵 사용 차량(300)은 멀티채널 맵을 기반으로 현재 위치를 결정할 수 있다. 구체적으로, 맵 사용 차량(300)은 현재 위치를 포함하는 맵 데이터를 서버(200)로 요청하고, 서버(300)로부터 해당 멀티채널 맵 데이터를 수신할 수 있다. 또한, 맵 사용 차량(300)은 멀티채널 라이다 센서를 이용하여 현재 차량(300) 위치의 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득할 수 있다.
예를 들어, 맵 사용 차량(300)은 맵 사용 차량(300) 상단에 지면을 향해 탑재된 멀티채널 라이다 센서를 360도 회전시키면서 지면에 대한 채널별 포인트 클라우드 정보를 획득할 수 있으나, 이에 한정되는 것은 아니다.
이에 따라, 맵 사용 차량(300)은 서버(200)로부터 수신한 멀티채널 맵 데이터와 멀티채널 라이다 센서를 통해 획득한 지면에 대한 포인트 클라우드 정보를 매칭하여 멀티채널 맵 상에서 맵 사용 차량(300)의 현재 위치를 결정할 수 있다.
이와 같이, 멀티채널 라이다 센서를 이용하여 맵을 생성함으로써, 지면(예를 들어, 도로 표면)을 구성하는 물질(예를 들어, 차선이나 포장 재료)들의 텍스쳐를 포함하는 정밀한 지도를 생성할 수 있고, 이렇게 생성된 정밀한 지도상에서 이동체의 정확한 위치를 결정함으로써, 보다 정확한 이동체의 위치를 판단할 수 있게 된다. 이에 따라, 이동체의 자율주행이 보다 용이해질 수 있다.
이하에서, 도 2 내지 도 7을 통해 서버(200)가 맵 즉, 정밀지도를 생성하는 다양한 실시 예들을 설명한다.
도 2는 본 개시의 일 실시 예에 따른 맵 생성 환경을 나타내는 예시도이다. 도 2에 따르면, 맵 생성 차량(100)은 맵 즉, 정밀지도를 생성하기 위한 정보를 수집한다. 구체적으로, 맵 생성 차량(100)은 탑재된 멀티채널 라이다 센서를 이용하여 차량(100) 주위 지면(도 2의 예에서는, 포장도로)에 대한 채널별 포인트 클라우드 정보를 획득하여 서버(200)로 전송할 수 있다. 이를 위해, 맵 생성 차량(100)은 인터넷 등과 같은 네트워크(1)를 통해 서버(200)와 연결된다.
서버(200)는 맵 생성 차량(100)으로부터 지면에 대한 포인트 클라우드 정보가 전송되면, 이를 수신하여 맵을 생성하고, 생성된 맵을 저장할 수 있다. 이를 위해, 서버(200)는 통신부(210), 프로세서(220) 및 저장부(230)을 포함할 수 있다.
구체적으로, 통신부(210)는 각종 유, 무선 통신 방식을 통해 네트워크(1)와 연결되어 외부의 이동체와 통신을 수행한다. 구체적으로, 통신부(210)는 원거리 통신 모듈 또는 근거리 통신 모듈을 이용하여, 외부의 이동체와 통신을 수행할 수 있다. 원거리 통신 모듈을 이용하는 경우, 통신부(210)는 IEEE, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), GPS(Global Positioning System) 등과 같은 통신 표준에 따라 이동체와 통신을 수행할 수 있다. 근거리 통신 모듈을 이용하는 경우, 통신부(210)는 Wi-Fi, Bluetooth, NFC, Zigbee, Picocast 등과 같은 통신 표준에 따라 이동체와 통신을 수행할 수 있다. 특히, 통신부(210)는 맵 생성 차량(100)이 획득하여 전송하는 지면에 대한 채널별 포인트 클라우드 정보를 수신할 수 있다.
프로세서(220)는 서버(200)의 전반적인 동작을 제어한다. 특히, 프로세서(220)는 통신부(210)를 통해 수신한 채널별 포인트 클라우드 정보에 각종 지도 생성 알고리즘을 적용하여 멀티채널 맵을 생성하고, 생성된 멀티채널 맵을 저장부(230)에 저장할 수 있다. 또한, 본 개시의 일 실시 예에 따르면, 프로세서(220)는 수신한 채널별 포인트 클라우드 정보를 싱글채널 포인트 클라우드 정보로 합성하고, 합성된 싱글채널 포인트 클라우드 정보에 지도 생성 알고리즘을 적용하여 싱글채널 맵을 생성할 수도 있다.
한편, 프로세서(220)는 후술할 바와 같이, 맵 생성 차량(100)이 획득하는 채널별 포인트 클라우드 정보에서 주변광의 영향을 제거하고, 상술한 멀티채널 맵 또는 싱글채널 맵을 생성할 수도 있다.
이와 같이 생성된 맵 데이터는 저장부(230)에 저장될 수 있으며, 후술할 바와 같이, 맵 사용 차량(300)의 맵 데이터 전송 요청에 따라 맵 사용 차량(300)으로 전송될 수 있다.
도 3을 통해 멀티채널 라이다 센서의 각 채널에 이용되는 주파수를 선택하는 방법을 설명한다. 도 3은 전자기파의 파장에 따른 물질의 종류별 반사율을 나타내는 예시도이다. 구체적으로, 도 3의 (a)는 초목, 건토, 습토, 맑은 호숫물, 탁한 강물 등과 같은 표면의 종류별로 전자기파의 파장에 따른 반사율을 나타내고, 도 3의 (b)는 방해석, 고령석, 적철석, 몬모릴론석 등과 같은 광물의 종류별로 전자기파의 파장에 따른 반사율을 나타낸다. 도 3에서 보는 바와 같이, 표면이나 광물의 종류에 따라 전자기파의 반사율이 상이한 것을 알 수 있다.
만일, 특정 파장에서 물질들의 반사율이 동일하다면, 그 파장의 주파수를 갖는 레이저를 통해서는 물질들을 구분할 수 없다. 즉, 어떤 파장에서 물질들 간의 반사율의 차이가 클수록 그 파장의 주파수를 갖는 레이저를 통해 물질들을 쉽게 구별할 수 있다. 따라서, 멀티채널 라이다 센서를 구성하는 각 채널의 레이저 주파수를 선택할 때, 지면을 구성하는 물질들의 반사율 간의 차이가 큰 주파수가 선정될 수 있다.
예를 들어, 3 채널 라이다 센서를 구성하고자 하는 경우, 도 3의 (a)를 3 영역(0.4 내지 1.0 마이크로미터 구간, 1.0 내지 1.6 마이크로미터 구간 및 1.6 내지 2.2 마이크로미터 구간)으로 등분하고, 각 영역에서 전자기파의 파장마다 표면의 종류들이 갖는 반사율의 분산을 계산한 후, 분산 값이 가장 큰 파장을 하나씩 선택할 수 있다. 이와 같이 선택된 세 개의 파장의 역수를 3채널 라이다 센서의 각 채널이 갖는 레이저의 주파수로 할 수 있다.
또한, 예를 들어, 4 채널 라이다 센서를 구성하고 싶은 경우, 도 3의 (b)의 파장을 4 영역으로 등분하고, 등분된 각 영역에서 파장마다 광물들이 갖는 반사율의 표준 편차를 계산한 후, 표준 편차값이 가장 큰 파장을 하나씩 선택하여 4 채널 라이다 센서의 각 채널 레이저 주파수를 구성할 수도 있다.
그러나, 멀티채널 주파수를 선택하는 예가 이에 한정되는 것은 아니다. 가령 채널의 개수는 2개일 수도 있고, 5개 이상일 수도 있다. 또한, 반드시 물질들의 주파수(또는 파장)에 따른 반사율 데이터를 채널의 개수로 등분해야 하는 것은 아니며, 예를 들어, 모든 주파수에서 물질들 간의 반사율 차이(예를 들어, 분산)를 산출한 후, 차이 값이 가장 큰 순서대로 채널의 개수만큼 주파수를 선택할 수도 있을 것이다.
이와 같이 선택된 주파수의 레이저를 멀티채널 라이다 센서에 이용함으로써, 지면을 구성하는 물질들을 명확히 구분할 수 있게 되며, 이에 따라, 보다 정밀한 맵의 생성과 맵 상에서 정확한 이동체의 위치 판단이 가능해 진다.
도 4는 본 개시의 일 실시 예에 따라 서버(200-1, 200-2)가 맵을 생성하는 과정을 나타내는 예시도이다.
도 4a는 멀티채널 맵을 생성하는 예시도이다. 도 4a에 도시된 바와 같이, 맵 생성 차량(100-1)은 라이다 센서(110-1) 및 통신부(120-1)를 포함할 수 있다. 한편, 맵 생성 차량(100-1)을 구성하는 차량의 기본적인 구성들 예를 들어, 조향 장치, 가속 장치, 감속 장치, 도어, 자동 변속기(ECU) 등은 본 개시의 요지와 무관하므로, 도시나 설명은 생략한다.
라이다 센서(110-1)는 멀티채널 레이저를 이용하여 맵 생성 차량(100-1)의 주위 지면에 대한 포인트 클라우드 정보를 획득한다. 이때, 포인트 클라우드 정보는 지면의 각 샘플링 포인트의 포즈(Pose) 정보 및 반사율(reflectivity) 정보를 포함할 수 있다.
이를 위해, 라이다 센서(110-1)는 채널별 레이저 송신부(미도시) 및 레이저 수신부(미도시)를 포함할 수 있다. 또한, 라이다 센서(110-1)는 이동체 주위 지면의 스캐닝하기에 적절한 위치, 예를 들어, 차량(100-1)의 상단부에서 지면을 향해 레이저를 조사할 수 있는 형태로 탑재될 수 있으나, 이에 한정되는 것은 아니다.
통신부(120-1)는 외부 장치와 통신을 수행한다. 구체적으로, 통신부(120-1)는 원거리 통신 모듈 또는 근거리 통신 모듈을 이용하여, 맵 생성 차량(100-1)의 외부에 위치한 외부 장치(예: 클라우드 서버)(200-1)와 통신을 수행할 수 있다. 원거리 통신 모듈을 이용하는 경우, 통신부(120-1)는 IEEE, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), GPS(Global Positioning System) 등과 같은 통신 표준에 따라 서버(200-1)와 통신을 수행할 수 있다. 근거리 통신 모듈을 이용하는 경우, 통신부(120-1)는 Wi-Fi, Bluetooth, NFC, Zigbee, Picocast 등과 같은 통신 표준에 따라 서버(200-1)와 통신을 수행할 수 있다. 특히, 통신부(120-1)는 라이다 센서(110-1)를 통해 획득된 채널별 포인트 클라우드 정보를 서버(200-1)로 전송할 수 있다.
서버(200-1)는 통신부(210-1)를 통해 맵 생성 차량(100-1)으로부터 채널별 포인트 클라우드 정보가 수신되면, 수신된 정보를 이용하여 멀티채널 맵을 생성하여 저장부(230-1)에 저장할 수 있다.
구체적으로, 프로세서(220-1)는 통신부(210-1)를 통해 수신된 채널별 포인트 클라우드 정보에 SLAM(Simultaneous Localization And Mapping)(221-1) 알고리즘을 적용한다. SLAM(221-1) 알고리즘을 통해 맵 생성 차량(100-1)이 획득한 지면에 대한 채널별 포인트 클라우드 정보가 최적화(Optimization)되어 포즈(pose) 정보가 추정(estimation)된다. 이때, 포즈 정보는 생성될 맵 상의 x, y 좌표 및 방향 정보를 포함할 수 있다.
추정된 포즈마다 센서 정보가 존재하므로, 프로세서(220-1)는 포즈마다 센서 정보를 백 프로젝션(back-projection)하여 그리드 맵핑(222-1)을 수행한다. 그리드 맵핑(222-1)의 수행 결과, 멀티채널 맵(223-1)이 생성된다.
이때, 생성되는 멀티채널 맵(223-1)은 맵 생성 차량(100-1)에 탑재된 멀티채널 라이다 센서(110-1)의 각 채널에 대응되는 채널들을 포함하는 멀티채널 2D 반사율 맵이 된다. 구체적으로, 멀티채널 맵(223-1)은 픽셀 단위의 채널별 반사율 정보를 포함하며, 맵 생성 차량(100-1)이 주행한 도로의 차선 위치나 텍스쳐(texture) 정보까지 포함하는 정밀지도가 된다. 프로세서(220-1)는 위와 같이 생성된 멀티채널 맵(223-1)을 저장부(230-1)에 저장할 수 있다.
한편, 도로 표면의 반사율은 시간에 따라 달라질 수 있으므로, 본 개시의 일 실시 예에 따르면, 프로세서(220-1)는 멀티채널 맵에 반사율의 평균(mean) 값이나 분산(variance) 값을 함께 저장할 수도 있다.
구체적으로, 맵 생성 차량(110-1)은 동일한 도로를 복수 회 주행하여 동일 지점에 대한 복수의 채널별 포인트 클라우드 정보를 서버(200-1)로 전송하고, 서버(200-1)는 멀티채널 맵에 채널별로 평균 또는 분산 값을 함께 저장할 수도 있다.
도 4b는 서버(200-2)가 본 개시의 일 실시 예에 따라 싱글채널 맵을 생성하는 과정을 나타낸다. 도 4b의 맵 생성 차량(100-2)은 도 4a의 맵 생성 차량(100-1)과 동일하다.
서버(200-2)는 통신부(210-2)를 통해 맵 생성 차량(100-2)으로부터 채널별 포인트 클라우드 정보가 수신되면, 수신된 정보를 이용하여 싱글채널 맵을 생성하여 저장부(230-2)에 저장할 수 있다.
구체적으로, 프로세서(220-2)는 통신부(210-2)를 통해 채널별 포인트 클라우드 정보가 수신되면, 채널별 포인트 클라우드 정보를 하나의 채널로 합성할 수 있다. 도 4b에서 디컬러리제이션(Decolorization, 221-2)은 프로세서(220-2)의 이와 같은 처리 즉, 멀티채널 포인트 클라우드 정보를 싱글채널 포인트 클라우드 정보로 합성하는 동작을 의미한다.
본 개시의 일 실시 예에 따르면, 프로세서(220-2)는 멀티채널을 구성하는 각 채널에 고정된 가중치를 곱하여 하나의 채널로 합성할 수 있다. 예를 들어, 4채널 라이다 센서를 통해 수신되는 포인트 클라우드 정보의 경우, 각 채널별 포인트 클라우드 정보에 25%의 가중치를 곱한 후 합산하여, 싱글채널 포인트 클라우드 정보로 합성할 수 있다.
그러나, N 개의 채널을 통해 정보가 획득된다고, 반드시 각 채널에 1/N의 가중치를 곱해야 하는 것은 아니다. 가령, 3 채널 라이다 센서를 통해 수신되는 포인트 클라우드 정보의 경우, 프로세서(220-2)는 제 1 채널을 통해 획득되는 정보에는 20%, 제 2 채널을 통해 획득되는 정보에는 30%, 제 3 채널을 통해 획득되는 정보에는 50%를 곱하는 등 채널마다 고정적인 가중치를 곱하고, 그 결과를 합산하여 싱글채널 포인트 클라우드 정보로 합성할 수 있다.
이 경우, 본 개시의 일 실시 예에 따르면, 전술한 바와 같이, 멀티채널을 구성하는 각 채널의 주파수를 선택할 때 물질들 간의 반사율 차이가 큰 주파수의 채널에 높은 가중치를 곱할 수 있다. 즉, 위 예의 경우, 제 3 채널의 주파수에서 물질들 간의 반사율이 가장 크고, 제 1 채널에서 물질들 간의 반사율이 가장 작을 수 있다. 즉, 예를 들어, 프로세서(220-2)는 채널별 포인트 클라우드 정보의 분산이나 표준편차를 채널별로 산출하고, 산출된 분산 또는 표준 편차가 큰 채널일수록 큰 가중치를 곱할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 프로세서(220-2)는 멀티채널 라이다 센서(110-2)의 스캔마다 적응적으로 가중치를 변화시켜 각 채널에 가중치를 곱함으로써 싱글채널 포인트 클라우드 정보로 합성할 수도 있다. 여기서, 스캔은 라이다 센서(110-2)가 한번 동작 동안 획득하는 정보로서, 예를 들어, 라이다 센서(110-2)가 1회전 즉, 360°만큼 회전하는 동안 획득한 포인트 클라우드 정보일 수도 있고, 1/3회전 즉, 120°만큼 회전하는 동안 획득한 포인트 클라우드 정보일 수도 있으나, 이에 한정되는 것은 아니다.
예를 들어, 프로세서(220-2)는 스캔마다 각 채널 정보의 분산 값을 계산하고, 분산 값만큼 각 채널 정보를 정규화(normalize)한 후 합산하여 싱글채널 포인트 클라우드 정보로 합성할 수 있다. 그러나, 이에 한정되는 것은 아니며, 프로세서(220-2)는 스캔마다 채널별 포인트 클라우드 정보에 포함된 반사율 정보의 분산 또는 표준 편차값을 산출하고, 산출된 분산 또는 표준 편차값이 큰 채널일수록 높은 가중치를 곱하여 싱글채널 포인트 클라우드 정보로 합성할 수도 있을 것이다.
도 4c는, 통신부(210-2)를 통해 3채널 포인트 클라우드 정보가 수신되는 경우, 프로세서(220-2)가 상술한 바와 같이, 디컬러리제이션(221-2)을 수행하는 예를 나타내는 개념도이다. 각 채널 정보에 곱해지는 가중치(Weight 1 내지 3)는 고정적인 값일 수도 있고, 스캔마다 적응적으로 변화되는 값일 수도 있음은 전술한 바와 같다.
이상에서, 채널에 가중치를 곱한다는 것은 채널별 포인트 클라우드 정보에 포함된 채널별 반사율 정보에 가중치를 곱하는 것일 수 있으나, 이에 한정되는 것은 아니다.
이와 같이, 멀티채널 포인트 클라우드 정보가 싱글채널 포인트 클라우드 정보로 합성되면, 프로세서(220-2)는 싱글채널 포인트 클라우드 정보에 SLAM 알고리즘(222-2)를 적용하고 그리드 맵핑(223-2)하여 맵을 생성하게 되며, 이때, 생성되는 맵은 싱글채널 맵(224-2)이 된다. 프로세서(220-2)는 위와 같이 생성된 싱글채널 맵(223-2)을 저장부(230-2)에 저장할 수 있다.
한편, 이상의 도 4b를 통한 설명에서는 디컬러리제이션(221-2)이 서버(200-2)의 프로세서(220-2)에서 수행되는 것을 예로 들었으나, 실시 예가 이에 한정되는 것은 아니다.
가령, 멀티채널 라이다 센서(110-2)를 통해 획득되는 채널별 포인트 클라우드 정보는 맵 생성 차량(100-2)에 포함된 프로세서(미도시)에서, 상술한 바와 같이 디컬러리제이션 처리될 수 있다. 이에 따라, 채널별 포인트 클라우드 정보가 싱글채널 포인트 클라우드 정보로 합성되면, 맵 생성 차량(100-2)는 통신부(120-2)를 통해 합성된 싱글채널 포인트 클라우드 정보를 서버(200-2)로 전송할 수 있다.
이에 따라, 서버(200-2)는 통신부(210-2)를 통해 맵 생성 차량(100-2)으로부터 싱글채널 포인트 클라우드 정보를 수신하고, 수신된 싱글채널 포인트 클라우드 정보에 SLAM 알고리즘(222-2)을 적용하고 그리드 맵핑(223-2) 처리를 수행하여 싱글채널 맵(224-2)을 생성할 수 있다. 이 경우, 서버(200-2)의 프로세서(220-2)는 별도로 디컬러리제이션(221-2) 처리 과정을 수행할 필요가 없을 것이다.
도 5는 본 개시의 실시 예에 따라, 서버(200-3, 200-4)가 멀티채널 포인트 클라우드 정보에서 반사광을 제거하고 맵을 생성하는 과정을 나타내는 예시도이다. 여기서, 반사광은 예를 들어, 태양이나 가로등과 같은 광원의 빛이 지면에 반사된 것으로서, 이와 같은 반사광은 라이다 센서 정보를 왜곡하여 맵 생성이나 위치인식의 정확도를 저하시킬 수 있다. 즉, 맵 생성 차량(100)의 라이다 센서(110)는 차량(100)의 주위 지면을 스캔하여 멀티채널 포인트 클라우드 정보를 획득하므로, 이때, 주위 지면에 반사된 반사광은 라이다 센서(110)를 통해 획득되는 정보를 왜곡시킬 수 있다. 따라서, 라이다 센서(110)를 통해 획득되는 정보에서 이와 같은 반사광의 영향을 제거할 필요가 있다.
본 개시의 일 실시 예에 따르면, 도 5a에 도시된 바와 같이, 서버(200-3)의 프로세서(220-3)는 통신부(210-3)를 통해 멀티채널 포인트 클라우드 정보가 수신되면, 수신된 멀티채널 포인트 클라우드 정보를 2D 데이터로 래스터화(221-3)할 수 있다. 라이다 센서를 통해 획득되는 포인트 클라우드 정보는 3차원 정보이므로, 방사광 제거 처리를 하기 위해서는 3D 정보를 2D 정보로 변환할 필요가 있다. 따라서, 프로세서(220-3)는 채널별 3차원 정보를 채널별 2차원 정보로 래스터화한다.
이에 따라, 프로세서(220-3)는 래스터화된 채널별 2D 데이터에서 반사광 제거 처리(222-3)를 수행할 수 있다. 구체적으로, 프로세서(220-3)는 각종 반사광 제거 처리 알고리즘을 2D 데이터에 적용할 수 있다. 예를 들어, 프로세서(220-3)는 반사광 제거(Specularity Removal)를 위한 컬러 공간 분석(Color space analysis), 이미지 플레인 공간 분석(Image-plane spatial analysis), 비디오 시퀀스 분석(Video sequence analysis) 중 적어도 하나의 분석 방법을 래스터화된 2D 데이터에 적용하여 반사광 제거 처리를 수행할 수 있다.
이와 같이, 채널별 2D 데이터에서 반사광이 제거되면, 프로세서(220-3)는 도 4를 통해 전술한 바와 같이, 반사광이 제거된 채널별 2D 데이터에 SLAM 알고리즘(223-3)을 적용하고, 그리드 맵핑(224-3)을 수행하여 반사광의 영향이 제거된 멀티채널 맵(225-3)을 생성할 수 있다.
또한, 실시 예에 따라, 반사광이 제거된 채널별 2D 데이터에 디컬러리제이션(226-3) 처리를 수행하여 싱글채널로 합성하고, 여기에 SLAM 알고리즘(227-3)을 적용하고, 그리드 맵핑(228-3)을 수행하여 반사광의 영향이 제거된 싱글채널 맵(229-3)을 생성할 수도 있다. 이 경우, 만일, 맵 생성 차량에 구비된 프로세서(미도시)에서 채널별 포인트 클라우드 정보에 디컬러리제이션을 수행하여 서버(200-3)로 전송하는 실시 예의 경우라면, 서버(200-3)의 프로세서(220-3)는 통신부(210-3)를 통해 수신되는 싱글채널 포인트 클라우드 정보를 래스터화(221-3)하여 반사광 제거 처리(22-3)를 수행한 후, 다시 디컬러리제이션(226-3)을 수행할 필요없이 바로 SLAM(227-3) 및 그리드 맵핑(228-3)을 통해 싱글채널 맵(229-3)을 생성할 수 있을 것이다.
이와 같이, 생성된 멀티채널 맵(225-3)이나 싱글채널 맵(229-3)은 저장부(230-3)에 저장될 수 있다.
도 5b는 반사광의 영향이 제거된 맵을 생성하는 다른 일 실시 예를 나타낸다. 도 5b에 따르면, 맵 생성 차량(100-3)은 라이다 센서(110-3), 통신부(120-3), 프로세서(130-3), 주변광 센서(140-3), GPS(Global Positioning System) 수신기(150-3) 및 관성 센서(미도시)를 포함할 수 있다.
라이다 센서(110-3)는 이동체(맵 생성 차량(100-3))의 주행 중에 맵 생성 차량(100-3) 주위 지면을 향해 복수의 주파수를 갖는 복수의 레이저를 송신하여, 주위 지면에 대한 멀티채널 포인트 클라우드 정보를 획득할 수 있다.
주변광 센서(140-3)는 이동체의 주변광을 감지한다. 예를 들어, 주변광 센서(140-3)는 맵 생성 차량(100-3)을 비추는 태양광의 세기를 감지할 수 있다. 이를 위해, 주변광 센서(140-3)는 각종 조도 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 주변광 센서(140-3)가 이동체에 탑재되는 위치 역시 특정 위치에 한정되는 것은 아니며, 실험적으로 주변광의 세기를 감지하기 용이한 위치에 탑재될 수 있다.
GPS 수신기(150-3)는 GPS 신호를 수신하여 이동체의 위치 정보를 산출할 수 있다. 구체적으로, GPS 수신기(150-3)는 기설정된 개수(예를 들어 3개 이상)의 위성으로부터 송신되는 GPS 신호를 수신하여 이동체의 현재 위치 정보를 산출할 수 있다. 한편, 실시 예에 따라, 프로세서(130-3)가 수신된 GPS 신호에 기초하여 이동체의 현재 위치를 산출할 수도 있음은 물론이다.
관성 센서(미도시)는 이동체의 이동시 그 진행 방향을 판단할 수 있다.
프로세서(130-3)는 이동체의 위치를 기준으로 한 태양의 위치를 판단할 수 있다. 구체적으로, 프로세서(130-3)는 현재의 날짜 및 시각 정보에 기초하여 지구상에서 현재 태양의 위치를 알 수 있다. 또한, 프로세서(130-3)는 GPS 수신기(150-3)를 통해 이동체의 지구상에서의 현재 위치를 알 수 있으며, 관성 센서(미도시)를 통해 이동체의 진행 방향을 알 수 있으므로, 이동체의 위치를 기준으로 한 태양의 위치를 판단할 수 있다.
예를 들어, 프로세서(130-3)는 현재 태양이 맵 생성 차량(100-3)의 전, 후, 좌, 우, 중앙 등 어느 쪽에 위치하는지를 판단할 수 있고, 판단된 태양의 위치에 관한 정보를 생성할 수 있다.
또한, 프로세서(130)는 멀티채널 라이다 센서(110-3)를 통해 획득되는 채널별 포인트 클라우드 정보, 주변광 센서(140-3)를 통해 감지된 주변광 정보(예를 들어, 태양광의 세기에 관한 정보) 및 상술한 바와 같이 생성된 현재 이동체의 위치를 기준으로 한 태양의 위치에 관한 정보를 서버(200-4)로 전송하도록 통신부(120-3)를 제어할 수 있다.
서버(200-4)는 통신부(210-4)를 통해 맵 생성 차량(100-3)으로부터 정보가 수신되면, 수신된 정보를 이용하여 반사광이 제거된 멀티채널 맵이나 싱글채널 맵을 생성하여 저장부(230-3)에 저장할 수 있다.
구체적으로, 프로세서(220-4)는 전술한 바와 같이, 채널별 포인트 클라우드 정보에서 반사광 제거를 위해, 수신된 멀티채널 포인트 클라우드 정보를 래스터화(221-4) 한다. 이후, 프로세서(220-4)는 래스터화된 채널별 2D 데이터에 각종 반사광 제거 알고리즘을 적용하여 반사광 제거 처리(222-4)를 수행한다.
이때, 프로세서(220-4)는 맵 생성 차량(100-3)으로부터 수신된 주변광 정보 및 태양의 위치에 관한 정보 중 적어도 하나를 이용하여 반사광 제거 처리(222-4)를 수행할 수 있다.
예를 들어, 프로세서(220-4)는 주변광(예를 들어, 태양광)의 세기가 강한 경우, 반사광 제거 처리(222-4)의 강도를 높일 수 있고, 주변광의 세기가 약한 경우, 반사광 제거 처리(222-4) 강도를 낮출 수 있다. 그러나, 주변광 정보를 이용하여 반사광 제거 처리(222-4)를 수행하는 예가 이에 한정되는 것은 아니며, 가령, 태양광의 세기가 기설정된 세기 이상이면, 반사광 제거 처리(222-4)를 수행하고, 기설정된 값 미만이면, 반사광 제거 처리(222-4)를 수행하지 않을 수도 있을 것이다.
또한, 예를 들어, 프로세서(220-4)는 태양의 위치가 맵 생성 차량(100-3)의 전면 좌측에 있는 경우, 맵 생성 차량(100-3)의 위치를 기준으로 전면 좌즉에 반사광이 존재할 확률이 높으므로, 래스터화된 채널별 2D 데이터에서 맵 생성 차량의 전면 좌측에 대응되는 영역의 반사광 제거 처리(222-4)의 강도를 높일 수 있다. 이와 같은 방법으로, 프로세서(220-4)는 태양의 위치에 관한 정보를 반영하여 반사광 제거 처리(222-4)를 수행할 수 있다.
이와 같이 채널별 2D 데이터에서 반사광이 제거되면, 프로세서(220-3)는 도 5a를 통해 설명한 바와 같이, SLAM(222-3, 227-3) 및 그리드 맵핑(225-3, 228-3)을 수행하여 멀티채널 맵(225-3) 또는 싱글채널 맵(229-3)을 생성할 수 있다. 이때, 싱글채널 맵(229-3) 생성의 경우, 디컬러리제이션(226-3)이 서버(200-4)의 프로세서(220-4)에서 수행될 수도 있고, 맵 생성 차량(100-3)의 프로세서(130-3)에서 수행될 수 있음은 전술한 바와 같다.
도 6은 본 개시의 일 실시 예에 따른 맵 생성 방법을 나타내는 흐름도이다.
도 6a는 본 개시의 일 실시 예에 따라 멀티채널 맵을 생성하는 방법의 흐름도이다. 도 6a에 따르면, 맵 생성 차량(100)은 멀티채널 맵을 생성하고자 하는 장소를 주행하면서 멀티채널 라이다 센서를 통해 지면에 대한 채널별 포인트 클라우드 정보를 획득한다(S610-1).
이에 따라, 맵 생성 차량(100)이 획득된 채널별 포인트 클라우드 정보를 서버(200)로 송신하면, 서버(200)는 수신된 채널별 포인트 클라우드 정보를 이용하여 멀티채널 맵을 생성할 수 있다(S610-2). 구체적으로, 서버(200)는 각종 SLAM(Simultaneous Localization And Mapping) 알고리즘을 채널별 포인트 클라우드 정보에 적용하고, 그리드 맵핑을 수행하여 해당 장소의 지면에 관한 멀티채널 맵을 생성할 수 있다. 이와 같이, 생성된 멀티채널 맵은 서버(200)의 저장부(230)에 저장되어 추후 맵 사용 차량(300)의 요청에 따라 맵 사용 차량(300)으로 전송될 수 있다.
도 6b는 본 개시의 일 실시 예에 따라 싱글채널 맵을 생성하는 방법의 흐름도이다. 도 6b에 따르면, 맵 생성 차량(100)은 싱글채널 맵을 생성하고자 하는 장소를 주행하면서 멀티채널 라이다 센서를 통해 지면에 대한 채널별 포인트 클라우드 정보를 획득한다(S610-2). 이에 따라, 맵 생성 차량(100)은 획득된 채널별 포인트 클라우드 정보를 서버(200)로 전송할 수 있다.
이에 따라, 서버(200)는 수신된 채널별 포인트 클라우드 정보에 채널별로 가중치를 곱하여 하나의 채널의 포인트 클라우드 정보로 합성하는 디컬러리제이션 처리를 수행할 수 있다(S620-2). 또한, 서버(200)는 디컬러리제이션을 통해 합성된 싱글채널 포인트 클라우드 정보에 SLAM 알고리즘을 적용하고, 그리드 맵핑을 수행하여 해당 장소의 지면에 대한 싱글채널 맵을 생성할 수 있다(S630-2).
한편, 본 개시의 일 실시 예에 따르면, 디컬러리제이션 처리가 맵 생성 차량(100)에서 수행될 수 있다. 구체적으로, 맵 생성 차량(100)은 멀티채널 라이다 센서를 통해 획득된 멀티채널 포인트 클라우드 정보에 채널별로 가중치를 곱하여 싱글채널 포인트 클라우드 정보로 합성한 후, 합성된 싱글채널 포인트 클라우드 정보를 서버(200)로 전송할 수 있다.
이에 따라, 서버(200)는 별도의 디컬러리제이션 단계(S620-2) 필요없이, 맵 생성 차량(100)에서 수신된 싱글채널 포인트 클라우드 정보에 바로 SLAM 알고리즘을 적용하고, 그리드 맵핑을 수행하여 싱글채널 맵을 생성할 수도 있다.
도 7은 본 개시의 일 실시 예에 따라 라이다 센서를 통해 획득된 정보에서 반사광을 제거하고 맵을 생성하는 방법의 흐름도이다.
도 7a에 따르면, 맵 생성 차량(100)은 맵을 생성하고자 하는 장소를 주행하면서 멀티채널 라이다 센서를 통해 지면에 대한 채널별 포인트 클라우드 정보를 획득한다(S710-1). 이와 같이, 획득된 멀티채널 포인트 클라우드 정보는 그대로 또는 상술한 디컬러리제이션 처리를 통해 싱글채널 포인트 클라우드 정보로 합성되어 서버(200)로 전송될 수 있다.
라이다 센서를 통해 획득되는 정보는 3D 정보이므로, 반사광 제거 처리를 수행하기 위해서는 수신된 3D 정보를 2D 정보로 변환할 필요가 있다. 이에 따라, 서버(200)는 수신된 멀티채널 포인트 클라우드 정보 또는 싱글채널 포인트 클라우드 정보를 래스터화하여 2D 데이터를 생성한다(S720-1).
이에 따라, 서버(200)는 래스터화된 멀티채널 또는 싱글채널 2D 데이터에 각종 반사광 제거 알고리즘을 적용하여 반사광 제거 처리를 수행할 수 있다(S730-1).
이후, 서버(200)는 반사광 제거 처리가 수행된 2D 데이터에 SLAM 알고리즘을 적용하고, 그리드 맵핑을 수행하여 해당 장소의 지면에 대한 멀티채널 맵 또는 싱글채널 맵을 생성할 수 있다(S740-1).
도 7b는 본 개시의 다른 일 실시 예에 따른, 반사광이 제거된 맵 생성 방법을 나타내는 흐름도이다. 도 7b에 따르면, 맵 생성 차량(100)은 맵을 생성하고자 하는 장소를 주행하면서 멀티채널 라이다 센서를 통해 지면에 대한 채널별 포인트 클라우드 정보를 획득한다(S710-2). 또한, 맵 생성 차량(100)은 주변광 센서를 통해 주변광의 세기를 감지할 수 있다(S720-2). 이때, 주변광은 태양광일 수 있으나, 이에 한정되는 것은 아니다.
또한, 맵 생성 차량(100)은 태양의 위치 정보를 계산할 수 있다(S730-2). 구체적으로, 맵 생성 차량(100)은 현재의 날짜 및 시각에 관한 정보와 GPS 수신기를 통한 맵 생성 차량(100)의 현재 위치에 관한 정보, 그리고, 관성 센서를 통한 맵 생성 차량(100)의 이동 방향에 관한 정보를 이용하여, 맵 생성 차량(100)의 위치를 기준으로한 태양의 위치를 판단할 수 있다.
이에 따라, 맵 생성 차량(100)은 지면에 대한 멀티채널 포인트 클라우드 정보, 주변광 정보 및 맵 생성 차량(100)의 위치를 기준으로 한 태양의 위치에 관한 정보를 서버(200)로 전송할 수 있다.
한편, 서버(200)는 맵 생성 차량(100)으로부터 수신된 멀티채널 포인트 클라우드 정보에를 래스터화하여 2D 데이터를 생성하고(S740-2), 래스터화된 2D 데이터에 각종 반사광 제거 처리 알고리즘을 적용할 수 있다(S750-2). 이때, 서버(200)는 주변광 정보 예를 들어, 태양광의 세기 정보를 이용하여 주변광 제거 처리의 강도를 조절할 수 있다. 또한, 서버(200)는 주변광 제거 알고리즘 적용시 태양의 위치에 관한 정보를 반영하여 반사광 제거 처리를 수행할 수도 있다.
이에 따라, 서버(200)는 반사광이 제거된 2D 데이터에 SLAM 알고리즘을 적용하고, 그리드 맵핑을 수행하여 해당 장소의 지면에 대한 맵을 생성할 수 있다. 이때, 맵은 상기 각 단계에 디컬러리제이션 처리 단계의 추가 여부에 따라 멀티채널 맵이 생성될 수도 있고, 싱글채널 맵이 생성될 수도 있음은 전술한 바와 같다.
한편, 도 2 내지 도 7을 통해서는 서버(200)가 맵을 생성하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 실시 예에 따라, 맵 생성 차량(100)이 라이다 센서를 통해 획득되는 채널별 포인트 클라우드 정보를 이용하여 바로 맵을 생성하고, 생성된 맵을 서버(200)로 전송하여 서버(200)에 저장하는 실시 예도 가능할 것이다.
상술한 바와 같이, 서버(200) 또는 맵 생성 차량(100)을 통해 생성되는 맵은 지면(예를 들어, 도로 표면)의 각 지점에 대한 반사율 정보를 포함하는 정밀지도로서, 실제 지면과 비교할 때 센티미터 단위의 작은 오차를 가지며, 후술할 바와 같이, 맵 사용 차량(300)의 정확한 위치 인식을 위해 이용될 수 있다. 따라서, 이를 통해, 자율주행이 보다 용이하게 이루어질 수 있다.
이하에서는, 도 8 내지 도 16을 통해, 전술한 바와 같이 생성된 맵을 이용하여 맵 사용 차량(300)이 정확하게 위치를 인식하는 내용에 대해 자세히 설명한다.
도 8은 본 개시의 일 실시 예에 따른 이동체의 위치 인식 환경을 나타내는 예시도이다. 도 8에 따르면, 맵 사용 차량(300)은 맵을 기반으로 맵 상에서 자신의 정확한 위치를 인식할 수 있다.
구체적으로, 맵 사용 차량(300)은 인터넷과 같은 각종 네트워크(1)를 통해 서버(200)와 연결되어 서버(200)로부터 현재 맵 사용 차량(300)이 주행 중인 장소를 포함하는 맵 데이터를 수신할 수 있다. 이때, 서버(200)로부터 수신되는 맵 데이터는 도 2 내지 도 7을 통해 상술한 바와 같이, 서버(200) 또는 맵 생성 차량(100)이 생성한 맵의 맵 데이터를 의미한다.
또한, 맵 사용 차량(300)은 탑재된 멀티채널 라이다 센서를 이용하여 차량(300) 주위 지면(도 8의 예에서는, 포장도로)에 대한 채널별 포인트 클라우드 정보를 획득할 수 있다.
이에 따라, 맵 사용 차량(300)은 서버(200)로부터 수신한 맵 데이터와 라이다 센서를 통해 획득된 포인트 클라우드 정보를 매칭하여 맵 상에서 맵 사용 차량(300)의 현재 위치를 결정할 수 있다.
여기서, 맵 사용 차량(300)은 외부 서버(200)를 통해 수신한 맵을 기반으로 위치를 인식하여 자율주행을 위한 정보로 사용하는 모든 차량일 수 있다.
도 9는 본 개시의 일 실시 예에 따른 맵 사용 차량(300)의 구성을 나타내는 블럭도이다. 도 9에 따르면, 맵 사용 차량(300)은 라이다 센서(310), 프로세서(320) 및 통신부(330)를 포함한다. 한편, 맵 사용 차량(300)을 구성하는 차량의 일반적인 기본 구성들 예를 들어, 조향 장치, 가속 장치, 감속 장치, 도어, 자동 변속기(ECU) 등은 본 개시의 요지와 무관하므로, 도시 및 설명은 생략한다.
라이다 센서(310)는 도 2 내지 도 7을 통해 설명한 맵 생성 차량(100, 100-1, 100-2, 100-3)에 탑재된 라이다 센서(110-1, 110-2, 110-3)와 동일하므로, 중복되는 설명은 생략한다.
다만, 맵 사용 차량(300)에서 사용되는 라이다 센서(310)의 채널별 주파수는 후술할 바와 같이, 통신부(330)를 통해 수신되는 맵 데이터를 생성하기 위해 사용된 맵 생성 차량(100)에 탑재된 라이다 센서의 채널별 주파수와 동일하다.
즉, 예를 들어, 맵 생성 차량(100)이 제 1 주파수의 레이저를 이용하는 제 1 채널, 제 2 주파수의 레이저를 이용하는 제 2 채널 및 제 3 주파수의 레이저를 이용하는 제 3 채널과 같이 3개의 채널을 갖는 3 채널 라이다 센서를 탑재하고 있으며, 이를 이용하여 3채널 포인트 클라우드 정보를 획득하고, 이와 같이 획득된 3채널 포인트 클라우드 정보가 3 채널 맵 또는 싱글채널 맵을 생성하는데 이용된 경우, 맵 사용 차량(300)이 통신부(330)를 통해 상기 3 채널 맵 또는 싱글채널 맵 데이터를 서버(200)로부터 수신했다면, 수신된 맵을 기반으로 위치를 인식하기 위해 맵 사용 차량(300)이 구비해야 하는 라이다 센서(310)는 상기 맵 생성 차량(100)의 라이다 센서와 같은 제 1 주파수의 레이저를 이용하는 제 1 채널, 제 2 주파수의 레이저를 이용하는 제 2 채널 및 제 3 주파수의 레이저를 이용하는 제 3 채널을 갖는 3 채널 라이다 센서가 된다.
이와 같이, 라이다 센서(310)는 멀티채널 레이저를 이용하여 맵 사용 차량(300) 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득할 수 있다.
통신부(330)는 외부 서버와 통신을 수행하여 각종 정보를 송, 수신할 수 있다. 구체적으로, 통신부(330)는 프로세서(320)의 제어를 받아 외부 서버(200)로 맵 데이터 전송을 요청하고, 외부 서버(200)가 요청에 응답하여 전송하는 맵 데이터를 수신할 수 있다.
이를 위해, 통신부(330)는 각종 유, 무선 통신 방식을 통해 네트워크(1)와 연결되어 서버(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(330)는 원거리 통신 모듈 또는 근거리 통신 모듈을 이용하여, 외부 서버(200)와 통신을 수행할 수 있다. 원거리 통신 모듈을 이용하는 경우, 통신부(330)는 IEEE, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), GPS(Global Positioning System) 등과 같은 통신 표준에 따라 외부 서버(200)와 통신을 수행할 수 있다. 근거리 통신 모듈을 이용하는 경우, 통신부(330)는 Wi-Fi, Bluetooth, NFC, Zigbee, Picocast 등과 같은 통신 표준에 따라 외부 서버(200)와 통신을 수행할 수 있다
프로세서(320)는 맵 사용 차량(300)의 전반적인 동작을 제어한다. 특히, 프로세서(320)는 외부 서버(200)로부터 맵 데이터를 수신하도록 통신부(330)를 제어할 수 있다. 또한, 프로세서(320)는 맵 사용 차량(300)이 주행 중인 지면(예를 들어, 도로 표면)에 대한 멀티채널 포인트 클라우드 정보를 획득하도록 라이다 센서(310)를 제어할 수 있다. 이에 따라, 프로세서(320)는 라이다 센서(310)를 통해 획득된 채널별 포인트 클라우드 정보에 기초하여 외부 서버(200)로부터 수신된 맵 상에서 맵 사용 차량(300)의 위치를 결정할 수 있다.
이하에서, 도 10 내지 도 14를 통해 맵 사용 차량(300)이 서버(200)로부터 수신한 맵 데이터 상에서 맵 사용 차량(300)의 위치를 결정하는 다양한 실시 예들을 보다 구체적으로 설명한다.
도 10a는 맵 사용 차량(300)이 멀티채널 맵을 기반으로 위치를 결정하는 예를 나타낸다. 도 10a에 도시된 바와 같이, 맵 사용 차량(300)의 프로세서(320-1)는 통신부(330)를 통해 서버(200)로부터 수신한 멀티채널 맵 데이터(322-1)와 라이다 센서(310)를 통해 획득된 멀티채널 포인트 클라우드 정보를 매칭하여 멀티채널 맵 상에서 맵 사용 차량(300)의 위치를 결정(323-1)할 수 있다.
이때, 멀티채널 맵은 맵 상의 포인트마다 채널 개수만큼의 반사율 정보를 포함한다. 즉, 예를 들어, 3채널 맵의 경우, 맵 상의 특정 지점은 3개의 반사율 정보를 포함한다. 또한, 라이다 센서(310) 역시 하나의 스캔 포인트마다 채널별 포인트 클라우드 정보가 획득되므로, 예를 들어, 3채널 라이다 센서의 경우, 스캔 포인트마다 3개의 포인트 클라우드 정보가 획득된다.
따라서, 프로세서(320-1)는 라이다 센서(310)를 통해 획득된 멀티채널 포인트 클라우드 정보를 멀티채널 맵과 매칭하여 멀티채널 맵 상에서 맵 사용 차량(300)의 현재 위치가 어디인지 결정할 수 있다. 특히, 본 개시의 경우 복수의 채널 정보가 조인트(joint)로 결합되어 비교되므로, 보다 정확하게 맵 상에서 위치를 특정할 수 있게 된다.
이에 따라, 프로세서(320-1)는 멀티채널 맵 데이터 상에서 맵 사용 차량(300)의 현재 위치 정보(324-1)를 생성할 수 있다. 이때, 위치 정보(324-1)는 멀티채널 맵 상에서 맵 사용 차량(300)의 x, y 좌표 및 방향 정보를 포함할 수 있으나, 이에 한정되지는 않는다.
도 10b는 맵 사용 차량(300)이 싱글채널 맵을 기반으로 위치를 결정하는 예를 나타낸다. 도 10b에 도시된 바와 같이, 맵 사용 차량(300)의 프로세서(320-2)는 통신부(330)를 통해 서버(200)로부터 수신한 싱글채널 맵 데이터(323-2)와 라이다 센서(310)를 통해 획득된 멀티채널 포인트 클라우드 정보를 이용하여 싱글채널 맵 상(323-2)에서 맵 사용 차량(300)의 위치를 결정(324-2)할 수 있다.
구체적으로, 프로세서(320-2)는 라이다 센서(310)를 통해 획득된 멀티채널 포인트 클라우드 정보에 채널별로 가중치를 곱하여 싱글채널 포인트 클라우드 정보로 합성할 수 있다. 이러한 과정을 디컬러리제이션(322-2)라고 하며, 도 4b를 통한 싱글채널 맵 생성에 관한 설명에서 전술한 바와 같으므로, 중복되는 설명은 생략한다.
이때, 싱글채널 맵(323-2) 생성시 각 채널에 고정적인 가중치를 곱한 경우라면, 맵 사용 차량(300)의 프로세서(320-2)가 라이다 센서(310)를 통해 획득한 멀티채널 포인트 클라우드 정보의 각 채널에 곱하는 가중치는 싱글채널 맵(323-2)의 생성 과정에 적용된 가중치와 동일할 수 있다. 그러나, 이에 한정되는 것은 아니다. 이를 위해, 서버(200)는 싱글채널 맵(323-2) 전송시 맵 생성 과정에 적용된 가중치에 관한 정보를 함께 전송할 수 있을 것이다.
이에 따라, 프로세서(320-2)는 싱글채널 맵(323-3)과 싱글채널 포인트 클라우드 정보를 매칭하여 싱글채널 맵(323-3) 상에서 맵 사용 차량(300)의 위치를 결정(324-2)하고, 위치 정보(325-2)를 생성할 수 있다.
도 11은 본 개시의 일 실시 예에 따라, 맵 사용 차량(300)이, 도 5a의 예와 같이 반사광을 제거하고 생성한 맵을 수신한 경우, 맵 사용 차량(300)의 위치를 결정하는 프로세서(320)의 동작을 나타낸다.
구체적으로, 도 11a는 맵 사용 차량(300)이 반사광이 제거된 멀티채널 맵(324-3)을 수신한 경우를 나타낸다. 이 경우, 프로세서(320-3)는 라이다 센서(310)를 통해 획득된 멀티채널 포인트 클라우드 정보(321-3)를 래스터화(322-3)하여 2D 정보로 변환한다. 이후, 프로세서(320-3)는 래스터화된 2D 정보에 도 5a에서 설명한 바와 같은 각종 반사광 제거 처리 알고리즘을 적용(323-3)하여 반사광이 제거된 멀티채널 2D 정보를 생성하고, 이를 반사광이 제거된 멀티채널 맵(324-3)과 매칭하여 멀티채널 맵(324-3) 상에서 맵 사용 차량(300)의 위치를 결정(325-3)할 수 있다. 이에 따라, 프로세서(320-3)는 맵 사용 차량(300)의 위치 정보(326-3)를 생성할 수 있다.
도 11b는 맵 사용 차량(300)이 반사광이 제거된 싱글채널 맵(325-4)을 수신한 경우를 나타낸다. 이 경우, 프로세서(320-4)는 라이다 센서(310)를 통해 획득된 멀티채널 포인트 클라우드 정보(321-4)를 디컬러리제이션(322-4) 처리하여, 싱글채널 포인트 클라우드 정보로 합성한다. 이후, 프로세서(320-4)는 합성된 싱글채널 포인트 클라우드 정보를 래스터화(323-4)하여 2D 정보로 변환하고, 래스터화된 2D 정보에 도 5a에서 설명한 바와 같은 각종 반사광 제거 처리 알고리즘을 적용(324-4)하여 반사광이 제거된 2D 정보를 생성한다.
이에 따라, 프로세서(320-4)는 반사광이 제거된 싱글채널 맵(325-4)과 반사광이 제거된 래스터화된 2D 정보를 매칭하여 싱글채널 맵(325-4) 상에서 맵 사용 차량(300)의 위치를 결정(326-4)할 수 있다. 이에 따라, 프로세서(320-4)는 맵 사용 차량(300)의 위치 정보(327-4)를 생성할 수 있다.
이와 같이, 생성된 위치 정보(324-1, 325-2, 326-3, 327-4)는 자율주행을 위한 정보로 이용될 수 있다.
도 12는 본 개시의 다른 일 실시 예에 따른 이동체의 구성을 나타내는 블럭도이다. 도 12에 따르면, 맵 사용 차량(300-5)은 라이다 센서(310-5), 프로세서(320-5), 통신부(330-5) 및 GPS 수신기(340-5)를 포함할 수 있다. 도 12를 설명함에 있어, 도 9에 도시된 맵 사용 차량(300)의 구성과 동일한 구성의 중복되는 설명은 생략한다.
GPS 수신기(340-5)는 GPS 신호를 수신하여 맵 사용 차량(300-5)의 위치를 판단할 수 있다. 구체적으로, GPS 수신기(340-5)는 외부의 기설정된 개수의 GPS 위성으로부터 GPS 신호를 수신하고, 수신된 GPS 신호를 바탕으로 맵 사용 차량(300-5)의 위치를 산출할 수 있다. 한편 실시 예에 따라, 프로세서(320-5)가 수신된 GPS 신호에 기초하여 맵 사용 차량(300-5)의 위치를 산출할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따르면, 프로세서(320-5)는 GPS 수신기(340-5)를 통해 수신된 GPS 신호에 기초하여, 서버(200)로부터 수신된 맵 데이터 상에서 맵 사용 차량(300)의 위치를 1차적으로 결정할 수 있다. 이후, 프로세서(320-5)는 라이다 센서(310-5)를 통해 획득되는 멀티채널 포인트 클라우드 정보를 이용하여 전술한 바와 같이, 2차적으로 맵 사용 차량(300-5)의 위치를 결정할 수 있다.
이를 통해, 라이다 센서(310-5)를 통해 획득되는 정보만으로 맵 사용 차량(300-5)의 위치를 결정하는 것보다 프로세서(320-5)의 연산량을 줄일 수 있을 것이다. 즉, GPS 신호를 통해 산출되는 위치는 상대적으로 오차범위가 크므로, 1차적으로 GPS 신호를 통해 맵 사용 차량(300-5)의 위치를 판단하고, 이와 같이 GPS 신호를 통해 판단된 위치로부터 기설정된 범위(예를 들어, GPS 신호를 통한 위치 판단의 일반적인 오차범위) 내의 맵 데이터와 라이다 센서(310-5)를 통해 획득된 정보를 매칭하여 맵 사용 차량(300-5)의 위치를 정확히 결정함으로써, 서버(200)로부터 수신한 맵 데이터 전체와 매칭하는 것보다 프로세서(320-5)의 연산량을 줄일 수 있을 것이다.
한편, 본 개시의 다른 일 실시 예에 따르면, 프로세서(320-5)는 GPS 신호를 이용하여 판단된 맵 사용 차량(300-5)의 위치로부터 기설정된 범위에 대응되는 영역에 대한 맵 데이터를 전송할 것을 서버(200)로 요청할 수 있다. 즉, 프로세서(320-5)는 서버(200)가 저장하고 있는 모든 영역에 대한 맵 데이터의 전송을 요청하는 것이 아니라, 맵 사용 차량(300-5)가 주행하면서 GPS 신호를 통해 판단된 위치로부터 일정 범위에 대응되는 영역의 맵 데이터만을 전송할 것을 요청할 수 있으며, 이를 통해, 프로세서(320-5)의 연산량을 줄일 수 있다.
도 13은 본 개시의 또 다른 일 실시 예에 따른 맵 사용 차량(300-6)의 구성을 나타내는 블럭도이다. 도 13에 따르면, 맵 사용 차량(300-6)은 라이다 센서(310-6), 프로세서(320-6), 통신부(330-6), GPS 수신기(340-6) 및 주변광 센서(350-6)를 포함할 수 있다. 도 12를 설명함에 있어, 도 9 및 도 12에 도시된 맵 사용 차량(300, 300-5)의 구성과 동일한 구성의 중복되는 설명은 생략한다.
주변광 센서(350-6)는 맵 사용 차량(300-6)의 주변광을 감지하고, 감지된 주변광 정보를 프로세서(320-6)에 제공할 수 있다. 예를 들어, 주변광 센서(350-6)는 맵 사용 차량(300-6)을 비추는 태양광의 세기를 감지하여 태양광의 세기 정보를 프로세서(320-6)에 제공할 수 있다. 이를 위해, 주변광 센서(350-6)는 각종 조도 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 프로세서(320-6)는 GPS 수신기(340-6)를 통해 수신된 GPS 신호를 통해 맵 사용 차량(300-6)의 위치를 판단하고, 현재 시각에 기초하여 태양의 위치를 판단할 수 있다. 또한, 도시하지는 않았지만, 관성 센서를 통해 맵 사용 차량(300-6)의 이동 방향 역시 판단할 수 있다. 이에 따라, 프로세서(320-6)는 맵 사용 차량(300-6)의 위치를 기준으로 한 태양의 위치를 판단할 수 있다. 예를 들어, 프로세서(320-6)는 현재 태양이 맵 사용 차량(300-6)의 전, 후, 좌, 우, 중앙 등 어느 쪽에 위치하는지를 판단할 수 있고, 판단된 태양의 위치에 관한 정보를 생성할 수 있다.
도 14a는 도 13의 예에 따른 맵 사용 차량(320-6)이 멀티채널 맵(326-7) 상에서 위치를 결정하는 과정을 나타내는 예시도이다. 도 14a에 따르면, 프로세서(320-6)는 멀티채널 포인트 클라우드 정보(321-7)를 래스터화(322-7)하여 래스터화된 채널별 2D 데이터에 각종 반사광 제거 알고리즘을 적용하여 반사광 제거 처리(325-7)를 수행할 수 있다.
이때, 프로세서(320-6)는 주변광 센서(350-6)를 통해 획득된 주변광 정보(323-7) 및 판단된 태양의 위치 정보(324-7) 중 적어도 하나를 이용하여 반사광 제거 처리(325-7)를 수행할 수 있다.
예를 들어, 프로세서(320-6)는 주변광(예를 들어, 태양광)의 세기가 강한 경우, 반사광 제거 처리(325-7)의 강도를 높일 수 있고, 주변광의 세기가 약한 경우, 반사광 제거 처리(325-7) 강도를 낮출 수 있다. 그러나, 주변광 정보를 이용하여 반사광 제거 처리(325-7)를 수행하는 예가 이에 한정되는 것은 아니며, 가령, 태양광의 세기가 기설정된 세기 이상이면, 반사광 제거 처리(325-7)를 수행하고, 기설정된 값 미만이면, 반사광 제거 처리(325-7)를 수행하지 않을 수도 있을 것이다.
또한, 예를 들어, 프로세서(320-6)는 태양의 위치가 맵 사용 차량(300-6)의 전면 좌측에 있는 경우, 맵 사용 차량(300-6)의 위치를 기준으로 전면 좌즉에 반사광이 존재할 확률이 높으므로, 래스터화된 채널별 2D 데이터에서 맵 사용 차량(300-6)의 전면 좌측에 대응되는 영역의 반사광 제거 처리(325-7)의 강도를 높일 수 있다. 이와 같은 방법으로, 프로세서(320-6)는 태양의 위치 정보를 반영하여 반사광 제거 처리(325-7)를 수행할 수 있다.
이에 따라, 프로세서(320-6)는 통신부(330-6)를 통해 서버(200)로부터 수신된 멀티채널 맵(326-7)과 반사광이 제거된 래스터화된 멀티채널 2D 정보를 매칭하여 멀티채널 맵(326-7) 상에서 맵 사용 차량(300-6)의 위치를 결정(327-7)하고, 위치 정보(328-7)를 생성할 수 있다.
도 14b는 도 13의 예에 따른 맵 사용 차량(320-6)이 싱글채널 맵(327-8) 상에서 위치를 결정하는 과정을 나타내는 예시도이다. 싱글채널 맵(327-8) 상에서 맵 사용 차량의 위치를 결정하는 경우, 프로세서(320-6)는 라이다 센서(310-6)를 통해 획득되는 멀티채널 포인트 클라우드 정보(321-8)를 먼저 디컬러리제이션(322-8)하여 싱글채널 포인트 클라우드 정보로 합성한 후, 합성된 싱글채널 포인트 클라우드 정보를 래스터화(323-8)하고, 래스터화된 싱글채널 2D 정보에 반사광 제거 처리(326-8)를 수행하게 된다.
이때, 주변광 정보(324-8) 및 태양 위치 정보(325-8) 중 적어도 하나에 기초하여 반사광 제거 처리(326-8)를 조절하는 것은 도 14a에서 전술한 바와 같으며, 프로세서(320-6)는 싱글채널 맵(327-8)과 반사광이 제거된 래스터화된 싱글채널 2D 정보를 매칭하여 싱글채널 맵(327-8) 상에서 맵 사용 차량(300-6)의 위치를 결정(328-8)하고, 위치 정보(329-8)를 생성할 수 있다.
한편, 이상에서는 맵 사용 차량(300, 300-5, 300-6)의 각 구성이 다양한 형태로 조합될 수 있음은 당업자에게 자명할 것이다. 예를 들어, 라이다 센서(310), GPS 수신기(340-5), 주변광 센서(350-6)는 맵 사용 차량(300)에 탑재되고, 프로세서(320)나 통신부(330)는 이들과 연결된 별도의 장치(예를 들어, 노트북이나 스마트폰, PDA, PMP 등)에 포함된 것을 이용할 수도 있을 것이다.
도 15 및 16은 본 개시의 다양한 실시 예들에 따른 이동체의 맵 기반위치 인식 방법의 흐름도이다. 도 15 및 도 16을 설명함에 있어, 전술한 것과 중복되는 설명은 생략한다.
도 15는 본 개시의 일 실시 예에 따른 이동체의 맵 기반 위치 인식 방법을 나타내는 흐름도이다.
도 15a는 본 개시의 일 실시 예에 따른 이동체의 멀티채널 맵 기반 위치 인식 방법을 나타내는 흐름도이다. 도 15a에 따르면, 맵 사용 차량(300)은 서버(200)로부터 멀티채널 맵 데이터를 수신한다(S1510-1). 이때, 멀티채널 맵은 맵 사용 차량(300)이 구비한 라이다 센서(310)와 같은 주파수들을 사용하는 라이다 센서를 탑재한 맵 생성 차량(100)에 의해 획득된 멀티채널 포인트 클라우드 정보에 기초하여 서버(200)나 맵 생성 차량(100)이 생성한 맵일 수 있다. 예를 들어, 멀티채널 맵은 도 4a를 통해 전술한 바와 같이 생성될 수 있으며, 이때, 맵 생성 차량(110)의 라이다 센서(110-1)와 맵 사용 차량(300)의 라이다 센서(310)의 채널별 레이저 주파수는 동일할 수 있다.
한편, 맵 사용 차량(300)은 라이다 센서(310)를 통해 멀티채널 포인트 클라우드 정보를 획득할 수 있다(S1520-1). 이에 따라, 맵 사용 차량(300)은 수신한 멀티채널 맵 데이터와 획득된 멀티채널 포인트 클라우드 정보를 매칭하여 멀티채널 맵 상에서 맵 사용 차량(300)의 위치를 결정할 수 있다(S1530-1).
도 15b는 본 개시의 일 실시 예에 따른 이동체의 싱글채널 맵 기반 위치 ㅇ인식 방법을 나타내는 흐름도이다. 도 15b에 따르면, 맵 사용 차량(300)은 서버(200)로부터 싱글채널 맵 데이터를 수신한다(S1510-2). 이때, 싱글채널 맵 역시 맵 사용 차량(300)의 라이다 센서(310)와 같은 주파수들을 사용하는 라이다 센서를 탑재한 맵 생성 차량(100)에 의해 획득된 멀티채널 포인트 클라우드 정보에 기초하여 서버(200)나 맵 생성 차량(100)이 생성한 맵일 수 있다. 예를 들어, 싱글채널 맵은 도 4b를 통해 전술한 바와 같이 생성될 수 있으며, 이때, 맵 생성 차량(110)의 라이다 센서(110-1)와 맵 사용 차량(300)의 라이다 센서(310)의 채널별 레이저 주파수는 역시 동일할 수 있다.
한편, 맵 사용 차량(300)은 라이다 센서(310)를 통해 주행 중인 지면에 대한 멀티채널 포인트 클라우드 정보를 획득하고(S1520-2), 여기에 각 채널에 가중치를 곱하여 싱글채널 포인트 클라우드 정보로 합성하는 디컬러리제이션 처리를 수행한다(S1530-2). 구체적으로, 맵 사용 차량(300)은 채널별 포인트 클라우드 정보에 채널별로 가중치를 곱하고, 가중치가 곱해진 채널별 포인트 클라우드 정보를 합산하여 디컬러리제이션 처리를 수행할 수 있다. 이때, 맵 사용 차량(300)은 채널별 포인트 클라우드 정보에 포함된 반사율 정보의 분산 또는 표준 편차를 채널별로 산출하고, 산출된 분산 또는 표준 편차자 큰 채널일 수록 큰 가중치를 곱할 수 있으나, 이에 한정되는 것은 아니다.
이에 따라, 맵 사용 차량(300)은 싱글채널 맵 데이터와 싱글채널 포인트 클라우드 정보를 매칭하여 싱글채널 맵 상에서 맵 사용 차량(300)의 위치를 결정할 수 있다(S1540-2).
도 16은 본 개시의 다른 일 실시 예에 따른 이동체의 맵 기반 위치 인식 방법을 나타내는 흐름도이다. 도 16에 따르면, 맵 사용 차량(300)은 서버(200)로부터 맵 데이터를 수신하고(S1610), 라이다 센서(310)를 통해 주위 지면에 대한 멀티채널 포인트 클라우드 정보를 획득한다(S1620). 이때, 맵 데이터는 멀티채널 맵 데이터일 수도 있고, 싱글채널 맵 데이터일 수도 있다.
또한, 맵 사용 차량(300)은 주변광 정보를 획득하고(S1630), 태양의 위치 정보를 계산할 수 있다(S1640). 구체적으로, 맵 사용 차량(300)은 주변광 센서를 통해 태양광의 세기 등과 같은 주변광 정보를 획득하고, GPS 위성에서 수신되는 GPS 신호 및 현재 시각에 기초하여 태양의 위치를 계산할 수 있다.
한편, 맵 사용 차량(300)은 멀티채널 맵 데이터를 수신한 경우, 획득된 멀티채널 포인트 클라우드 정보를 래스터화하여 채널별 2D 데이터를 생성하고(S1650), 래스터화된 채널별 2D 데이터에 각종 반사광 제거 알고리즘을 적용하여 반사광 제거 처리를 수행할 수 있다(S1660). 이때, 맵 사용 차량(300)은 주변광 정보 및 태양의 위치 정보 중 적어도 하나에 기초하여 반사광 제거 처리 정도를 조정할 수 있다.
만일, 맵 사용 차량(300)이 싱글채널 맵 데이터를 수신한 경우라면, 획득된 멀티채널 포인트 클라우드 정보를 먼저 디컬러리제이션하여 싱글채널 포인트 클라우드 정보로 합성하고, 합성된 싱글채널 포인트 클라우드 정보를 래스터화하고(S1650), 래스터화된 2D 데이터에 반사광 제거 처리를 수행하게 될 것이다(S1660). 이 경우에도, 주변광 정보 및 태양의 위치 정보 중 적어도 하나에 기초하여 반사광 제거 처리 정도가 조정될 수 있음은 물론이다.
이에 따라, 맵 사용 차량(300)은 상술한 바와 같이 주변광 제거 처리가 수행된 정보와 맵 데이터를 매칭하여 맵 상에서 맵 사용 차량(300)의 위치를 결정할 수 있다(S1670).
도 17은 본 개시의 일 실시 예에 따른 자율 주행 시스템에서 맵의 생성과 생성된 맵을 기반으로 이동체가 위치를 인식하는 흐름을 나타내는 절차도이다.
도 17에 따르면, 맵 생성 차량(100)은 멀티채널 라이다 센서를 통해 지면에 대한 멀티채널 포인트 클라우드 정보를 획득하고(S1710), 이를 서버(200)로 전송한다. 이에 따라, 서버(200)는 맵 생성 차량(100)으로부터 수신한 멀티채널 포인트 클라우드 정보를 이용하여 맵을 생성하고(S1730), 저장할 수 있다. 이때, 서버(200)는 멀티채널 맵을 생성할 수도 있고, 멀티채널 포인트 클라우드 정보에 디컬러리제이션 처리를 수행하여 싱글채널 맵을 생성할 수도 있다.
이에 따라, 서버(200)는 맵 사용 차량(300)으로부터 맵 데이터 전송 요청에 따라, 저장된 맵을 맵 사용 차량(300)으로 전송한다.
맵 사용 차량(300)은 멀티채널 라이다 센서(310)를 통해 멀티채널 포인트 클라우드 정보를 획득하고(S1750), 획득된 멀티채널 포인트 클라우드 정보에 기초하여 서버(200)에서 수신된 맵 상에서 위치를 결정할 수 있다(S1750).
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 오차범위가 센티미터 단위 미만인 정밀지도를 생성할 수 있고, 이와 같이 생성된 정밀지도상에서 이동체의 정확한 위치를 결정할 수 있다. 이에 따라, 이동체의 자율주행이 용이해진다.
한편, 상술한 다양한 실시 예들에 따른 맵 사용 차량(300)의 프로세서(320, 320-1 내지 320-6)의 동작이나 이동체의 맵 기반 위치 인식 방법들 소프트웨어로 생성되어 이동체에 탑재될 수 있다.
예를 들어, 외부 서버로부터 맵 데이터를 수신하는 단계, 멀티채널 라이다(LiDAR) 센서를 이용하여 상기 이동체 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득하는 단계 및 채널별 포인트 클라우드 정보에 기초하여 맵 데이터 상에서 이동체의 위치를 결정하는 단계를 포함하는 이동체의 맵 기반 위치 인식 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
310 :　라이다 센서　　　　　　　　　　　 　　 　 320 : 프로세서
330 :　통신부 　　　 　　 　

Claims (20)

  1. 이동체에 있어서,
    멀티채널 레이저를 이용하여 상기 이동체의 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득하는 라이다(LiDAR) 센서;
    상기 이동체의 주위 지면에 대한 채널별 포인트 클라우드 정보를 포함하는 맵 데이터를 저장하는 외부 서버와 통신을 수행하는 통신부; 및
    상기 외부 서버로부터 상기 맵 데이터를 수신하도록 상기 통신부를 제어하고, 상기 맵 데이터의 포인트 클라우드 정보 중 상기 획득된 포인트 클라우드 정보와 매칭되는 포인트 클라우드 정보를 식별하고, 상기 맵 데이터의 복수의 영역 중 상기 식별된 포인트 클라우드 정보에 대응되는 영역을 식별하고, 상기 식별된 영역에 기초하여 상기 이동체의 위치를 식별하는 프로세서;를 포함하고,
    상기 외부 서버에 저장된 맵 데이터는,
    상기 멀티 채널 레이저의 채널별 반사율 정보를 합성한 싱글 채널 맵 데이터이고,
    상기 프로세서는,
    상기 획득된 채널별 포인트 클라우드 정보를 싱글 채널 포인트 클라우드 정보로 합성하고, 상기 합성된 싱글 채널 포인트 클라우드 정보와 상기 싱글 채널 맵 데이터를 매칭하여 상기 이동체의 위치를 식별하는 이동체.
  2. 제 1 항에 있어서,
    상기 맵 데이터는,
    상기 멀티채널 레이저의 채널별 반사율 정보를 포함하는 멀티채널 맵 데이터를 포함하고,
    상기 프로세서는,
    상기 획득된 채널별 포인트 클라우드 정보와 상기 멀티채널 맵 데이터를 매칭하여 상기 이동체의 위치를 식별하는 것을 특징으로 하는 이동체.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 획득된 채널별 포인트 클라우드 정보의 반사율 정보에 채널별로 가중치를 곱하고, 상기 가중치가 곱해진 채널별 반사율 정보를 합산하여 상기 채널별 포인트 클라우드 정보를 상기 싱글 채널 포인트 클라우드 정보로 합성하는 것을 특징으로 하는 이동체.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 획득된 채널별 포인트 클라우드 정보의 반사율 정보의 분산 또는 표준 편차를 상기 채널별로 산출하고, 상기 산출된 분산 또는 표준 편차가 큰 채널일수록 큰 가중치를 곱하는 것을 특징으로 하는 이동체.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 라이다 센서를 통해 획득된 상기 포인트 클라우드 정보를 2D 데이터로 래스터화(Rasterization)하고, 상기 래스터화된 2D 데이터에서 반사광을 제거하며, 상기 반사광이 제거된 2D 데이터와 상기 맵 데이터를 매칭하여 상기 이동체의 위치를 식별하는 것을 특징으로 하는 이동체.
  7. 제 6 항에 있어서,
    상기 이동체 주위의 주변광 세기를 감지하는 주변광 센서;를 더 포함하고,
    상기 프로세서는,
    상기 주변광 세기에 기초하여 상기 반사광의 제거 정도를 조절하는 것을 특징으로 하는 이동체.
  8. 제 6 항에 있어서,
    상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 GPS 신호 수신부;를 더 포함하고,
    상기 프로세서는,
    상기 GPS 신호 및 현재 시각에 기초하여 태양의 위치를 식별하고, 상기 식별된 태양의 위치에 기초하여 상기 반사광을 제거하는 것을 특징으로 하는 이동체.
  9. 제 1 항에 있어서,
    상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 GPS 신호 수신부;를 더 포함하고,
    상기 프로세서는,
    상기 GPS 신호를 이용하여 상기 이동체의 위치를 식별하고, 상기 GPS 신호를 이용하여 식별된 상기 이동체의 위치를 바탕으로 상기 맵 데이터 상에서 상기 이동체의 위치를 식별하는 것을 특징으로 하는 이동체.
  10. 제 9 항에 있어서,
    상기 프로세서는,
    상기 GPS 신호를 이용하여 식별된 상기 이동체의 위치로부터 기설정된 거리 범위에 대응되는 상기 맵 데이터를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 이동체.
  11. 이동체의 맵 기반 위치 인식 방법에 있어서,
    멀티채널 라이다(LiDAR) 센서를 이용하여 상기 이동체 주위 지면에 대한 채널별 포인트 클라우드 정보를 획득하는 단계;
    외부 서버로부터 상기 이동체의 주위 지면에 대한 채널별 포인트 클라우드 정보를 포함하는 맵 데이터를 수신하는 단계;
    상기 맵 데이터의 포인트 클라우드 정보 중 상기 획득된 포인트 클라우드 정보와 매칭되는 포인트 클라우드 정보를 식별하는 단계;
    상기 맵 데이터의 복수의 영역 중 상기 식별된 포인트 클라우드 정보에 대응되는 영역을 식별하는 단계; 및
    상기 식별된 영역에 기초하여 상기 이동체의 위치를 식별하는 단계;를 포함하고,
    상기 외부 서버로부터 수신되는 맵 데이터는,
    상기 멀티 채널 레이저의 채널별 반사율 정보를 합성한 싱글 채널 맵 데이터이고,
    상기 이동체의 위치를 식별하는 단계는,
    상기 획득된 채널별 포인트 클라우드 정보를 싱글 채널 포인트 클라우드 정보로 합성하는 단계; 및
    상기 합성된 싱글 채널 포인트 클라우드 정보와 상기 싱글 채널 맵 데이터를 매칭하여 상기 이동체의 위치를 식별하는 단계;를 포함하는 이동체의 맵 기반 위치 인식 방법.
  12. 제 11 항에 있어서,
    상기 맵 데이터는,
    상기 멀티채널 레이저의 채널별 반사율 정보를 포함하는 멀티채널 맵 데이터를 포함하고,
    상기 이동체의 위치를 식별하는 단계는,
    상기 획득된 채널별 포인트 클라우드 정보와 상기 멀티채널 맵 데이터를 매칭하여 상기 이동체의 위치를 식별하는 단계;를 포함하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 합성하는 단계는,
    상기 획득된 채널별 포인트 클라우드 정보의 반사율 정보에 채널 별로 가중치를 곱하는 단계; 및
    상기 가중치가 곱해진 채널별 반사율 정보를 합산하는 단계;를 포함하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  15. 제 14 항에 있어서,
    상기 가중치를 곱하는 단계는,
    상기 획득된 채널별 포인트 클라우드 정보의 반사율 정보의 분산 또는 표준 편차를 상기 채널별로 산출하고, 상기 산출된 분산 또는 표준 편차가 큰 채널일수록 큰 가중치를 곱하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  16. 제 11 항에 있어서,
    상기 이동체의 위치를 식별하는 단계는,
    상기 라이다 센서를 통해 획득된 상기 포인트 클라우드 정보를 2D 데이터로 래스터화(Rasterization)하는 단계;
    상기 래스터화된 2D 데이터에서 반사광을 제거하는 단계; 및
    상기 반사광이 제거된 2D 데이터와 상기 맵 데이터를 매칭하여 상기 이동체의 위치를 식별하는 단계;를 포함하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  17. 제 16 항에 있어서,
    상기 이동체 주위의 주변광 세기를 감지하는 단계;를 더 포함하고,
    상기 반사광을 제거하는 단계는,
    상기 주변광 세기에 기초하여 상기 반사광의 제거 정도를 조절하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  18. 제 16 항에 있어서,
    상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 단계;를 더 포함하고,
    상기 반사광을 제거하는 단계는,
    상기 수신된 상기 GPS 신호 및 현재 시각에 기초하여 태양의 위치를 식별하는 단계; 및
    상기 식별된 태양의 위치에 기초하여 상기 반사광을 제거하는 단계;를 포함하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  19. 제 11 항에 있어서,
    상기 이동체의 위치 정보를 포함하는 GPS(Global Positioning System) 신호를 수신하는 단계;를 더 포함하고,
    상기 이동체의 위치를 식별하는 단계는,
    상기 수신된 상기 GPS 신호를 이용하여 상기 이동체의 위치를 식별하는 단계; 및
    상기 GPS 신호를 이용하여 식별된 상기 이동체의 위치를 바탕으로 상기 맵 데이터 상에서 상기 이동체의 위치를 식별하는 단계;를 포함하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
  20. 제 19 항에 있어서,
    상기 맵 데이터를 수신하는 단계는,
    상기 GPS 신호를 이용하여 식별된 상기 이동체의 위치로부터 기설정된 거리 범위에 대응되는 상기 맵 데이터를 상기 서버로부터 수신하는 것을 특징으로 하는 이동체의 맵 기반 위치 인식 방법.
KR1020160015215A 2016-02-05 2016-02-05 이동체 및 이동체의 위치 인식 방법 KR102373926B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160015215A KR102373926B1 (ko) 2016-02-05 2016-02-05 이동체 및 이동체의 위치 인식 방법
US15/181,846 US10768305B2 (en) 2016-02-05 2016-06-14 Vehicle and method of recognizing position of vehicle based on map
CN201780005513.3A CN108475062B (zh) 2016-02-05 2017-01-09 车辆和基于地图识别车辆的位置的方法
EP17747628.0A EP3365740A4 (en) 2016-02-05 2017-01-09 Vehicle and method of recognizing position of vehicle based on map
PCT/KR2017/000252 WO2017135583A1 (en) 2016-02-05 2017-01-09 Vehicle and method of recognizing position of vehicle based on map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160015215A KR102373926B1 (ko) 2016-02-05 2016-02-05 이동체 및 이동체의 위치 인식 방법

Publications (2)

Publication Number Publication Date
KR20170093608A KR20170093608A (ko) 2017-08-16
KR102373926B1 true KR102373926B1 (ko) 2022-03-14

Family

ID=59497602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160015215A KR102373926B1 (ko) 2016-02-05 2016-02-05 이동체 및 이동체의 위치 인식 방법

Country Status (5)

Country Link
US (1) US10768305B2 (ko)
EP (1) EP3365740A4 (ko)
KR (1) KR102373926B1 (ko)
CN (1) CN108475062B (ko)
WO (1) WO2017135583A1 (ko)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
JP6082415B2 (ja) * 2015-03-03 2017-02-15 富士重工業株式会社 車両の走行制御装置
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
JP6380422B2 (ja) * 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10721451B2 (en) * 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10474162B2 (en) 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
US10776661B2 (en) * 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US10438493B2 (en) 2016-08-24 2019-10-08 Uber Technologies, Inc. Hybrid trip planning for autonomous vehicles
WO2018051746A1 (ja) * 2016-09-16 2018-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法及び三次元データ作成装置
US10452068B2 (en) 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
US10296001B2 (en) * 2016-10-27 2019-05-21 Uber Technologies, Inc. Radar multipath processing
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10723018B2 (en) * 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10254121B2 (en) 2017-01-23 2019-04-09 Uber Technologies, Inc. Dynamic routing for self-driving vehicles
US10692252B2 (en) * 2017-02-09 2020-06-23 GM Global Technology Operations LLC Integrated interface for situation awareness information alert, advise, and inform
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
CN109425365B (zh) * 2017-08-23 2022-03-11 腾讯科技（深圳）有限公司 激光扫描设备标定的方法、装置、设备及存储介质
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
DE102017217065A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren und System zum Kartieren und Lokalisieren eines Fahrzeugs basierend auf Radarmessungen
KR102086026B1 (ko) * 2017-10-26 2020-03-06 현대오트론 주식회사 라이다 장치, 라이다 신호 처리 장치 및 방법
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的信息输出方法和装置
US10989538B2 (en) 2017-12-15 2021-04-27 Uatc, Llc IMU data offset compensation for an autonomous vehicle
CN108279670B (zh) * 2017-12-29 2021-12-10 百度在线网络技术（北京）有限公司 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
US10739459B2 (en) 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization
EP3517996B1 (en) * 2018-01-25 2022-09-07 Aptiv Technologies Limited Method for determining the position of a vehicle
WO2019151104A1 (ja) * 2018-01-31 2019-08-08 パイオニア株式会社 周辺情報処理方法
JP6947853B2 (ja) * 2018-01-31 2021-10-13 パイオニア株式会社 周辺情報処理方法
KR101947581B1 (ko) * 2018-02-07 2019-05-02 주식회사 에스더블유엠 포인트 클라우드 정보 공유 장치
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) * 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
WO2019177088A1 (ja) * 2018-03-15 2019-09-19 パイオニア株式会社 センサ制御装置
CN108535753A (zh) * 2018-03-30 2018-09-14 北京百度网讯科技有限公司 车辆定位方法、装置及设备
US10887433B2 (en) * 2018-04-03 2021-01-05 Pony Ai Inc. System and method for incremental data processing
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
CN109100730B (zh) * 2018-05-18 2022-05-24 北京师范大学-香港浸会大学联合国际学院 一种多车协同快速建图方法
KR102480417B1 (ko) * 2018-09-21 2022-12-22 삼성전자주식회사 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
DE102019127806A1 (de) * 2018-10-15 2020-04-16 Ford Global Technologies, Llc Verfahren und vorrichtungen zum erzeugen einer erweiterten umgebung, die eine gewichtsanzeige beinhaltet, für ein fahrzeug
CN111656136B (zh) * 2018-11-09 2023-09-29 北京嘀嘀无限科技发展有限公司 使用激光雷达的车辆定位系统
CN111175775A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位数据生成方法、装置以及电子设备
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
CN111448591B (zh) * 2018-11-16 2021-05-18 北京嘀嘀无限科技发展有限公司 不良光照条件下用于定位车辆的系统和方法
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
EP3894788A4 (en) * 2018-12-13 2022-10-05 Continental Automotive GmbH METHOD AND SYSTEM FOR GENERATION OF ENVIRONMENTAL MODEL FOR POSITIONING
CN111366947B (zh) * 2018-12-26 2022-04-22 武汉万集信息技术有限公司 导航激光雷达对场景的识别方法、装置及系统
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN111443699B (zh) * 2018-12-28 2023-05-23 深圳市优必选科技有限公司 定位漂移检测方法及装置、机器人
CN111469781B (zh) * 2019-01-24 2023-06-23 北京京东乾石科技有限公司 用于输出信息的方法和装置
CN109816697B (zh) * 2019-02-02 2019-12-10 绥化学院 一种无人模型车建立地图的系统及方法
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
KR20200140527A (ko) * 2019-06-07 2020-12-16 현대자동차주식회사 자율주행차량의 위치 인식 장치 및 그 방법
DE102019208504A1 (de) * 2019-06-12 2020-12-17 Robert Bosch Gmbh Positionsbestimmung auf der Basis von Umgebungsbeobachtungen
US11654552B2 (en) * 2019-07-29 2023-05-23 TruPhysics GmbH Backup control based continuous training of robots
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
KR102367185B1 (ko) * 2020-02-21 2022-02-23 숭실대학교산학협력단 라이더 스캔 데이터를 이용한 이동체 위치 추정 방법 및 장치
US11725944B2 (en) 2020-03-02 2023-08-15 Apollo Intelligent Driving Technology (Beijing) Co, Ltd. Method, apparatus, computing device and computer-readable storage medium for positioning
JP7235691B2 (ja) * 2020-03-23 2023-03-08 株式会社日立製作所 自動検査装置
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN113866779A (zh) * 2020-06-30 2021-12-31 上海商汤智能科技有限公司 点云数据的融合方法、装置、电子设备及存储介质
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
KR102398084B1 (ko) * 2021-02-19 2022-05-16 (주)오토노머스에이투지 도로 상황에 따라 조정된 가중치를 이용한 정밀지도 기반의 맵 매칭을 통해 이동체를 측위하는 방법 및 이를 이용한 이동체 위치 측정 장치
CN113296512B (zh) * 2021-05-24 2022-10-04 福建盛海智能科技有限公司 一种基于激光雷达和gps的无人循迹驾驶方法与终端
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN115060276B (zh) * 2022-06-10 2023-05-12 江苏集萃清联智控科技有限公司 一种多环境适应性自动驾驶车辆定位设备、系统及方法
CN115326100B (zh) * 2022-10-17 2023-03-03 北京智行者科技股份有限公司 路径规划方法、装置、自动驾驶设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US20150109603A1 (en) 2013-10-21 2015-04-23 Electronics And Telecommunications Research Institute Multi-wavelength image lidar sensor apparatus and signal processing method thereof

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236666B1 (en) * 1996-05-17 2001-05-22 Uab Research Foundation Semiconductor laser with a superbroadband or multiline spectral output
US6664529B2 (en) 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
US7191467B1 (en) * 2002-03-15 2007-03-13 Microsoft Corporation Method and system of integrating third party authentication into internet browser code
EP1590683A1 (en) * 2003-01-15 2005-11-02 Areté Associates Ultraviolet, infrared, and near-infrared lidar system and method
US8751156B2 (en) * 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
US7499775B2 (en) 2004-10-22 2009-03-03 Irobot Corporation System and method for terrain feature tracking
KR100720595B1 (ko) 2006-08-02 2007-05-21 주식회사 아이센텍이엔씨 자동 추적 레이다 시스템과 연동하는 지능형 화상 감시시스템 및 그 방법
JP4412337B2 (ja) * 2007-03-08 2010-02-10 トヨタ自動車株式会社 周囲環境推定装置及び周囲環境推定システム
KR20080093569A (ko) 2007-04-17 2008-10-22 현대중공업 주식회사 레이더 계측에 따른 파랑정보를 이용한 선박 안전운항방법
JP5116555B2 (ja) 2008-04-25 2013-01-09 三菱電機株式会社 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
EP2393061B1 (en) * 2009-01-27 2016-09-07 Nec Corporation Color image processing method, color image processing device and recording medium
US8306672B2 (en) 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
CN201583661U (zh) * 2009-12-24 2010-09-15 武汉大学 多波长扫描激光雷达遥感装置
WO2012010839A1 (en) 2010-07-22 2012-01-26 Renishaw Plc Laser scanning apparatus and method of use
JP2012083267A (ja) * 2010-10-13 2012-04-26 Japan Aerospace Exploration Agency マルチライダーシステム
KR101221755B1 (ko) 2011-04-22 2013-01-11 경북대학교 산학협력단 위험기상과 관련된 반사도 셀의 탐지 방법
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
GB201116960D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Monocular camera localisation using prior point clouds
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
JP2013210346A (ja) 2012-03-30 2013-10-10 Hitachi Information & Telecommunication Engineering Ltd 可搬型レーザレーダ装置
US8996228B1 (en) 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9043072B1 (en) * 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9025140B2 (en) 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
KR102140307B1 (ko) 2013-07-02 2020-08-03 한국전자통신연구원 레이저 레이더 시스템
KR20150078881A (ko) 2013-12-31 2015-07-08 현대자동차주식회사 클라우드 컴퓨팅을 통한 차량 위치 측정방법
KR101475896B1 (ko) 2014-06-23 2014-12-23 서울공간정보 주식회사 영상데이터와 수치좌표데이터 합성을 통해 영상이미지의 오차를 수정하는 영상처리시스템
US9453941B2 (en) * 2014-12-22 2016-09-27 GM Global Technology Operations LLC Road surface reflectivity detection by lidar sensor
US10000000B2 (en) * 2015-03-10 2018-06-19 Raytheon Company Coherent LADAR using intra-pixel quadrature detection
CN105783936B (zh) 2016-03-08 2019-09-24 武汉中海庭数据技术有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US20150109603A1 (en) 2013-10-21 2015-04-23 Electronics And Telecommunications Research Institute Multi-wavelength image lidar sensor apparatus and signal processing method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Philipp Lindner 외 4명, Multi Channel Lidar Processing for Lane Detection and Estimation, Proceedings of the 12th International IEEE Conference on ITS, St. Louis, MO, USA,. Oct. 3-7.

Also Published As

Publication number Publication date
EP3365740A4 (en) 2018-12-05
CN108475062A (zh) 2018-08-31
EP3365740A1 (en) 2018-08-29
CN108475062B (zh) 2021-12-21
KR20170093608A (ko) 2017-08-16
WO2017135583A1 (en) 2017-08-10
US10768305B2 (en) 2020-09-08
US20170227647A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
KR102373926B1 (ko) 이동체 및 이동체의 위치 인식 방법
US11604277B2 (en) Apparatus for acquiring 3-dimensional maps of a scene
US11161526B1 (en) Systems and methods for autonomous vehicle control using depolarization ratio of return signal
KR102536707B1 (ko) 차량의 동작을 지원하기 위해 lidar 시스템의 다수의 기능을 결합
EP2993489B1 (en) Laser radar device
FR3054888A1 (fr) Procede de mesure de la hauteur d'une cible par rapport au sol par un radar en mouvement, et radar mettant en oeuvre un tel procede
US20220065657A1 (en) Systems and methods for vehicle mapping and localization using synthetic aperture radar
CN113874751A (zh) 用于组合雷达数据的系统和方法
US11774583B2 (en) Methods and systems for filtering vehicle self-reflections in radar
JP2023502000A (ja) 車両の周囲を検知するためのシステム及び方法
CN110542909A (zh) 一种大气能见度检测方法及电子设备
US20230020376A1 (en) Retro-reflectometer for measuring retro-reflectivity of objects in an outdoor environment
US20220120900A1 (en) Light detection and ranging device using combined pulse and continuous optical signals
US20220413129A1 (en) Methods and Systems for Detecting and Mitigating Automotive Radar Interference
US20220194413A1 (en) System, Method, and Computer Program Product for Detecting Road Marking Points from LiDAR Data
CA2773363C (en) An automated multi-vehicle position, orientation and identification system and method
US20230375713A1 (en) Lidar with switchable local oscillator signals
US11619739B1 (en) LIDAR pixel with dual polarization receive optical antenna
US20230400589A1 (en) LIDAR with Switchable Local Oscillator Signals
US20240094350A1 (en) Lidar device including a local oscillator network
JP2023149894A (ja) 学習装置、学習方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant