KR20190082291A - 차량 환경 맵 생성 및 업데이트 방법 및 시스템 - Google Patents
차량 환경 맵 생성 및 업데이트 방법 및 시스템 Download PDFInfo
- Publication number
- KR20190082291A KR20190082291A KR1020197016765A KR20197016765A KR20190082291A KR 20190082291 A KR20190082291 A KR 20190082291A KR 1020197016765 A KR1020197016765 A KR 1020197016765A KR 20197016765 A KR20197016765 A KR 20197016765A KR 20190082291 A KR20190082291 A KR 20190082291A
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- dimensional
- point cloud
- wide
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001186 cumulative effect Effects 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 60
- 230000015654 memory Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/523—Details of pulse systems
- G01S7/526—Receivers
- G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
- G05D1/0293—Convoy travelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
Abstract
N 개인 복수의 3차원 센서(21)가 장착되고 중앙 처리 유닛(22)과 통신하는 하나 또는 여러 이동 차량(10) 주위의 환경의 광역 3차원 맵을 동적으로 생성하고 업데이트하기 위한 방법 및 시스템. 각각의 센서(21)는, 다른 센서와 병렬적으로 그리고 비동기식으로, 포인트 클라우드 프레임의 연속 스트림을 생성하고, 포인트 클라우드 프레임은 각각의 센서 주위의 환경의 로컬 볼륨 내에 위치된 물체 표면을 나타낸다. 중앙 처리 유닛은 센서로부터 연속 스트림을 연속적으로 수신하고, 이들을 메모리 내에 저장하며, 각각의 스트림의 각각의 새롭게 수신된 포인트 클라우드 프레임에 대하여, 정렬된 포인트 클라우드 프레임을 상기 환경의 광역 좌표계에서 결정하고, 정렬된 포인트 클라우드 프레임을 병합하여 광역 누적 3차원 맵을 업데이트함으로써, 상기 적어도 하나의 차량의 환경의 광역 누적 3차원 맵을 생성 또는 업데이트한다.
Description
본 발명은 적어도 하나의 이동 차량 주위의 환경의 광역 3차원 맵을 동적으로 생성 및 업데이트하는 방법에 관한 것이다. 본 발명 또한 차량의 수송대(convoy)를 위한 광역 3차원 맵 생성 및 업데이트 시스템 및 이러한 시스템을 포함하는 자율주행 또는 반자율주행 차량의 수송대에 관한 것이다.
본 출원은 하나 또는 여러 이동 차량의 주변을 나타내는 3차원 환경 맵을 생성하는 분야에 속한다. 이러한 맵은 상기 차량에 장착된 3차원 센서를 사용하여 동적으로 생성되고 업데이트된다.
3차원 센서는, 상기 센서 주위의 환경의 로컬 볼륨 내에 위치된 물체를 나타내는, 포인트 클라우드라고 불리는 데이터 포인트의 세트를 획득한다. 일반적으로 사용되는 3차원 센서의 하나의 예는, 회전하는 레이저 빔을 사용하여 자신의 환경을 주기적으로 스캔하는 광 검출 및 거리 측정(light detection and ranging; LIDAR) 모듈과 같은 레이저 거리 감지기이다.
단일 차량 또는 차량들의 수송대에 3차원 센서를 제공하면 많은 흥미로운 적용예가 생긴다.
획득된 포인트 클라우드는 매핑 목적을 위해서 이동하는 동안에 차량에 의해 목격되는 환경의 3D 맵을 생성하기 위하여 사용될 수 있다. 3D 맵은, 특히 단일 차량 또는 자율주행 차량들의 수송대의 운전을 자동화하기 위하여, 차량의 운전을 보조 또는 자동화하기 위해서도 사용될 수 있다.
복수의 3차원 센서를 사용하면 맵의 범위 및 분해능을 증가시키고 음영 효과를 피함으로써, 상기 포인트 클라우드로부터 생성될 수 있는 맵의 커버리지 및 정확도가 크게 향상된다. 센서들은 차량의 차체 및/또는 차량들의 수송대의 각각의 차량 상의 다양한 위치에 장착될 수 있다.
그러나, 각각의 3차원 센서에 의해서 생성된 원시 데이터가 성기고(sparse), 잡음이 있으며(noisy) 및 개별화(discretize)되기 때문에, 개별 3차원 센서로부터 생성된 포인트 클라우드를 결합하는 것은 간단한 일이 아니다.
US 7,652,238 및 US 9,151,446은 여러 3D 센서로부터 얻어진 정보를 결합하도록 설계된 시스템 및 장치를 기술한다. 이러한 장치에서, 시스템의 모든 3D 센서에 대해서 균일한 좌표계가 규정되고, 센서의 위치 및 배향이 이러한 공통 좌표계에서 교정된다.
이러한 시스템에서, 측정치들을 신뢰가능한 방식으로 병합할 수 있으려면 각각의 센서의 각각의 위치는 시간이 지나도 고정되고 안정해야 한다. 그러면 이러한 다중 센서 시스템이 단일의 강성 구조체에 장착된 센서에만 사용가능하게 되고 독립적으로 이동하는 차량들의 수송대의 경우에는 사용될 수 없게 된다. 더욱이, 센서의 상대적인 위치 및 배향을 정확하게 결정하려면, 비전문가인 운영자율 관리하기 어려운 3D 측정 툴 및 3D 입력 인터페이스가 필요하다. 결과적으로, 예를 들어 충격, 노화 또는 날씨와 관련된 상태에 기인하여 센서가 오정렬되게 되면, 일반적으로는 센서가 있는 장착 스테이지를 교체하거나 재교정을 위해서 차량을 공장으로 돌려보내는 것 외에는 오정렬을 정정할 쉬운 방법이 없다.
미국 특허 출원 제 2013/0242285A는, 특히 하나의 센서의 위치 또는 배향이 위에서 언급된 바와 같이 변경되고 센서가 오정렬되는 경우, 두 개의 3차원 센서의 상대적인 교정을 자동적으로 조절하기 위한 방법을 기술한다. 이러한 방법에 따르면, 이러한 두 개의 센서의 로컬 좌표계들 사이의 변환 함수를 업데이트하고 상기 센서 중 하나의 다른 센서에 대한 잠재적인 변위를 결정하기 위하여, 두 개의 3차원 센서에 의해 획득된 두 개의 포인트 클라우드들이 함께 비교된다.
그러나, 이러한 방법을 사용할 수 있으려면, 비교되는 포인트 클라우드 프레임이 동시에 획득되도록 센서들이 조심스럽게 동기화되어야 한다. 그렇지 않으면, 센서가 장착된 차량이 이동을 시작하자마자, 각각의 센서에 대한 획득 시간이 달라서 센서들 사이의 변위가 잘못 계산될 것이다. 더욱이, 획득된 포인트 클라우드들을 비교할 수 있으려면 두 개의 센서의 가시 범위가 중첩되어야 한다. 이러한 두 가지 조건을 실제로 만족시키기는 어려우며, 특히 차량들의 수송대 내에서 떨어져 있는 차량들에 센서가 장착된 경우 어렵다.
특히, 차량들의 수송대 내의 떨어져 있는 차량은 이동하는 동안 큰 상대 운동을 경험하며, 상이한 차량에 장착된 센서의 가시 범위는 흔히 중첩하지 않는다. 하나의 공통적인 중첩하지 않는 상황은, 제 1 차량이 모서리를 지났지만 후속하는 제 2 차량은 지나지 않은 경우에 발생한다. 그러면, 제 1 및 제 2 차량에 장착된 센서의 가시 범위는 보통 중첩하지 않고, 센서가 조심스럽게 동기화되어도 획득된 포인트 클라우드들의 조합이 이루어질 수 없다.
이제, 하나의 솔루션은 별개의 센서에 의해 획득된 포인트 클라우드를 조합하기 위하여 다른 국지화 디바이스를 사용하는 것일 수 있다. 추가적인 국지화 디바이스의 일 예는 광역 위치설정 시스템(GPS)이다. 이러한 뒤떨어지는 솔루션들은 시스템을 더 복잡하게 할뿐만 아니라 추가적인 오차 소스와 모서리의 경우가 생기기 때문에 만족스럽지 않다(GPS는 예를 들어 터널과 지하에서는 작동하지 않고 그들의 정확도가 제한된다).
본 발명은 이러한 상황을 개선하는 것을 목적으로 한다.
이를 위하여, 본 발명의 첫 번째 목적은 적어도 하나의 이동 차량 주위의 환경의 광역 3차원 맵을 동적으로 생성하고 업데이트하는 방법으로서,
N 개인 복수의 3차원 센서가 상기 적어도 하나의 이동 차량에 장착되고 적어도 하나의 중앙 처리 유닛과 통신하며,
a) N 개인 복수의 3차원 센서의 각각의 센서가, 상기 복수의 3차원 센서 중 다른 센서와 병렬적으로 그리고 비동기식으로, 포인트 클라우드 프레임의 연속 스트림을 생성하고,
상기 스트림의 각각의 포인트 클라우드 프레임은, 시간에 상기 센서의 로컬 좌표계에서 상기 센서에 의해 획득된 3차원 데이터 포인트의 세트를 포함하며, 상기 3차원 데이터 포인트는 상기 시간에 상기 센서 주위의 환경의 로컬 볼륨 내에 위치된 물체 표면을 나타내고,
b) 상기 중앙 처리 유닛이, N 개인 3차원 센서로부터 N 개인 복수의 연속 스트림을 연속적으로 수신하고, 상기 복수의 스트림을 메모리 내에 저장하며,
상기 복수의 스트림의 각각의 스트림의 각각의 새롭게 수신된 포인트 클라우드 프레임에 대해서, 상기 적어도 하나의 차량의 환경의 광역 누적 3차원 맵을,
b1) 상기 적어도 하나의 차량의 환경의 광역 좌표계 내의 정렬된 포인트 클라우드 프레임을, 상기 포인트 클라우드 프레임을 상기 환경의 광역 누적 3차원 맵과 비교함으로써 결정하는 단계, 및
b2) 상기 정렬된 포인트 클라우드 프레임을 상기 광역 누적 3차원 맵과 병합함으로써, 상기 광역 누적 3차원 맵을 업데이트하는 단계에 의하여 생성하거나 업데이트하는, 광역 3차원 맵의 동적 생성 및 업데이트 방법을 제공하는 것이다.
일부 실시예들에서, 다음 후속하는 특징 중 하나 이상도 역시 사용될 수 있다:
- 상기 광역 누적 3차원 맵은, 적어도 하나의 광역 좌표계 및 상기 광역 좌표계 내의 복수의 데이터 포인트를 포함하는 적어도 하나의 연관된 서브-구역을 포함하고,
상기 정렬된 포인트 클라우드 프레임을 결정하는 상기 단계 b1)는,
b11) 상기 포인트 클라우드 프레임을 상기 환경의 광역 누적 3차원 맵의 각각의 서브-구역과 비교함으로써, 정렬된 포인트 클라우드 프레임의 적어도 일부가 상기 광역 누적 3차원 맵의 상기 적어도 하나의 서브-구역의 적어도 일부와 매칭하도록, 상기 포인트 클라우드 프레임을 정렬하려고 시도하는 단계를 포함하고,
상기 환경의 광역 누적 3차원 맵을 업데이트하는 상기 단계 b2)는,
b21) 상기 포인트 클라우드 프레임이 상기 환경의 광역 누적 3차원 맵의 적어도 하나의 서브-구역과 정렬될 수 있으면, 상기 정렬된 포인트 클라우드 프레임을 상기 광역 누적 3차원 맵의 상기 적어도 하나의 서브-구역과 병합하는 단계,
b22) 상기 포인트 클라우드 프레임이 상기 환경의 광역 누적 3차원 맵과 정렬될 수 없으면, 추가 광역 좌표계 및 상기 광역 누적 3차원 맵의 연관된 추가 서브-구역을 생성하는 단계 - 상기 광역 누적 3차원 맵의 추가 서브-구역은, 상기 광역 누적 3차원 맵 내에 이전에 포함된 서브-구역으로부터 분리되고, 상기 포인트 클라우드 프레임을 포함하는 것임 -
- 상기 광역 누적 3차원 맵이 여러 서브-구역을 포함하면, 상기 포인트 클라우드 프레임을 정렬하려고 시도하는 상기 단계 b11)은, 멀티-스캔 정렬 단계에서, 정렬된 포인트 클라우드 프레임의 적어도 일부가 상기 광역 누적 3차원 맵의 적어도 하나의 서브-구역과 매칭하도록, 상기 서브-구역 및 상기 포인트 클라우드 프레임을 함께 정렬하려고 시도하는 단계를 더 포함하고,
상기 포인트 클라우드 프레임이 상기 광역 누적 3차원 맵의 복수의 서브-구역과 정렬될 수 있으면, 상기 복수의 서브-구역 및 상기 포인트 클라우드 프레임은, 상기 단일 광역 좌표계에 연관된 상기 광역 누적 3차원 맵의 단일 서브-구역 내에 정렬되고 병합되며,
- 상기 N 개인 3차원 센서는, 제 1 이동 차량에 장착된 적어도 하나의 제 1 3차원 센서 및 제 2 이동 차량에 장착된 적어도 하나의 제 2 3차원 센서를 포함하고,
상기 적어도 하나의 제 1 3차원 센서 및 상기 적어도 하나의 제 2 3차원 센서는 공통 중앙 처리 유닛과 무선으로 통신하며,
상기 광역 누적 3차원 맵은, 상기 제 1 이동 차량 주위의 환경 및 상기 제 2 이동 차량 주위의 환경을 나타내는 공통 서브-구역을 포함하고,
- 상기 광역 누적 3차원 맵은, 상기 제 1 이동 차량 주위의 환경 및 상기 제 2 이동 차량 주위의 환경을 나타내는 상기 공통 서브-구역에 연관되는 공통 광역 좌표계를 포함하고,
상기 적어도 하나의 제 1 3차원 센서에 의하여 생성된 포인트 클라우드 프레임 및 상기 적어도 하나의 제 2 3차원 센서에 의하여 생성된 포인트 클라우드 프레임이 상기 공통 광역 좌표계에서 변환되며,
- 상기 N 개인 복수의 연속 스트림 중 하나의 스트림의 새롭게 수신된 포인트 클라우드 프레임에 대하여, 정렬된 포인트 클라우드 프레임을 결정하는 상기 단계 b1)은, 적어도 하나의 시간에서, 상기 스트림을 생성하는 센서의 3차원 위치 및 배향을 상기 환경의 광역 좌표계에서 결정하는 것을 포함하고,
적어도 하나의 시간에서 상기 센서의 3차원 위치 및 배향을 결정하는 것은, 적어도 하나의 차량 또는 복수의 3차원 센서의 추가 위치설정 정보 없이, 오직 상기 스트림의 새롭게 수신된 포인트 클라우드 프레임 및 광역 누적 3차원 맵으로부터 계산되며,
- 상기 N 개인 복수의 3차원 센서 중 제 1 센서 및 제 2 센서는 적어도 시간 기간(T) 동안에 비동기화되고,
특히, 상기 시간 기간(T) 동안에 획득된 상기 제 1 센서 및 상기 제 2 센서의 각각의 스트림의 포인트 클라우드 프레임은 상이한 시간 
에서 획득되며(
),
- 상기 N 개인 3차원 센서 중 제 1 센서 및 제 2 센서는 적어도 시간 기간(T) 동안에 중첩하지 않는 각각의 가시 범위를 가지고,
특히, 상기 시간 기간(T) 동안에 획득된 상기 제 1 센서 및 상기 제 2 센서의 각각의 스트림의 포인트 클라우드 프레임은 중첩하지 않는 각각의 로컬 볼륨 
을 커버하며(
),
- 정렬된 포인트 클라우드 프레임을 상기 환경의 광역 좌표계에서 결정하는 단계는, 상기 환경을 나타내는 데이터 포인트 및 상기 포인트 클라우드 프레임을 획득한 센서가 장착된 차량을 나타내는 데이터 포인트를 식별하고 표시하기 위하여 상기 포인트 클라우드 프레임의 데이터 포인트를 분할하는 단계를 포함하고,
특히, 상기 정렬된 포인트 클라우드 프레임은 상기 환경을 나타낸다.
본 발명의 다른 목적은, 적어도 하나의 차량을 위한 광역 3차원 맵 생성 및 업데이트 시스템으로서,
상기 적어도 하나의 차량에 장착되도록 구성되는 N 개인 복수의 3차원 센서로서, 상기 N 개인 복수의 3차원 센서의 각각의 센서는, 복수의 3차원 센서 중 다른 센서와 병렬적으로 그리고 비동기식으로, 포인트 클라우드 프레임의 연속 스트림을 생성하도록 구성되고, 상기 스트림의 각각의 포인트 클라우드 프레임은, 시간에 상기 센서의 로컬 좌표계 내에서 상기 센서에 의해 획득된 3차원 데이터 포인트의 세트를 포함하며, 상기 3차원 데이터 포인트는 상기 시간에 상기 센서 주위의 환경의 로컬 볼륨 내에 위치된 물체 표면을 나타내는, N 개인 복수의 3차원 센서; 및
중앙 처리 유닛으로서, N 개인 복수의 3차원 센서로부터 N 개인 복수의 연속 스트림을 연속적으로 수신하기 위하여 상기 복수의 센서의 각각의 3차원 센서와 통신하고, 상기 복수의 스트림을 메모리 내에 저장하며, 상기 적어도 하나의 차량 주위의 환경의 광역 누적 3차원 맵을,
상기 복수의 스트림 중 각각의 스트림의 각각의 새롭게 수신된 포인트 클라우드 프레임에 대하여, 상기 적어도 하나의 차량의 환경의 광역 좌표계 내의 정렬된 포인트 클라우드 프레임을, 상기 포인트 클라우드 프레임을 상기 환경의 광역 누적 3차원 맵과 비교함으로써 결정하는 것 및
상기 정렬된 포인트 클라우드 프레임을 상기 광역 누적 3차원 맵과 병합함으로써, 상기 광역 누적 3차원 맵을 업데이트하는 것에 의하여 업데이트하도록 구성되는, 중앙 처리 유닛을 포함하는, 광역 3차원 맵 생성 및 업데이트 시스템을 제공하는 것이다.
본 발명의 다른 목적은, 전술된 바와 같은 광역 3차원 맵 생성 및 업데이트 시스템을 포함하는 자율주행 또는 반자율주행 차량으로서,
상기 시스템의 상기 N 개인 복수의 3차원 센서는 상기 차량에 장착되고,
상기 차량은, 상기 시스템에 의해 생성되고 업데이트된 상기 광역 누적 3차원 맵을 수신하고 저장하도록, 그리고 상기 차량의 운전을 적어도 상기 광역 누적 3차원 맵에 기초하여 보조 또는 제어하도록 구성되는 차량 처리 유닛을 포함하는, 자율주행 또는 반자율주행 차량을 제공하는 것이다.
본 발명의 또 다른 목적은, 복수의 자율주행 또는 반자율주행 차량 및 전술된 바와 같은 광역 3차원 맵 생성 및 업데이트 시스템을 포함하는 자율주행 또는 반자율주행 차량들의 수송대로서,
N 개인 복수의 3차원 센서의 상기 적어도 하나의 3차원 센서는 상기 수송대의 각각의 차량에 장착되고,
상기 수송대의 각각의 차량은, 상기 시스템에 의해 생성되고 업데이트된 상기 광역 누적 3차원 맵을 수신 및 저장하도록 그리고 상기 차량의 운전을 적어도 상기 광역 누적 3차원 맵에 기초하여 보조 또는 제어하도록 구성되는 차량 처리 유닛을 포함하는, 자율주행 또는 반자율주행 차량의 수송대를 제공하는 것이다.
일 실시예에서, 상기 수송대의 각각의 차량의 차량 처리 유닛은, 상기 시스템의 중앙 처리 유닛이고, 상기 N 개인 3차원 센서로부터 상기 N 개인 복수의 연속 스트림을 연속적으로 수신하기 위하여 상기 복수의 센서의 각각의 3차원 센서와 통신하고, 상기 복수의 스트림을 메모리 내에 저장하며, 상기 차량의 수송대 주위의 환경의 광역 누적 3차원 맵을 업데이트하도록 구성된다.
본 발명의 또 다른 목적은 프로그램 명령을 포함하는 컴퓨터 프로그램이 저장된 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 프로그램은, 전술된 광역 3차원 맵 생성 및 업데이트 시스템의 중앙 처리 유닛에 로딩될 수 있고, 상기 컴퓨터 프로그램이 상기 중앙 처리 유닛에 의해 실행되면, 전술된 방법의 단계를 상기 중앙 처리 유닛이 수행하게 하도록 구성되는, 비-일시적 컴퓨터 판독가능 저장 매체를 제공하는 것이다.
본 발명의 다른 특징 및 장점이, 비한정적인 예들로서 제공된 그 실시예들 일부와 첨부 도면의 후속하는 설명으로부터 명백해질 것이다.
도면에서:
- 도 1은 본 발명의 일 실시예에 따른 광역 3차원 맵 생성 및 업데이트 시스템을 포함하는, 차량들의 수송대의 개략적인 사시도이다,
- 도 2는 본 발명의 일 실시예에 따른 광역 3차원 맵 생성 및 업데이트 시스템을 포함하는 단일 차량의 개략적인 사시도이다,
- 도 3은 본 발명의 실시예에 따른, 환경의 광역 3차원 맵을 동적으로 생성 및 업데이트하는 방법을 나타내는 흐름도이다,
- 도 4는 본 발명의 실시예에 따른, 도 3의 방법의 광역 누적 3차원 맵을 생성 또는 업데이트하는 단계를 나타내는 흐름도이다.
여러 도면에서, 동일한 레퍼런스는 동일하거나 유사한 구성 요소를 가리킨다.
도면에서:
- 도 1은 본 발명의 일 실시예에 따른 광역 3차원 맵 생성 및 업데이트 시스템을 포함하는, 차량들의 수송대의 개략적인 사시도이다,
- 도 2는 본 발명의 일 실시예에 따른 광역 3차원 맵 생성 및 업데이트 시스템을 포함하는 단일 차량의 개략적인 사시도이다,
- 도 3은 본 발명의 실시예에 따른, 환경의 광역 3차원 맵을 동적으로 생성 및 업데이트하는 방법을 나타내는 흐름도이다,
- 도 4는 본 발명의 실시예에 따른, 도 3의 방법의 광역 누적 3차원 맵을 생성 또는 업데이트하는 단계를 나타내는 흐름도이다.
여러 도면에서, 동일한 레퍼런스는 동일하거나 유사한 구성 요소를 가리킨다.
도 1은 본 발명의 일 실시예에 따른 차량(10)의 수송대(1)를 도시한다.
차량의 수송대(1)의 일부일 수 있는 차량(10)은 도 2에서 더 상세하게 도시된다. 이러한 차량(10)도 상세히 후술되는 바와 같이 그 자체로서 본 발명의 목적이다.
본 발명은 바퀴형 차량은 물론 비행(flying), 항해(sailing), 다이빙(diving) 또는 우주용 차량을 포함하는 광범위한 차량에 적용될 수 있다. 본 발명에 따른 차량의 특정한 예에는 차, 로봇, 드론 등이 있다.
본 발명이 특히 관심을 가지는 한 종류의 차량은 자율 추진식 조향가능 차량 및 특히 예를 들어 자율 운전 차량 또는 자율 운전 트럭과 같은 자율주행 또는 반자율주행 차량이다.
도 2에 도시된 바와 같이, 차량(10)에는 차량(10)의 환경(E)으로부터 차량 내부를 경계짓는 차체(11)가 제공된다.
도 1의 예에서, 차량(10)은 새시 및 그 방향이 특정 경로를 따라가도록 제어될 수 있고 예를 들어 도로를 따라 한 줄로 운전할 수 있는 여러 휠(12)이 제공되는 트럭이다.
하나의 차량(10) 및/또는 차량들(10)의 수송대(1)에는 도 1 및 도 2에 도시된 광역 3차원 맵 생성 및 업데이트 시스템(20)이 제공된다.
광역 3차원 맵 생성 및 업데이트 시스템(20)은, 하나의 차량만이 고려된다면 차량(10)의 차체(11)에 또는 그 안에 장착되거나, 본 발명이 차량들의 수송대(1)에 적용된다면 수송대(1)의 각각의 차량(10)의 차체(11)에 또는 그 안에 장착되는 N 개인 복수의 3차원 센서(21)를 포함한다.
예를 들어, 하나의 차량(10)에는 도 2에 도시된 바와 같이 차량(10)의 전방 및 후방에 각각 장착된 두 개의 3차원 센서가 제공될 수 있다.
본 발명의 다른 실시예에서, 차량들의 수송대(1)의 각각의 차량(10)에는 도 1에 도시된 바와 같은 3차원 센서가 제공될 수 있다.
본 명세서에서, 3차원 센서는 일반적인 방법으로 참조 번호(21)로, 그리고 구체적으로는 참조 기호 3DS i 로 표시되는데, 여기에서 i는 시스템(20) 내의 3차원 센서(21)의 1 내지 숫자 N의 범위인 인덱스이다.
N 개인 복수의 3차원 센서의 각각의 3차원 센서(3DS i )는 데이터의 연속 스트림 ST i 를 생성한다.
데이터는 아날로그 데이터인 것이 바람직하다. 그러면 본 발명에 따른 광역 3차원 맵의 정확도 및 분해능이 양호해질 수 있다.
N 개인 복수의 3차원 센서의 각각의 3차원 센서(3DS i )는 포인트 클라우드 프레임
의 연속 스트림 ST i 를 생성한다. 포인트 클라우드 프레임
은 예를 들어, 광역 3차원 맵의 분해능을 저하시킬 샘플링 그리드에 따르도록 샘플링되지 않는 것이 바람직하다.
센서(3DS 1 ,…, 3DS N )에 의해서 각각 획득된 연속 스트림(ST 1 ,…, ST N )은 병렬적으로 그리고 비동기식으로 생성된다.
"병렬적으로 그리고 비동기식으로"라는 것은, 센서가 일반적으로 서로에 대해서 알지 못하고, 센서의 획득이 구체적으로 함께 동기화되지 않는다는 것을 의미한다.
게다가, "병렬적으로 그리고 비동기식으로"라는 것은, 센서의 위치 및/또는 센서의 획득 시간이 본 발명의 방법에 따라서 구체화되지 않거나 알려지지 않을 수 있다는 것을 의미할 수도 있다.
더 상세하게는, 센서의 각각의 위치가 필요하지 않다. 센서의 이러한 각각의 위치는 광역 3차원 맵의 정확도 및/또는 분해능에 영향을 주지 않으면서 본 발명의 방법에 따라서 시간이 지남에 따라서 변할 수도 있다.
이것은 다음과 같이 표시될 수도 있다. N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )는 적어도 시간 기간(T) 동안에 동기화되지 않는 적어도 제 1 센서(3DS k ) 및 제 2 센서(3DS l )를 포함한다. 따라서, 상기 시간 기간(T) 동안에 얻어지는 제 1 센서(3DS k ) 및 제 2 센서( 3DS l )의 각각의 스트림(ST k , ST l )의 두 개의 포인트 클라우드 프레임(
)은 상이한 각각의 시간(
)에 획득된다. 따라서 두 개의 센서(3DS k , 3DS l )의 포인트 클라우드 프레임(
)의 획득 타이밍은 다음과 같다: 
(
).
스트림(ST i )의 각각의 포인트 클라우드 프레임 
는, 시간 
에서 상기 센서의 로컬 좌표계(CS i )에서 상기 센서(3DS i )에 의해 획득된 3차원 데이터 포인트의 세트를 포함한다.
3차원 데이터 포인트는 상기 시간 
에서 센서(3DS i ) 주위의 환경의 로컬 볼륨 
내에 위치된 물체 표면을 나타낸다.
N 개인 복수의 3차원 센서는 중첩하는 가시 범위를 가질 필요가 없다.
"3차원 센서가 중첩하는 가시 범위를 가질 필요가 없다"는 것은, 센서가 서로로부터 독립적으로 이동하는 중일 수 있고, 따라서 어떤 시간 t에서는 중첩하는 필드를 가진 후에(또는 그 전에) 연장된 시간 기간(T) 동안에는 중첩하지 않는 가시 범위를 가질 수 있다는 것을 의미한다.
특히, 다시 말하건대, N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N ) 중 제 1 센서(3DS k ) 및 제 2 센서(3DS l )는 적어도 시간 기간(T) 동안에는 중첩하지 않는 가시 범위를 가질 수 있다. 따라서, 상기 시간 기간(T) 동안에 얻어지는 제 1 센서(3DS k ) 및 제 2 센서(3DS l )의 각각의 스트림(ST k , ST l )의 두 개의 포인트 클라우드 프레임(
)은 중첩하지 않는 개별 로컬 볼륨 
및 
을 커버한다. 이것은, 
라고 진술함으로써 역시 표현될 수 있다(
).
본 명세서에서, 특정 센서(3DS i )에 의해 획득된 포인트 클라우드 프레임은 
로 불리고, 이러한 포인트 클라우드 프레임 
의 획득 시간은 
로 불리며, 상기 시간 
에서의 센서(3DS i ) 주위의 환경의 로컬 볼륨은 
라고 불린다. 이러한 기호에서, 아랫첨자i는 3차원 센서 중 연관된 센서(3DS i )의 1 내지 숫자 N의 범위를 가지는 인덱스이고, 아래첨자 j는 연속 스트림(ST i ) 내의 프레임의 인덱스이며, j는 각각의 새롭게 획득된 프레임과 함께 시간이 지남에 따라서 증가한다.
"3차원 데이터 포인트"라고 하는 것은, 좌표계, 예를 들어 후술되는 바와 같은 상기 센서의 로컬 좌표계(CS i )에서의 센서의 환경의 포인트의 적어도 3-차원 좌표라고 이해된다. 3차원 데이터 포인트는 추가적인 특징, 예를 들어 상기 포인트에 센서에 의해 검출된 신호의 세기를 포함할 수 있다.
"포인트 클라우드 프레임"라고 하면, 특정 시간에, 또는 짧은 획득 기간, 예를 들어 LIDAR의 레이저 빔에 의한 환경의 완전한 스캔을 위해 필요한 시간 동안에 획득된 포인트 클라우드를 의미한다.
"포인트 클라우드 프레임의 연속 스트림"이라고 하면, 데이터의 스트림으로 조직화된 포인트 클라우드 프레임의 연쇄(succession)를 의미한다.
포인트 클라우드는 특히 각각의 센서(ST i )와 연관된 로컬 좌표계(CS i )에서 획득될 수 있다.
로컬 좌표계(CS i )는, 예를 들어 센서 위치에 원점이 위치된 센서(ST i )와 관련된 좌표계이다. 로컬 좌표계(CS i )는 직교, 원통형 또는 극좌표계일 수 있다.
3차원 센서(21)는, 예를 들어 광 검출 및 거리측정(LIDAR) 모듈, 레이더 모듈, 초음파 거리측정 모듈, 소나 모듈, 삼각측량을 사용하는 거리측정 모듈 또는 센서(ST i )의 로컬 좌표계(CS i )에서의 환경의 단일 또는 복수의 포인트(P)의 위치를 획득할 수 있는 임의의 다른 디바이스와 같은 레이저 거리 감지기를 포함할 수 있다.
바람직한 실시예에서, 3차원 센서(21)는 초기 물리적 신호를 방출하고 반사된 물리적 신호를 로컬 좌표계의 제어된 방향에 따라서 수신한다. 방출된 물리적 신호와 반사된 물리적 신호는 예를 들어 광 빔, 전자기 파 또는 음향 파일 수 있다.
그러면, 센서(21)는 센서(21)로부터 센서(21) 주위의 볼륨 내에 위치된 물체의 표면 상에 있는 초기 신호의 반사 포인트(P)까지의 거리에 대응하는 거리를 계산한다. 상기 범위는, 예를 들어 방출 및 수신의 시간 또는 위상을 비교함으로써, 초기 신호 및 반사된 신호를 비교함으로써 계산될 수 있다.
그러면, 센서(21)의 로컬 좌표계 내의 3차원 데이터 포인트의 좌표는 상기 범위 및 상기 제어된 방향으로부터 계산될 수 있다.
일 예에서, 센서(21)는 일정한 시간 레이트를 가지는 레이저 방출 광 펄스를 포함하고, 상기 광 펄스는 두 방향을 따라 회전하는 이동하는 미러에 의해 편향된다. 반사된 광 펄스는 센서에 의해 수집되고 방출된 펄스와 수신된 펄스 사이의 시간차가 센서(21)의 환경 내에서의 물체의 반사면의 거리를 제공한다. 그러면, 센서(21)의 프로세서, 또는 별개의 처리 유닛이 간단한 삼각 공식을 사용하여 센서에 의해 획득된 각각의 관측치를 3-차원의 데이터 포인트(D)로 변환한다.
센서(21)의 로컬 환경의 풀 스캔을 포함하는 포인트 클라우드는 주기적으로 획득되고, 센서(21) 주위의 볼륨 내의 물체를 나타내는 3차원 데이터 포인트(D)의 세트를 포함한다.
"로컬 환경의 풀 스캔"이란, 센서(21)가 자신의 전체 가시 범위를 커버했다는 것을 의미한다. 예를 들어, 로컬 환경의 풀 스캔 이후에, 레이저-기초 센서의 이동하는 미러는 원래의 위치로 돌아가고 새로운 회전 이동 주기를 시작할 준비가 된다. 따라서, 센서에 의한 로컬 환경의 풀 스캔은 2차원 카메라에 의해 획득된 이미지의 3-차원의 균등물이다.
센서(21)의 로컬 환경의 풀 스캔 내에서 획득된 3차원 데이터 포인트(D)의 세트는 포인트 클라우드이다. 센서(21)는 포인트 클라우드 프레임을 주어진 프레임 레이트로 주기적으로 획득할 수 있다.
센서가 이동하는 차량에 장착되기 때문에, 차량 주위의 환경은 시간이 지남에 따라서 변한다. 따라서, 센서(3DS i )에 의하여 상기 시간 
에 획득된 포인트 클라우드 
는 상기 시간 
에 센서(3DS i ) 주위의 환경의 로컬 볼륨 
의 풀 스캔을 포함한다.
광역 3차원 맵 생성 및 업데이트 시스템(2)은, 복수의 센서의 각각의 3차원 센서(21)에 연결되고 복수의 센서의 각각의 3차원 센서와 통신할 수 있는 중앙 처리 유닛(22)을 더 포함한다.
중앙 처리 유닛(22)은, 예컨대 무선 또는 광학 통신과 같은 무선 통신에 의하여, 또는 유선 통신에 의하여 3차원 센서(21)와 통신할 수 있고, 예를 들어 중앙 처리 유닛(22) 및 3차원 센서(21)는 동일한 차량(10)에 장착된다. 중앙 처리 유닛(22)은, 특히 장거리 통신을 위해서 몇 가지 중재 디바이스를 사용함으로써 3차원 센서(21)와 통신할 수 있다.
중앙 처리 유닛(22)은 N 개인 복수의 연속 스트림(ST1,…, STN)을 N 개인 복수의 3차원 센서(3DS1,…, 3DSN)로부터 연속적으로 수신하도록 구성된다.
"연속적으로 수신"이라는 것은, 센서가 새로운 포인트 클라우드 프레임, 또는 포인트 클라우드 프레임의 짧은 시퀀스를 수신할 때마다, 예를 들어 차량 이동이 종료되기를 기다릴 필요가 없이 상기 포인트 클라우드 프레임 또는 짧은 시퀀스가 중앙 처리 유닛(22)에 전송된다는 것을 의미한다.
중앙 처리 유닛(22)은 단일 유닛 내에서 복수의 센서(21) 중 특정 센서 내에 통합될 수 있고, 또는 대안적으로 차량(1) 내에 고정된 별개의 유닛일 수도 있다. 일부 실시예들에서, 중앙 처리 유닛(22)은 차량(10)의 차량 처리 유닛(18)의 일부일 수 있다.
차량 처리 유닛(18)은 자율 운전 또는 운전 보조 알고리즘을 작동시켜, 특히 본 발명에 따른 시스템 및 방법에 의해 제공되는 맵을 사용하여, 차량(10)을 운전하거나 운전을 보조할 수 있다.
본 발명의 일 실시예에서, 따라서 수송대(1) 내의 차량(10)의 차량 처리 유닛(18)은, 본 발명의 시스템 및 방법에 의해 생성되고 업데이트된 광역 누적 3차원 맵을 사용하여, 수송대(1)의 선행 차량의 경로를 자율적으로 따라갈 수 있다.
일부 실시예에서, 본 발명에 따른 광역 3차원 맵 생성 및 업데이트 시스템(2)은 복수의 중앙 처리 유닛(22)을 포함할 수 있고, 특히 각각의 차량(10) 또는 각각의 센서(21)에는 연관된 중앙 처리 유닛(22)이 제공될 수 있다. 이러한 경우에, 각각의 중앙 처리 유닛(22)은, 직접적으로 또는 몇 가지 중재에 의하여 복수의 센서(21)의 각각의 3차원 센서와 통신할 수 있다.
처리 유닛(22)은 상기 센서(21)로부터 수신된 포인트 클라우드 및 포인트 클라우드 프레임을 처리하여 이동하는 차량(들)(10) 주위의 환경(E)의 광역 누적 3차원 맵(CM)을 동적으로 생성하고 업데이트할 수 있다.
광역 누적 3차원 맵은 후속하는 설명에서 간결성을 위하여 가끔 광역 3차원 맵, 광역 3D 맵 또는 3D 맵이라고도 지칭된다. 이러한 표현은 본 발명의 동일한 개념 및 동일한 특징을 망라한다.
"이동하는 차량(들) 주위의 환경의 광역 3차원 맵을 동적으로 생성 및 업데이트"한다는 것은, 광역 3차원 맵의 생성 및 업데이트가 차량(들)이 이동하는 동안에 수행된다는 것을 의미한다.
본 발명의 일 실시예에 따라서 적어도 하나의 이동 차량(10) 주위의 환경(E)의 광역 3차원 맵(CM)을 동적으로 생성 및 업데이트하는 방법은 도 3 및 도 4에 예시되고 이제 더 상세히 설명될 것이다.
이러한 방법은 상기 적어도 하나의 이동 차량에 장착되고 적어도 하나의 중앙 처리 유닛과 통신하는 N 개인 복수의 3차원 센서(21)를 사용하여 구현된다.
도 1의 예에서, N 개인 복수의 3차원 센서(21)는 N 대의 차량의 수송대(1)의 각각의 차량(10)에 각각 장착된다.
더욱이, N 대의 차량의 수송대(1)의 각각의 차량(10)은, N 개인 복수의 3차원 센서의 각각의 센서(21)와 통신하여 상기 센서에 의해 생성된 포인트 클라우드 프레임의 연속 스트림을 수신할 수 있는 중앙 처리 유닛(22)을 가지고 있다.
특히, 수송대의 차량 i에 장착된 중앙 처리 유닛(22)은 센서 j( 
)에 의해 생성된 연속 스트림(ST j )을 상기 차량 j에 장착된 중앙 처리 유닛(22)의 중재 하에 수신할 수 있다. 따라서, 수송대의 각각의 차량 j에 장착된 중앙 처리 유닛(22)은 센서(3DS j )로부터 포인트 클라우드 프레임의 연속 스트림의 수신을 관리하고, 상기 연속 스트림을 수송대(1)의 각각의 차량의 각각의 중앙 처리 유닛(22)에 송신할 수 있다. 이를 위하여, 수송대(1)의 차량의 중앙 처리 유닛(22)은, 예를 들어 무선 통신에 의해서 서로 통신할 수 있다.
위에서 언급된 바와 같이, 이러한 방법이 수행되는 동안, N 개인 복수의 3차원 센서(3DS 1, …, 3DS N )의 각각의 센서(3DS i )는 포인트 클라우드 프레임 
의 연속 스트림(ST i )을, 복수의 3차원 센서의 다른 센서와 병렬적으로 그리고 비동기식으로 생성한다.
상기 스트림(ST i )의 각각의 포인트 클라우드 프레임 
은 상기 센서(3DS i )에 의하여 시간 
에 획득된 3차원 데이터 포인트의 세트를 상기 센서의 로컬 좌표계(CS i ) 내에 포함하고, 상기 3차원 데이터 포인트는 상기 시간 
에 상기 센서(3DS i ) 주위의 환경의 로컬 볼륨 
내에 위치된 물체 표면을 나타낸다.
중앙 처리 유닛(22)은 N 개인 복수의 연속 스트림(ST 1 ,…, ST N )을 N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )로부터 연속적으로 수신하고, 상기 복수의 스트림을 메모리(23)에 저장한다.
메모리(23)는 중앙 처리 유닛(22) 내에 통합될 수도 있다.
포인트 클라우드의 연속적으로 수신된 스트림으로부터, 중앙 처리 유닛(22)은 이동 차량(10) 또는 이동 차량의 수송대(1) 주위의 환경(E)의 광역 누적 3차원 맵(CM)을 지금부터 상세히 설명되는 바와 같이 동적으로 생성 및 업데이트한다.
더 구체적으로는, 상기 복수의 스트림의 각각의 스트림(ST i )의 각각의 새롭게 수신된 포인트 클라우드 프레임 
에 대하여, 중앙 처리 유닛(22)은 다음 동작을 수행함으로써 상기 적어도 하나의 차량의 환경의 광역 누적 3차원 맵(CM)을 생성 또는 업데이트한다.
"새롭게 수신된 포인트 클라우드 프레임"이란, 주어진 시간 단계에서 최근에 수신된 포인트 클라우드 프레임을 의미한다.
본 발명의 방법은 차량의 움직임 포인트 클라우드 프레임의 스트리밍이 일어나는 동안에 동적으로 수행되는 것이 바람직하다.
환경의 광역 누적 3차원 맵(CM)은 하나의 서브-구역(SA1) 또는 여러 서브-구역(SA1,…,SAM)을 포함할 수 있는데, M은 서브-구역의 총 수이다.
광역 누적 3차원 맵(CM)의 각각의 서브-구역(SAk(
))은, 상기 서브-구역(SAk) 내에 포함된 데이터 포인트가 그 안에서 규정되는 연관된 광역 좌표계(GCSk)를 가진다.
각각의 서브-구역(SAk)과 연관된 광역 좌표계(GCSk)는 특히, 차량 및 차량 자체의 이동으로부터 독립적일 수 있다. 각각의 서브-구역(SAk)과 연관된 광역 좌표계(GCSk)는 이동 차량의 환경 내에서의 물체의 위치에만 관련될 수 있다.
본 발명의 특정 실시예에서, 환경의 광역 누적 3차원 맵(CM)은 하나의 서브-구역(SA1) 및 하나의 연관된 광역 좌표계(GCS1)를 포함한다.
광역 좌표계(GCSk)가 일반적으로는 수송대(1) 또는 차량(10)의 실제 물리적 환경에 대해서 구체적으로 교정되지 않는다는 것에 주의해야 한다. 각각의 서브-구역(SAk)과 연관된 광역 좌표계(GCSk)는 예를 들어 임의의 교정 장치 또는 툴과 독립적으로, 포인트 클라우드 프레임을 함께 정렬함으로써 얻어진 가상 좌표계이다.
도 1에 도시된 본 발명의 실시예에서, 복수의 3차원 센서(3DS 1 ,…, 3DS N )은 제 1 이동 차량(Vi)에 장착된 적어도 하나의 제 1 3차원 센서(3DS i ) 및 제 2 이동 차량(Vi')에 장착된 적어도 하나의 제 2 3차원 센서(3DS i' )를 포함한다. 제 1 3차원 센서(3DS i ) 및 제 2 3차원 센서(3DS i' )는 공통 중앙 처리 유닛(22)과 전술된 바와 같이 무선으로 통신한다. 그러면, 광역 누적 3차원 맵은 제 1 이동 차량(Vi) 주위의 환경 및 제 2 이동 차량(Vi') 주위의 환경을 동시에 나타내는 공통 서브-구역(SAk)을 포함하는 것이 바람직하다.
공통 광역 좌표계(GCSk)는 제 1 이동 차량(V1) 주위의 환경 및 제 2 이동 차량(V2) 주위의 환경을 나타내는 상기 공통 서브-구역(SAk)과 연관된다. 제 1 3차원 센서(3DS i )에 의해 생성된 포인트 클라우드 프레임 및 제 2 3차원 센서(3DS i' )에 의해 생성된 포인트 클라우드 프레임은, 상기 포인트 클라우드 프레임들이 공통 서브-구역(SAk)과 정렬되면 상기 공통 광역 좌표계(GCSk)에서 변환된다.
광역 누적 3차원 맵(CM)의 이러한 공통 서브-구역(SAk) 및 공통 광역 좌표계(GCSk)를 사용하면, 제 2 이동 차량(Vi')의 운전 또는 운전 보조 시스템은 예를 들어 제 1 이동 차량(Vi) 주위의 환경을 용이하게 고려할 수 있다. 제 2 이동 차량(Vi') 앞에서 운전 중인 제 1 이동 차량(Vi)이 장애물을 만나면, 제 2 이동 차량(Vi')은 제 1 이동 차량(Vi)의 환경을 고려하여 자신의 거동을 조절할 수 있다. 이러한 특정한 상황은 오직 일 예로서만 제공되고, 수송대의 차량의 다른 스마트 거동들도 본 발명으로부터 얻어질 수 있다는 것이 쉽게 이해될 수 있다.
다시 도 3 및 도 4에 예시된 방법으로 돌아가면, 동작 b1) 중에, 중앙 처리 유닛(22)은, 상기 포인트 클라우드 프레임 
를 환경의 광역 누적 3차원 맵(CM)과 비교함으로써, 정렬된 포인트 클라우드 프레임 
를 상기 적어도 하나의 차량의 환경의 광역 좌표계(GCS)에서 결정한다.
환경의 광역 누적 3차원 맵(CM)이 아직 존재하지 않거나 아무 데이터도 포함하지 않으면, 중앙 처리 유닛(22)은 포인트 클라우드 프레임 
로부터 광역 누적 3차원 맵(CM)을 생성할 수 있다. 예를 들어, 포인트 클라우드 프레임은 자신의 포인트 클라우드 프레임을 중앙 처리 유닛(22)으로 전송하는 제 1 센서로부터 처음 수신된 포인트 클라우드 프레임 
일 수 있다. 그러면, 환경의 광역 좌표계(GCS0)는 예를 들어 상기 센서(ST 0 )와 연관된 로컬 좌표계(CS 0 )로부터 규정될 수 있다. 정렬된 포인트 클라우드 프레임 
는 포인트 클라우드 프레임 
로부터 직접적으로 규정될 수 있다.
환경의 광역 누적 3차원 맵(CM)이 이미 존재하고 일부 데이터를 포함한다면, 동작 b1)은 포인트 클라우드 프레임을, 상기 적어도 하나의 차량의 환경의 광역 좌표계(GCS) 내의 정렬된 포인트 클라우드 프레임 
와 정렬하는 것을 포함한다.
이러한 정렬은 새롭게 수신된 포인트 클라우드 프레임 
를 환경의 광역 누적 3차원 맵(CM)과 비교함으로써 수행된다.
정렬된 포인트 클라우드 프레임 
는 추가적인 위치설정 정보가 없이 오직 센서(21)로부터 획득된 포인트 클라우드로부터만 계산될 수 있다.
"추가적인 위치설정 정보가 없다"는 것은 특히, 정렬된 포인트 클라우드 프레임 
의 계산이 센서(21)로부터 획득된 포인트 클라우드 획득된 및 광역 누적 3차원 맵(CM) 이외의 다른 입력 데이터를 요구하지 않는다는 것을 의미한다. 예를 들어, GPS 또는 가속도계와 같은 배향 디바이스를 추가적으로 국지화할 필요가 없다. 더욱이, 센서의 위치 또는 움직임에 대해서 가정할 필요가 없다.
이러한 정렬은, P.J. Besl 및 N.D. McKay 저, "A method for registration of 3-d shapes" published in IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(2):239- 256, 1992 또는 Image Vision Comput., 10(3), 1992 에서 발행된 Yang Chen 및 Gerard Medioni 저, "Object modelling by registration of multiple range images"에 상세히 설명되는 반복적 최근접 포인트 알고리즘(Iterative Closest Point; ICP)을 사용하여 수행될 수 있다. ICP 알고리즘은, 변환 공간에서 규정된 함수를 최적화함으로써 스캔의 쌍별 변환의 세트를 찾기 위한, 변환 공간에서의 검색을 수반한다. ICP의 변형은, "최소 제곱 거리의 합"과 같은 오차 메트릭으로부터 "이미지 거리(image distance)" 또는 확률(probabilistic) 메트릭과 같은 품질 메트릭(quality metric)까지의 범위를 가지는 최적화 함수를 수반한다. 이러한 실시예에서, 중앙 처리 유닛(3)은, 따라서 각각의 포인트 클라우드(C)의 변환 공간에서 규정된 함수를 최적화하여 센서(2)의 업데이트된 3차원 위치 및 배향을 결정할 수 있다.
이러한 방식에 따르면, 정렬된 포인트 클라우드 프레임 
를 용이하고 효율적으로 계산하는 것이 가능하다.
정렬 프로시저는, 고려 대상인 포인트 클라우드 프레임 
가 수신되면 광역 누적 3차원 맵(CM)의 커버리지에 따라서 상이한 방식으로 수행될 수 있다.
광역 누적 3차원 맵(CM)이 적어도 하나의 광역 좌표계(GCS1) 및 상기 광역 좌표계 내의 데이터 포인트와 파퓰레이션된 적어도 하나의 연관된 서브-구역(SA1)을 이미 포함하고 있다고 가정한다. 그렇지 않다면, 광역 누적 3차원 맵(CM)은 전술된 바와 같이 수신된 포인트 클라우드로부터 간단하게 생성된다.
그러면, 정렬된 포인트 클라우드 프레임 
를 결정하는 상기 단계 b1)는, 정렬된 포인트 클라우드 프레임 
의 적어도 일부가 광역 누적 3차원 맵(CM)의 적어도 하나의 서브-구역의 적어도 일부와 매칭되도록 상기 포인트 클라우드 프레임 
를 정렬하려 시도하는 제 1 서브-단계 b1-1)을 포함한다.
이러한 서브-단계는 전술된 바와 같이 상기 포인트 클라우드 프레임 
를 환경(V)의 광역 누적 3차원 맵(CM)의 각각의 서브-구역(SAk)과 비교함으로써 수행될 수 있다.
그러면, 단계 b2) 중에, 상기 정렬된 포인트 클라우드 프레임 
를 광역 누적 3차원 맵(CM)과 병합함으로써 광역 누적 3차원 맵(CM)이 업데이트된다.
더 구체적으로는, 포인트 클라우드 프레임 
가 환경(V)의 광역 누적 3차원 맵(CM)의 적어도 하나의 서브-구역(SA k )과 정렬될 수 있으면, 단계 b2)는 정렬된 포인트 클라우드 프레임 
를 광역 누적 3차원 맵(CM)의 상기 적어도 하나의 서브-구역(SA k )과 병합하는 서브-단계 b2-1)를 포함한다.
반면에, 포인트 클라우드 프레임 
가 광역 누적 3차원 맵(CM)의 적어도 하나의 서브-구역과 정렬될 수 없으면, 단계 b2)는 추가 광역 좌표계(GCSM +1) 및 연관된 추가 서브-구역(SAM+1)이 광역 누적 3차원 맵(CM) 내에 생성되는 서브-단계 b2-2)를 포함할 수 있는 것이 바람직하다. 여기에서 숫자 m은 추가 서브-구역(SAM+1)이 생성되기 전의 광역 누적 3차원 맵(CM) 내의 서브-구역(SAk(
))의 개수이다.
광역 누적 3차원 맵(CM)의 추가 서브-구역(SAM+1)은 광역 누적 3차원 맵 내에 이전에 포함된 서브-구역(SAk(
))으로부터 분리된다. 추가 서브-구역(SAM+1)은 새롭게 수신된 포인트 클라우드 프레임 
를 포함한다.
"추가 서브-구역(SAM+1)이 다른 서브-구역(SAk(
))으로부터 분리된다"는 것은, 추가 서브-구역 내의 데이터 포인트가 다른 서브-구역(SAk())의 데이터 포인트와 연결되거나 중첩하지 않는다는 것을 의미한다. 예를 들어, 이것은 별개의 서브-구역(SAk)을 떨어져 있는 광역 좌표계(GCSk)와 연관시킴으로써 또는, 별개의 서브-구역들(SAk)에 속하는 데이터 포인트를 구별할 수 있기 위해서 서브-구역(SAk)의 데이터 포인트를 그들이 속하는 서브-구역의 인덱스 k로 인덱싱함으로써 수행될 수 있다.
광역 누적 3차원 맵(CM)이 여러 서브-구역(SA 1 ,…, SA M )을 포함하면, 광역 누적 3차원 맵(CM)의 업데이트는 지금부터 설명될 다소 상이한 방식으로 수행될 수 있다.
사실상, 새롭게 수신된 포인트 클라우드 프레임 
는, 광역 누적 3차원 맵(CM)의 서브-구역의 커버리지를 풍성하게 하고 증강시키기 위해서만이 아니라, 이전에 분리된 서브-구역들 사이의 연결을 찾기 위해서도 사용될 수 있다.
예를 들어, 차량이 이동하면 이러한 차량에 장착된 센서가 다른 차량에 장착된 센서에 의해 이전에 매핑된 구역 내로 이동될 수 있다. 그러면, 상기 두 개의 센서에 의해 각각 기록된, 두 개의 원래 분리된 서브-구역을, 상기 두 개의 서브-구역과 중첩하는 새롭게 획득된 데이터 포인트를 사용하여 단일 맵 내에 병합시키면 특히 흥미롭다.
이러한 경우가, 동일한 차량에 장착된 두 센서, 예를 들어 한 센서는 차량의 전방에 위치되고 다른 센서는 차량의 후방에 위치되어, 예컨대 차량이 정지 상태인 경우 두 센서의 가시 범위가 중첩하지 않는 경우에도 발생할 수 있다. 차량이, 예를 들어 앞으로 가려고 이동을 시작하자마자, 차량의 전방에 위치되고 이전에는 오직 전방 센서에만 액세스가능했던 환경의 구역은 차량의 후방으로 지나가고, 따라서 후방 센서에게 액세스가능해진다. 그러면, 환경의 두 개의 원래 떨어져 있던 서브-구역은 차량 주위의 단일 서브-구역 내에서 연결 및 병합될 수 있고, 그 안에서 전방 센서 및 후방 센서 양자 모두에 의해 획득된 포인트 클라우드는 단일 서브-구역 및 단일 광역 좌표계에서 정렬되고 병합된다.
이를 위하여, 새롭게 수신된 포인트 클라우드 프레임 
를 정렬하려고 시도하는 단계는, 새롭게 수신된 포인트 클라우드 프레임 
를 광역 누적 3차원 맵(CM)의 각각의 서브-구역(SAk)과 함께 동시적으로 멀티-스캔 정렬하는 것을 수반할 수 있다.
포인트 클라우드 프레임 
가 두 개 이상의 서브-구역과 정렬될 수 있으면, 상기 서브-구역은 함께 병합될 수 있을 것이다. 예를 들어, 포인트 클라우드 프레임 
는 광역 누적 3차원 맵(CM)의 두 서브-구역(SA m , SA m ' )과 정렬될 수 있다. 그러면, 상기 복수의 서브-구역(SA m , SA m ' ) 및 상기 포인트 클라우드 프레임 
는, 단일 광역 좌표계(GCSm ")에 연관된 광역 누적 3차원 맵(CM)의 단일 서브-구역(SA m" ) 내에 정렬되고 병합된다.
"동시적으로 멀티-스캔 정렬하는 것"이란, 광역 누적 3차원 맵(CM)의 서브-구역(SA k )과 함께, 새롭게 수신된 포인트 클라우드 프레임 
가 동시에 서로 정렬될 필요가 있는 스캔들이라고 간주된다는 것을 의미한다.
동시적 멀티-스캔 정렬은 예를 들어 전술된 바와 같은 반복 최근접 포인트 알고리즘(ICP)을 사용하여 수행될 수 있다.
그러면, 중앙 처리 유닛(3)은 각각의 획득된 포인트 클라우드(C)에 연관되는 정렬된 로컬 포인트 클라우드(A)를 생성하고, 그 안에서 상기 포인트 클라우드(C)의 데이터 포인트(D)가 로컬 좌표계(S)로부터 광역 3차원 맵(CM)의 광역 좌표계(G)로 전환된다. 정렬된 로컬 포인트 클라우드(A)는 센서(2)의 업데이트된 3차원 위치 및 배향에 기초하여 결정된다.
3차원 센서(21)에 의해 획득된 포인트 클라우드가, 차량(10)의 환경(E)의 포인트(P_E)를 나타내는 데이터 포인트(DP_E)는 물론 차량(10)의 포인트(P_V)를 나타내는 데이터 포인트(DP_V)도 포함할 수 있다는 것에 주의해야 한다. 예를 들어, 센서(21)가 차량(10)의 지붕에 장착되면, 센서(21)에 의해 획득되는 포인트 클라우드는 차량의 지붕의 일부 포인트를 캡쳐할 수 있다.
이러한 경우에도, 우리는 특히 차량(1)의 환경(E)을 나타내는 데이터 포인트(DP_E)에 더 관심이 있다.
따라서, 각각의 포인트 클라우드 프레임은, 환경(E)을 나타내는 데이터 포인트(DP_E) 및 차량(10)을 나타내는 데이터 포인트(DP_V)를 각각 식별하고 표시하도록 세그먼트화될 수 있다. 이러한 세그먼트화는, 정지된 포인트 또는 포인트 클라우드의 영역을 식별하기 위하여 연속적인 포인트 클라우드 프레임들 
,
를 서로 비교함으로써 수행될 수 있다. 포인트 클라우드 프레임 
가 세그먼트화되면, 차량(10)을 나타내는 데이터 포인트(DP_V)는 포인트 클라우드 프레임 
로부터 배제될 수 있다. 이러한 처리는, 노이즈를 줄이고 생성된 광역 맵의 정확도를 증가시키기 위하여, 포인트 클라우드 프레임을 광역 누적된 맵(CM)과 정렬하려고 시도하기 전에 수행될 수 있다.
본 발명의 일부 실시예에서, 정렬된 포인트 클라우드 프레임 
를 환경의 광역 좌표계에서 결정하는 단계는, 시간 
에 3차원 센서i의 위치 및 배향을 상기 광역 좌표계(GCS)에서 계산하는 것을 더 포함할 수 있다.
시간 
에서의 3차원 센서 i의 위치 및 배향은 직접적으로, 센서 i의 로컬 좌표계(CS i )의 원점의 광역 좌표계(GCS) 내의 등가 위치를 결정함으로써 얻어질 수 있다. 이러한 결정은, 로컬 좌표계(CS i )의 원점에 연관된 포인트 클라우드의 특정한 데이터 포인트의 위치를 추적하는 것을 수반할 수 있고, 또는 센서 i의 로컬 좌표계(CS i )와 광역 좌표계(GCS) 사이의 시간 
에 대응하는 변환 함수를 계산함으로써 수행할 수 있다.
당업자들에 의해 용이하게 이해될 수 있는 것처럼, 본 발명을 설명하기 위하여 본 명세서에서 논의되는 여러 다양한 단계 및 프로세스는, 컴퓨터, 프로세서 또는 전기적 현상을 사용하여 데이터를 조작 및/또는 변환하는 다른 전자 계산 디바이스에 의해 수행되는 동작들을 가리킬 수 있다. 이러한 컴퓨터 및 전자 디바이스는, 컴퓨터 또는 프로세서에 의해 수행될 수 있는 다양한 코드 또는 실행가능한 명령을 포함하는 실행가능한 프로그램이 저장된 비-일시적 컴퓨터-판독가능 매체를 포함하는 다양한 휘발성 및/또는 비-휘발성 메모리를 채용할 수 있는데, 메모리 및/또는 컴퓨터-판독가능 매체는 모든 형태와 타입의 메모리 및 다른 컴퓨터-판독가능 미디어를 포함할 수 있다.
전술된 설명은 단지 본 발명의 예시적인 실시예를 개시하고 설명한다. 당업자들은 이러한 설명과 첨부 도면 및 청구항으로부터, 후속하는 청구항에 규정된 바와 같은 본 발명의 사상 및 범위로부터 벗어나지 않으면서 다양한 변경, 수정 및 변형이 이루어질 수 있다는 것을 용이하게 인식할 것이다.
Claims (15)
- 적어도 하나의 이동 차량 주위의 환경의 광역 3차원 맵을 동적으로 생성하고 업데이트하는 방법으로서,
N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )가 상기 적어도 하나의 이동 차량에 장착되고 적어도 하나의 중앙 처리 유닛과 통신하며,
a) N 개인 복수의 3차원 센서(3DS 1 , …, 3DS N )의 각각의 센서(3DS i )가, 상기 복수의 3차원 센서 중 다른 센서와 병렬적으로 그리고 비동기식으로, 포인트 클라우드 프레임의 연속 스트림(ST i )을 생성하고,
상기 스트림(ST i )의 각각의 포인트 클라우드 프레임()은, 시간(
)에 상기 센서의 로컬 좌표계(CS i )에서 상기 센서(3DS i )에 의해 획득된 3차원 데이터 포인트의 세트를 포함하며, 상기 3차원 데이터 포인트는 상기 시간(
)에 상기 센서(3DS i ) 주위의 환경의 로컬 볼륨(
) 내에 위치된 물체 표면을 나타내고,
b) 상기 중앙 처리 유닛이, N 개인 3차원 센서(3DS 1 ,…, 3DS N )로부터 N 개인 복수의 연속 스트림(ST 1 ,…, ST N )을 연속적으로 수신하고, 상기 복수의 스트림을 메모리 내에 저장하며,
상기 복수의 스트림의 각각의 스트림(ST i )의 각각의 새롭게 수신된 포인트 클라우드 프레임()에 대해서, 상기 적어도 하나의 차량의 환경의 광역 누적 3차원 맵을,
b1) 상기 적어도 하나의 차량의 환경의 광역 좌표계(GCS) 내의 정렬된 포인트 클라우드 프레임()을, 상기 포인트 클라우드 프레임(
)을 상기 환경의 광역 누적 3차원 맵과 비교함으로써 결정하는 단계, 및
b2) 상기 정렬된 포인트 클라우드 프레임()을 상기 광역 누적 3차원 맵과 병합함으로써 상기 광역 누적 3차원 맵을 업데이트하는 단계
에 의하여 생성하거나 업데이트하는, 광역 3차원 맵의 동적 생성 및 업데이트 방법. - 제 1 항에 있어서,
상기 광역 누적 3차원 맵은, 적어도 하나의 광역 좌표계(GCS 1 ) 및 상기 광역 좌표계 내의 복수의 데이터 포인트를 포함하는 적어도 하나의 연관된 서브-구역(SA 1 )을 포함하고,
상기 정렬된 포인트 클라우드 프레임()을 결정하는 상기 단계 b1)는,
b1-1) 상기 포인트 클라우드 프레임()을 환경(E)의 광역 누적 3차원 맵의 각각의 서브-구역과 비교함으로써, 정렬된 포인트 클라우드 프레임(
)의 적어도 일부가 상기 광역 누적 3차원 맵의 상기 적어도 하나의 서브-구역의 적어도 일부와 매칭하도록, 상기 포인트 클라우드 프레임(
)을 정렬하려고 시도하는 단계를 포함하고,
상기 환경(E)의 광역 누적 3차원 맵을 업데이트하는 상기 단계 b2)는,
b2-1) 상기 포인트 클라우드 프레임()이 상기 환경(E)의 광역 누적 3차원 맵의 적어도 하나의 서브-구역과 정렬될 수 있으면, 상기 정렬된 포인트 클라우드 프레임(
)을 상기 광역 누적 3차원 맵의 상기 적어도 하나의 서브-구역(SA k )과 병합하는 단계,
b2-2) 상기 포인트 클라우드 프레임()이 상기 환경의 광역 누적 3차원 맵과 정렬될 수 없으면, 추가 광역 좌표계(GCS 2 ) 및 상기 광역 누적 3차원 맵의 연관된 추가 서브-구역(SA 2 )을 생성하는 단계 - 상기 광역 누적 3차원 맵의 추가 서브-구역은, 상기 광역 누적 3차원 맵 내에 이전에 포함된 서브-구역으로부터 분리되고, 상기 포인트 클라우드 프레임(
)을 포함하는 것임 -를 포함하는, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 2 항에 있어서,
상기 광역 누적 3차원 맵이 여러 서브-구역(SA 1 ,…, SA M )을 포함하면, 상기 포인트 클라우드 프레임()을 정렬하려고 시도하는 상기 단계 b1-1)은, 멀티-스캔 정렬 단계에서, 정렬된 포인트 클라우드 프레임(
)의 적어도 일부가 상기 광역 누적 3차원 맵의 적어도 하나의 서브-구역(SA 1 ,…, SA M )과 매칭하도록, 상기 서브-구역(SA 1 ,…, SA M ) 및 상기 포인트 클라우드 프레임(
)을 함께 정렬하려고 시도하는 단계를 더 포함하고,
상기 포인트 클라우드 프레임()이 상기 광역 누적 3차원 맵의 복수의 서브-구역(SA m , SA m ' )과 정렬될 수 있으면, 상기 복수의 서브-구역(SA m , SA m ' ) 및 상기 포인트 클라우드 프레임(
)은, 단일 광역 좌표계(GCSm ")에 연관된 상기 광역 누적 3차원 맵의 단일 서브-구역(SA m " ) 내에 정렬되고 병합되는, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )는, 제 1 이동 차량에 장착된 적어도 하나의 제 1 3차원 센서(3DS i ) 및 제 2 이동 차량에 장착된 적어도 하나의 제 2 3차원 센서(3DS i' )를 포함하고,
상기 적어도 하나의 제 1 3차원 센서(3DS i ) 및 상기 적어도 하나의 제 2 3차원 센서(3DS i' )는 공통 중앙 처리 유닛(22)과 무선으로 통신하며,
상기 광역 누적 3차원 맵은, 상기 제 1 이동 차량 주위의 환경(E) 및 상기 제 2 이동 차량 주위의 환경을 나타내는 공통 서브-구역(SA k )을 포함하는, 광역 3차원 맵의 동적 생성 및 업데이트 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 광역 누적 3차원 맵은, 상기 제 1 이동 차량 주위의 환경(E) 및 상기 제 2 이동 차량 주위의 환경을 나타내는 상기 공통 서브-구역(SA k )에 연관되는 공통 광역 좌표계(GCS k )를 포함하고,
상기 적어도 하나의 제 1 3차원 센서(3DS i )에 의하여 생성된 포인트 클라우드 프레임() 및 상기 적어도 하나의 제 2 3차원 센서(3DS i ' )에 의하여 생성된 포인트 클라우드 프레임(
)이 상기 공통 광역 좌표계(GCS k )에서 변환되는, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 N 개인 복수의 연속 스트림 중 하나의 스트림(ST i )의 새롭게 수신된 포인트 클라우드 프레임()에 대하여, 정렬된 포인트 클라우드 프레임(
)을 결정하는 상기 단계 b1)는, 적어도 하나의 시간(
)에서, 상기 스트림(ST i )을 생성하는 센서(3DS i )의 3차원 위치 및 배향을 상기 환경의 광역 좌표계에서 결정하는 것을 포함하는, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 6 항에 있어서,
적어도 하나의 시간()에서 상기 센서(3DS i )의 3차원 위치 및 배향을 결정하는 것은, 적어도 하나의 차량 또는 복수의 3차원 센서(3DS 1 , …, 3DS N )의 추가 위치설정(positioning) 정보 없이, 오직 상기 스트림(ST i )의 새롭게 수신된 포인트 클라우드 프레임(
) 및 상기 광역 누적 3차원 맵으로부터 계산되는, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N ) 중 제 1 센서(3DS i ) 및 제 2 센서(3DS i' )는 적어도 시간 기간(T) 동안에 비동기화되고,
특히, 상기 시간 기간(T) 동안에 획득된 상기 제 1 센서(3DS i ) 및 상기 제 2 센서(3DS i' )의 각각의 스트림(ST i , ST i' )의 포인트 클라우드 프레임(,
)은 상이한 시간
에서 획득되고
인, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 N 개인 3차원 센서(3DS 1 ,…, 3DS N ) 중 제 1 센서(3DS i ) 및 제 2 센서(3DS i' )는 적어도 시간 기간(T) 동안에 중첩하지 않는 각각의 가시 범위를 가지고,
특히, 상기 시간 기간(T) 동안에 획득된 상기 제 1 센서(3DS i ) 및 상기 제 2 센서(3DS i' )의 각각의 스트림(ST i , ST i' )의 포인트 클라우드 프레임(,
)은 중첩하지 않는 각각의 로컬 볼륨
을 커버하고
인, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
정렬된 포인트 클라우드 프레임()을 상기 환경의 광역 좌표계(GCS)에서 결정하는 단계는, 상기 환경(E)을 나타내는 데이터 포인트 및 상기 포인트 클라우드 프레임(
)을 획득한 센서(3DS i )가 장착된 차량(10)을 나타내는 데이터 포인트를 식별하고 표시(flag)하기 위하여 상기 포인트 클라우드 프레임(
)의 데이터 포인트를 분할(segmenting)하는 단계를 포함하고,
특히, 상기 정렬된 포인트 클라우드 프레임()은 상기 환경(E)을 나타내는 데이터 포인트로 한정되는, 광역 3차원 맵의 동적 생성 및 업데이트 방법.
- 적어도 하나의 차량(10)을 위한 광역 3차원 맵 생성 및 업데이트 시스템(2)으로서,
- 상기 적어도 하나의 차량(10)에 장착되도록 구성되는 N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )로서, 상기 N 개인 복수의 3차원 센서(3DS 1, …, 3DS N )의 각각의 센서(3DS i )는, 복수의 3차원 센서 중 다른 센서와 병렬적으로 그리고 비동기식으로, 포인트 클라우드 프레임의 연속 스트림(ST i )을 생성하도록 구성되고, 상기 스트림(ST i )의 각각의 포인트 클라우드 프레임(
)은, 시간(
)에 상기 센서의 로컬 좌표계(CS i )에서 상기 센서(3DS i )에 의해 획득된 3차원 데이터 포인트의 세트를 포함하며, 상기 3차원 데이터 포인트는 상기 시간(
)에 상기 센서(3DS i ) 주위의 환경의 로컬 볼륨(
) 내에 위치된 물체 표면을 나타내는, N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N ); 및
- 중앙 처리 유닛(22)으로서, N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )로부터 N 개인 복수의 연속 스트림(ST 1 ,…, ST N )을 연속적으로 수신하기 위하여 상기 복수의 센서의 각각의 3차원 센서와 통신하고, 상기 복수의 스트림을 메모리(23) 내에 저장하며, 상기 적어도 하나의 차량(10) 주위의 환경의 광역 누적 3차원 맵을,
상기 복수의 스트림 중 각각의 스트림(ST i )의 각각의 새롭게 수신된 포인트 클라우드 프레임()에 대하여, 상기 적어도 하나의 차량(10)의 환경(E)의 광역 좌표계 내의 정렬된 포인트 클라우드 프레임(
)을, 상기 포인트 클라우드 프레임(
)을 상기 환경의 광역 누적 3차원 맵과 비교함으로써 결정하는 것, 및
상기 정렬된 포인트 클라우드 프레임()을 상기 광역 누적 3차원 맵과 병합함으로써, 상기 광역 누적 3차원 맵을 업데이트하는 것
에 의하여 업데이트하도록 구성되는, 중앙 처리 유닛을 포함하는, 광역 3차원 맵 생성 및 업데이트 시스템. - 제 11 항에 따른 광역 3차원 맵 생성 및 업데이트 시스템(2)을 포함하는 자율주행 또는 반자율주행 차량(10)에 있어서,
상기 시스템의 상기 N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )는 상기 차량(10)에 장착되고, 및
상기 차량(10)은, 상기 시스템(2)에 의해 생성되고 업데이트된 상기 광역 누적 3차원 맵을 수신하고 저장하도록, 그리고 상기 차량(10)의 운전을 적어도 상기 광역 누적 3차원 맵에 기초하여 보조 또는 제어하도록 구성되는 차량 처리 유닛(18)을 포함하는, 자율주행 또는 반자율주행 차량. - 복수의 자율주행 또는 반자율주행 차량(10) 및 제 11 항에 따른 광역 3차원 맵 생성 및 업데이트 시스템(2)을 포함하는 자율주행 또는 반자율주행 차량(10)의 수송대(convoy; 1)로서,
N 개인 복수의 3차원 센서(3DS 1 ,…, 3DS N )의 상기 적어도 하나의 3차원 센서는 상기 수송대의 각각의 차량(10)에 장착되고,
상기 수송대의 각각의 차량(10)은, 상기 시스템(2)에 의해 생성되고 업데이트된 상기 광역 누적 3차원 맵을 수신 및 저장하도록 그리고 상기 차량(10)의 운전을 적어도 상기 광역 누적 3차원 맵에 기초하여 보조 또는 제어하도록 구성되는 차량 처리 유닛(18)을 포함하는, 자율주행 또는 반자율주행 차량의 수송대. - 제 13 항에 있어서,
상기 수송대의 각각의 차량의 차량 처리 유닛(18)은, 상기 시스템(2)의 중앙 처리 유닛(22)이고, 상기 N 개인 3차원 센서(3DS 1 ,…, 3DS N )로부터 상기 N 개인 복수의 연속 스트림(ST 1 ,…, ST N )을 연속적으로 수신하기 위하여 상기 복수의 센서의 각각의 3차원 센서와 통신하고, 상기 복수의 스트림을 메모리(23) 내에 저장하며, 상기 차량의 수송대 주위의 환경의 광역 누적 3차원 맵을 업데이트하도록 구성되는, 자율주행 또는 반자율주행 차량의 수송대. - 프로그램 명령을 포함하는 컴퓨터 프로그램이 저장된 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 프로그램은, 제 11 항에 따른, 광역 3차원 맵 생성 및 업데이트 시스템(2)의 중앙 처리 유닛(22)에 로딩될 수 있고, 상기 컴퓨터 프로그램이 상기 중앙 처리 유닛에 의해 실행되면, 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법의 단계를 상기 중앙 처리 유닛이 수행하게 하도록 구성되는, 비-일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16306517.0A EP3324209A1 (en) | 2016-11-18 | 2016-11-18 | Methods and systems for vehicle environment map generation and updating |
| EP16306517.0 | 2016-11-18 | ||
| PCT/EP2017/079582 WO2018091651A1 (en) | 2016-11-18 | 2017-11-17 | Methods and systems for vehicle environment map generation and updating |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190082291A true KR20190082291A (ko) | 2019-07-09 |
Family
ID=58158742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197016765A KR20190082291A (ko) | 2016-11-18 | 2017-11-17 | 차량 환경 맵 생성 및 업데이트 방법 및 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11249191B2 (ko) |
| EP (2) | EP3324209A1 (ko) |
| JP (1) | JP6827627B2 (ko) |
| KR (1) | KR20190082291A (ko) |
| CN (1) | CN110178048B (ko) |
| CA (1) | CA3044308A1 (ko) |
| WO (1) | WO2018091651A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102206834B1 (ko) * | 2020-04-28 | 2021-01-25 | 네이버랩스 주식회사 | 도로정보 변화 감지 방법 및 시스템 |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018125939A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
| CN108319655B (zh) * | 2017-12-29 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 用于生成栅格地图的方法和装置 |
| US10529089B2 (en) * | 2018-02-23 | 2020-01-07 | GM Global Technology Operations LLC | Crowd-sensed point cloud map |
| WO2019180020A1 (en) | 2018-03-19 | 2019-09-26 | Beyond Sensing | Methods and systems for identifying material composition of objects |
| US10887433B2 (en) * | 2018-04-03 | 2021-01-05 | Pony Ai Inc. | System and method for incremental data processing |
| JP2020525809A (ja) * | 2018-06-14 | 2020-08-27 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 |
| CN109540142B (zh) * | 2018-11-27 | 2021-04-06 | 达闼科技（北京）有限公司 | 一种机器人定位导航的方法、装置、计算设备 |
| DE102018222720B4 (de) * | 2018-12-21 | 2022-01-05 | Continental Teves Ag & Co. Ohg | Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen |
| US10733511B1 (en) * | 2019-01-30 | 2020-08-04 | StradVision, Inc. | Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same |
| EP3707469B1 (en) * | 2019-01-30 | 2023-10-11 | Baidu.com Times Technology (Beijing) Co., Ltd. | A point clouds registration system for autonomous vehicles |
| WO2020154965A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | A real-time map generation system for autonomous vehicles |
| CN111771229B (zh) * | 2019-01-30 | 2023-11-21 | 百度时代网络技术（北京）有限公司 | 用于自动驾驶车辆的点云重影效果检测系统 |
| CN109949347B (zh) * | 2019-03-15 | 2021-09-17 | 百度在线网络技术（北京）有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
| CN110189400B (zh) * | 2019-05-20 | 2023-04-14 | 深圳大学 | 一种三维重建方法、三维重建系统、移动终端及存储装置 |
| CN111986472B (zh) * | 2019-05-22 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 车辆速度确定方法及车辆 |
| DE102019217264A1 (de) * | 2019-11-08 | 2021-05-12 | Continental Automotive Gmbh | Verfahren zum Erkennen von Änderungen in Referenzdaten für geografische Daten |
| US11327506B2 (en) * | 2019-11-20 | 2022-05-10 | GM Global Technology Operations LLC | Method and system for localized travel lane perception |
| US11138465B2 (en) * | 2019-12-10 | 2021-10-05 | Toyota Research Institute, Inc. | Systems and methods for transforming coordinates between distorted and undistorted coordinate systems |
| CN111025331B (zh) * | 2019-12-25 | 2023-05-23 | 湖北省空间规划研究院 | 一种基于旋转结构的激光雷达建图方法及其扫描系统 |
| EP4094096A1 (en) | 2020-01-24 | 2022-11-30 | Outsight | A method and system for generating a colored tridimensional map |
| US11466992B2 (en) | 2020-03-02 | 2022-10-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and medium for detecting environmental change |
| CN112543958B (zh) * | 2020-04-11 | 2022-03-11 | 华为技术有限公司 | 车辆控制装置、方法、计算机可读存储介质及编队行驶系统 |
| CN114783214A (zh) * | 2020-04-28 | 2022-07-22 | 上海波若智能科技有限公司 | 路网动态数据采集方法及路网动态数据采集系统 |
| CN111553844B (zh) | 2020-04-29 | 2023-08-29 | 阿波罗智能技术(北京)有限公司 | 用于更新点云的方法及装置 |
| CN111881245B (zh) * | 2020-08-04 | 2023-08-08 | 深圳安途智行科技有限公司 | 能见度动态地图的产生方法、装置、设备及存储介质 |
| EP4016111A1 (en) * | 2020-12-16 | 2022-06-22 | Trimble Inc. | Methods for geospatial positioning and portable positioning devices thereof |
| CN112732313B (zh) * | 2020-12-21 | 2021-12-21 | 南方电网电力科技股份有限公司 | 一种变电站巡检机器人地图增量更新方法及系统 |
| US20230074860A1 (en) * | 2021-09-08 | 2023-03-09 | Motional Ad Llc | Machine learning-based point cloud alignment classification |
| CN115797425B (zh) * | 2023-01-19 | 2023-06-16 | 中国科学技术大学 | 一种基于点云鸟瞰图和由粗到精策略的激光全局定位方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004043515A1 (de) | 2004-09-08 | 2006-03-09 | Sick Ag | Verfahren und Vorrichtung zum Erfassen eines Objekts |
| US7583815B2 (en) * | 2005-04-05 | 2009-09-01 | Objectvideo Inc. | Wide-area site-based video surveillance system |
| DE102005063217C5 (de) | 2005-12-22 | 2022-08-18 | Pilz Gmbh & Co. Kg | Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung |
| JP2012507181A (ja) * | 2008-10-28 | 2012-03-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像特性のための遮蔽データの発生 |
| US8179393B2 (en) * | 2009-02-13 | 2012-05-15 | Harris Corporation | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment |
| US20130021445A1 (en) * | 2010-04-12 | 2013-01-24 | Alexandre Cossette-Pacheco | Camera Projection Meshes |
| US8527445B2 (en) * | 2010-12-02 | 2013-09-03 | Pukoa Scientific, Llc | Apparatus, system, and method for object detection and identification |
| US8798840B2 (en) * | 2011-09-30 | 2014-08-05 | Irobot Corporation | Adaptive mapping with spatial summaries of sensor data |
| US9329269B2 (en) | 2012-03-15 | 2016-05-03 | GM Global Technology Operations LLC | Method for registration of range images from multiple LiDARS |
| CN103257342B (zh) * | 2013-01-11 | 2014-11-05 | 大连理工大学 | 三维激光传感器与二维激光传感器的联合标定方法 |
| US8989944B1 (en) * | 2013-11-26 | 2015-03-24 | Google Inc. | Methods and devices for determining movements of an object in an environment |
| CN104808192A (zh) * | 2015-04-15 | 2015-07-29 | 中国矿业大学 | 进行三维激光扫描的摆动装置及其坐标转换方法 |
| US9916703B2 (en) * | 2015-11-04 | 2018-03-13 | Zoox, Inc. | Calibration for autonomous vehicle operation |
| CN105930819B (zh) * | 2016-05-06 | 2019-04-12 | 西安交通大学 | 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统 |
-
2016
- 2016-11-18 EP EP16306517.0A patent/EP3324209A1/en not_active Withdrawn
-
2017
- 2017-11-17 KR KR1020197016765A patent/KR20190082291A/ko unknown
- 2017-11-17 CN CN201780082948.8A patent/CN110178048B/zh active Active
- 2017-11-17 EP EP17809215.1A patent/EP3542182B1/en active Active
- 2017-11-17 US US16/343,731 patent/US11249191B2/en active Active
- 2017-11-17 WO PCT/EP2017/079582 patent/WO2018091651A1/en unknown
- 2017-11-17 JP JP2019523811A patent/JP6827627B2/ja active Active
- 2017-11-17 CA CA3044308A patent/CA3044308A1/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102206834B1 (ko) * | 2020-04-28 | 2021-01-25 | 네이버랩스 주식회사 | 도로정보 변화 감지 방법 및 시스템 |
| US11193790B2 (en) | 2020-04-28 | 2021-12-07 | Naver Labs Corporation | Method and system for detecting changes in road-layout information |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3542182A1 (en) | 2019-09-25 |
| JP6827627B2 (ja) | 2021-02-10 |
| CN110178048A (zh) | 2019-08-27 |
| EP3324209A1 (en) | 2018-05-23 |
| JP2019537138A (ja) | 2019-12-19 |
| EP3542182B1 (en) | 2023-08-23 |
| US20190271780A1 (en) | 2019-09-05 |
| CA3044308A1 (en) | 2018-05-24 |
| CN110178048B (zh) | 2023-06-09 |
| US11249191B2 (en) | 2022-02-15 |
| WO2018091651A1 (en) | 2018-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190082291A (ko) | 차량 환경 맵 생성 및 업데이트 방법 및 시스템 | |
| JP7398506B2 (ja) | ローカライゼーション基準データを生成及び使用する方法及びシステム | |
| CN110658531B (zh) | 一种用于港口自动驾驶车辆的动态目标追踪方法 | |
| JP6533619B2 (ja) | センサキャリブレーションシステム | |
| Hebel et al. | Change detection in urban areas by object-based analysis and on-the-fly comparison of multi-view ALS data | |
| US9709673B2 (en) | Method and system for rendering a synthetic aperture radar image | |
| US20200033155A1 (en) | Method of navigating an unmaned vehicle and system thereof | |
| JP2015006874A (ja) | ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法 | |
| US11474243B2 (en) | Self-calibrating sensor system for a wheeled vehicle | |
| WO2014076844A1 (ja) | 自律移動システムおよび管制装置 | |
| CN112154356A (zh) | 点云数据处理方法及其装置、激光雷达、可移动平台 | |
| CN110764110B (zh) | 路径导航方法、装置及计算机可读存储介质 | |
| EP3867725A1 (en) | Obstacle detection | |
| Zheng et al. | Integrated navigation system with monocular vision and LIDAR for indoor UAVs | |
| CN113093759A (zh) | 基于多传感器信息融合的机器人编队构造方法及系统 | |
| KR102094773B1 (ko) | 이동체의 관찰 맵을 이용한 맵 매칭 방법 및 이를 이용한 컴퓨팅 장치 | |
| Dion et al. | ROS Based Adjustable Resolution Compact 3D Scanner | |
| CN117635721A (zh) | 目标定位方法及相关系统、存储介质 | |
| Kjelltoft | Camera based localization and autonomous navigation for a flying drone | |
| CN116841284A (zh) | 关于栅格地图的拟合线段修正方法、机器人及芯片 | |
| CN116678396A (zh) | 一种数据处理方法、装置、计算设备及存储介质 | |
| JP2021081851A (ja) | 位置推定装置、位置推定方法およびプログラム | |
| CN115267751A (zh) | 传感器标定方法、装置、车辆及存储介质 |