KR20220131378A - 포지셔닝 방법, 장치, 전자 기기 및 저장 매체 - Google Patents
포지셔닝 방법, 장치, 전자 기기 및 저장 매체 Download PDFInfo
- Publication number
- KR20220131378A KR20220131378A KR1020227021876A KR20227021876A KR20220131378A KR 20220131378 A KR20220131378 A KR 20220131378A KR 1020227021876 A KR1020227021876 A KR 1020227021876A KR 20227021876 A KR20227021876 A KR 20227021876A KR 20220131378 A KR20220131378 A KR 20220131378A
- Authority
- KR
- South Korea
- Prior art keywords
- road element
- road
- world coordinates
- target
- feature point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 239000011159 matrix material Substances 0.000 claims description 206
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 84
- 238000012937 correction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008685 targeting Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)
- Automatic Disk Changers (AREA)
- Display Devices Of Pinball Game Machines (AREA)
Abstract
본 발명은 포지셔닝 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 여기서, 상기 포지셔닝 방법은, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하는 단계; 상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하는 단계; 상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하는 단계; 및 상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본 발명은 2021년 03월 19일에 중국 특허청에 제출한, 출원 번호가 202110295186.8이고, 발명의 명칭이 "포지셔닝 방법, 장치, 전자 기기 및 저장 매체"인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 인용을 통해 본 출원에 결합된다.
본 발명은 컴퓨터 시각 기술 분야에 관한 것으로서, 구체적으로, 포지셔닝 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
인공 지능 기술의 빠른 발전, 전통 산업과 정보 기술의 결합에 따라, 사람들의 생활에 편리함을 가져다주었고, 예를 들어 자동차 산업과 정보 기술을 결합하면, 자율 주행이 가능한 스마트 자동차를 생산할 수 있으며, 스마트 자동차가 자율 주행하는 과정에 있어서, 시각 포지셔닝은 매우 중요한 부분이다. 시각 포지셔닝에 있어서, 단안 시각 포지셔닝 기술은 멀티 비젼 거리 측정 기술에 대비하여 비용이 저렴하고, 시스템 설치가 간단하며, 안정성이 좋은 등 특점을 구비하여, 널리 사용되고 있다.
단안 시각 포지셔닝에 있어서, 호모그래피 매트릭스(homography matrix)를 사용해야 하고, 촬영된 타깃 대상체가 픽셀 좌표계에서의 픽셀 좌표, 및 상기 호모그래피 매트릭스에 기반하여, 타깃 대상체가 세계 좌표계에서의 세계 좌표를 얻을 수 있다. 따라서, 호모그래피 매트릭스의 정확성은 포지셔닝 결과의 정확성에 직접 영향을 준다.
본 발명의 실시예는 적어도 포지셔닝 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 측면에 있어서, 본 발명의 실시예는 포지셔닝 방법을 제공하고, 상기 포지셔닝 방법은, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하는 단계; 상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하는 단계; 상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하는 단계; 및 상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하는 단계를 포함한다.
본 발명의 실시예에서, 타깃 차량의 주행에 따라, 기계적 진동 또는 평평하지 않은 주행 도로 때문에, 타깃 차량에서 포지셔닝을 위한 과거 포지셔닝 파라미터가 더 이상 정확하지 않을 수 있고, 예를 들어 타깃 차량의 과거 호모그래피 매트릭스가 더 이상 정확하지 않음으로써, 제1 세계 좌표 및 제2 세계 좌표로 하여금 일정한 차이가 존재하도록 하며, 이로써 상기 차이에 따라 타깃 차량의 현재 포지셔닝 파라미터에 대해 조정을 수행하여, 포지셔닝 파라미터의 정확도를 향상시킬 수 있음으로써, 타깃 대상 포지셔닝 결과에 대한 정확도를 향상시킬 수 있다.
실시 형태에 있어서, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 전에, 상기 포지셔닝 방법은, 타깃 차량의 보정 버튼을 대상으로 하는 트리거 동작에 응답하거나 타깃 차량에 대해 보정을 수행하는 보정 명령어가 수신되는 단계를 더 포함한다.
본 발명의 실시예에서, 타깃 차량의 보정 버튼을 대상으로 하는 트리거 동작이 존재하는 것이 검출되거나 타깃 차량을 대상으로 하여 보정을 수행하는 보정 명령어가 수신된 다음, 먼저 타깃 차량에 대해 보정을 수행하여, 타깃 차량의 호모그래피 매트릭스와 같은 타깃 차량이 포지셔닝을 수행하기 위한 현재 포지셔닝 파라미터를 향상시킬 수 있다.
실시 형태에 있어서, 상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하는 단계는, 상기 현재 도로 이미지에서의 상기 도로 요소의 픽셀 좌표를 획득하는 단계; 및 상기 도로 요소의 픽셀 좌표 및 미리 결정된 상기 수집 기기의 과거 호모그래피 매트릭스에 기반하여, 상기 도로 요소의 제1 세계 좌표를 결정하는 단계를 포함한다.
본 발명의 실시예에서, 호모그래피 매트릭스는 도로 이미지에 대응되는 이미지 좌표계 및 타깃 차량에 대응되는 세계 좌표계 사이의 전환 관계를 반영할 수 있기에, 도로 요소가 현재 도로 이미지에서의 픽셀 좌표에 기반하고, 미리 결정된 과거 호모그래피 매트릭스에 기반하여, 도로 요소가 세계 좌표계에서의 제1 세계 좌표를 빠르게 결정할 수 있다.
가능한 실시 형태에 있어서, 상기 현재 도로 이미지 중 상기 도로 요소의 픽셀 좌표를 획득하는 단계는, 상기 현재 도로 이미지에 대해 시맨틱 분할을 수행하여, 상기 현재 도로 이미지에 포함되는 적어도 하나의 도로 요소 및 각 도로 요소의 도로 요소 카테고리를 얻는 단계; 각 도로 요소의 도로 요소 카테고리에 따라, 상기 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출하는 단계; 및 상기 제1 특징 포인트 집합의 픽셀 좌표를 상기 제1 특징 포인트 집합에 대응되는 도로 요소의 픽셀 좌표로 사용하는 단계를 포함한다.
본 발명의 실시예에서, 시맨틱 분할 형태에 따라, 도로 이미지에 포함되는 도로 요소를 빨리 추출할 수 있고, 미리 설정된 도로 요소 카테고리에 따라, 도로 이미지에서의 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 빨리 추출하여, 도로 요소의 픽셀 좌표를 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 각 도로 요소의 도로 요소 카테고리에 따라, 상기 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출하는 단계는, 상기 도로 요소가 제1 타입 도로 요소인 경우, 상기 도로 요소의 윤곽에서 복수 개의 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는 단계; 상기 도로 요소가 제2 타입 도로 요소인 경우, 상기 도로 요소의 중심선에서 설정된 거리 간격에 따라 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는 단계; 및 상기 현재 도로 이미지에 대응되는 픽셀 좌표계에서, 상기 제1 특징 포인트 집합에서의 각 제1 특징 포인트의 픽셀 좌표를 획득하는 단계를 포함한다.
본 발명의 실시예에서, 각 도로 요소를 대상으로 하여 특징 포인트 추출을 수행할 때, 상기 도로 요소의 구체적인 도로 요소 카테고리에 따라 특징 포인트 추출을 수행하여, 각 도로 요소에 포함되는 제1 특징 포인트 집합 및 제1 특징 포인트 집합 중 각 제1 특징 포인트의 픽셀 좌표를 빨리 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하는 단계는, 미리 저장된 상기 도로 요소의 제2 특징 포인트 집합이 상기 미리 제작된 지도에서의 지도 위치 정보를 획득하는 단계; 상기 도로 요소의 제2 특징 포인트 집합의 지도 위치 정보 및 상기 타깃 차량이 상기 미리 제작된 지도에서 나타내는 도로 시나리오에서의 포즈 데이터에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 결정하는 단계; 및 상기 제2 특징 포인트 집합의 세계 좌표를 상기 제2 특징 포인트 집합에 대응되는 도로 요소의 제2 세계 좌표로 사용하는 단계를 포함한다.
본 발명의 실시예에서, 미리 저장된 도로 요소가 미리 제작된 지도에서의 지도 위치 정보 및 타깃 차량이 미리 제작된 지도에서 나타내는 도로 시나리오에서의 포즈 데이터를 통해, 도로 요소에 포함되는 제2 특징 포인트 집합의 세계 좌표를 빨리 결정하여, 도로 요소의 제2 세계 좌표를 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하는 단계는, 상기 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 상기 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 상기 타깃 차량의 현재 호모그래피 매트릭스를 얻는 단계; 상기 타깃 이미지에 기반하여, 상기 타깃 대상이 상기 타깃 이미지에서의 픽셀 좌표를 결정하는 단계; 및 상기 타깃 대상의 픽셀 좌표 및 상기 현재 호모그래피 매트릭스에 기반하여, 상기 타깃 대상의 타깃 세계 좌표를 결정하는 단계를 포함한다.
본 발명의 실시예에서, 도로 요소의 제1 세계 좌표 및 제2 세계 좌표 사이의 차이에 따라, 타깃 차량의 과거 호모그래피 매트릭스에 대해 수정하여, 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있고, 추가로 정확도가 비교적 높은 현재 호모그래피 매트릭스 및 타깃 대상의 픽셀 좌표에 기반하여, 타깃 대상을 결정하는 정확도가 비교적 높은 타깃 세계 좌표를 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 타깃 대상의 타깃 세계 좌표를 결정한 다음, 상기 포지셔닝 방법은, 상기 타깃 대상의 타깃 세계 좌표 및 기설정 위치 포인트의 위치 정보에 기반하여, 상기 타깃 대상과 상기 기설정 위치 포인트 사이의 거리를 결정하는 단계를 더 포함한다.
본 발명의 실시예는 타깃 차량의 현재 호모그래피 매트릭스를 얻은 다음, 상기 현재 호모그래피 매트릭스를 사용하여 타깃 대상의 타깃 세계 좌표를 정확하게 결정할 수 있어서, 미리 제작된 위치 포인트와 타깃 대상 사이에서 정확도가 비교적 높은 거리를 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 상기 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 상기 타깃 차량의 현재 호모그래피 매트릭스를 얻는 단계는, 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 상기 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하는 단계; 및 상기 타깃 아핀 매트릭스에 기반하여, 상기 과거 호모그래피 매트릭스에 대해 수정하여, 상기 타깃 차량의 현재 호모그래피 매트릭스를 얻는 단계를 포함한다.
본 발명의 실시예에서, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합을 결정하는 것을 통해, 과거 호모그래피 매트릭스 및 현재 호모그래피 매트릭스 사이의 차이를 나타내기 위한 타깃 아핀 매트릭스를 얻을 수 있기에, 상기 타깃 아핀 매트릭스에 기반하여 과거 호모그래피 매트릭스에 대해 수정함으로써, 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 도로 요소는 복수 개를 포함하고, 상기 도로 요소의 제1 특징 포인트 집합 및 상기 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하는 단계는, 현재 아핀 매트릭스에 따라, 복수 개의 도로 요소에서의 각 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 대해 업데이트를 수행하여, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정하는 단계 - 상기 현재 아핀 매트릭스는 초기 기설정 아핀 매트릭스 또는 상기 초기 기설정 아핀 매트릭스가 적어도 한번 조정된 아핀 매트릭스임 - ; 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 단계; 및 기설정 차단 조건을 만족할 때까지, 상기 복수 개의 도로 요소의 잔차값에 기반하여, 상기 현재 아핀 매트릭스에 대해 조정을 수행한 다음, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정하는 단계로 리턴하여, 상기 타깃 아핀 매트릭스를 얻는 단계를 포함한다.
본 발명의 실시예에서, 후속적으로 정확도가 비교적 높은 타깃 아핀 매트릭스에 기반하여 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있도록, 정확도가 비교적 높은 타깃 아핀 매트릭스를 얻을 때까지, 아핀 매트릭스에 대해 여러 차례 조정을 수행할 수 있다.
가능한 실시 형태에 있어서, 상기 도로 요소는 제1 타입 도로 요소를 포함하고, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 상기 포지셔닝 방법은, 각 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제1 특징 포인트 집합에서 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트와 매칭되는 제1 특징 포인트를 추출하는 단계를 더 포함하며; 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 단계는, 각 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 특징 포인트와 매칭되는 제1 특징 포인트의 세계 좌표에 기반하여, 상기 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리를 결정하는 단계; 및 상기 제1 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리에 대해 합산을 수행하여, 상기 제1 타입 도로 요소에 대응되는 잔차값을 얻는 단계를 포함한다.
본 발명의 실시예에서, 제1 타입 도로 요소를 대상으로 하여, 후속적으로 상기 잔차값에 대해 조정을 수행하는 것을 통해 타깃 아핀 매트릭스를 결정하도록, 각 제1 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 매칭되는 제1 특징 포인트가 세계 좌표계에서의 거리를 통해, 과거 호모그래피 매트릭스를 통해 결정된 제1 타입 도로 요소의 제1 세계 좌표 및 상기 제1 타입 도로 요소의 제2 세계 좌표 사이의 잔차값을 결정할 수 있다.
가능한 실시 형태에 있어서, 상기 도로 요소는 제2 타입 도로 요소를 더 포함하고, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 상기 포지셔닝 방법은, 각 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 따라, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 피팅 직선 방정식을 결정하는 단계를 더 포함하며; 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 단계는, 각 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 방정식에 기반하여, 상기 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 결정하는 단계; 및 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하는 단계를 포함한다.
본 발명의 실시예에서, 제2 타입 도로 요소를 대상으로 하여, 후속적으로 상기 잔차값에 대해 조정을 수행하는 것을 통해 타깃 아핀 매트릭스를 결정하도록, 각 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트에서 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 통해, 과거 호모그래피 매트릭스를 통해 결정된 제2 타입 도로 요소의 제1 세계 좌표 및 상기 제2 타입 도로 요소의 제2 세계 좌표 사이의 잔차값을 결정할 수 있다.
가능한 실시 형태에 있어서, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하기 전에, 상기 포지셔닝 방법은, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트의 세계 좌표에 기반하여, 상기 제2 타입 도로 요소의 각 제2 특징 포인트에 대응되는 거리 가중치를 획득하는 단계를 더 포함하고; 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하는 단계는, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트에 대응되는 거리 가중치에 기반하여, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 대해 가중 합산을 수행하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 얻는 단계를 포함한다.
본 발명의 실시예에서, 도로 요소에 제1 타입 도로 요소 및 제2 타입 도로 요소가 동시에 포함될 때, 타깃 차량에서 멀리 떨어진 영역의 제1 타입 도로 요소에 포함되는 유효 특징 포인트의 수량이 비교적 적은 것을 고려하면, 제2 타입 도로 요소가 수집 기기로부터 상이한 위치에 있는 제2 특징 포인트에 대응되는 거리 가중치를 조정하여, 타깃 차량에서 멀고 가까운 영역에 포함되는 유효 특징 포인트의 균형을 맞춤으로써, 얻은 현재 호모그래피 매트릭스로 하여금 타깃 차량과의 거리가 상이한 영역의 도로 및 대응되는 이미지 사이의 전환 관계를 가늠할 때 모두 비교적 높은 로버스트 및 정밀도를 구비할 수 있도록 한다.
제2 측면에 있어서, 본 발명의 실시예는 포지셔닝 장치를 제공하고, 상기 포지셔닝 장치는, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 위한 획득 모듈; 상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하기 위한 제1 결정 모듈; 상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하기 위한 제2 결정 모듈; 및 상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지 중 타깃 대상의 타깃 세계 좌표를 결정하기 위한 제3 결정 모듈을 포함한다.
제3 측면에 있어서, 본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능 명령어가 저장되어 있고, 전자 기기가 작동될 때, 상기 프로세서와 상기 메모리 사이에는 버스를 통해 통신되며, 상기 기계 판독 가능 명령어가 상기 프로세서에 의해 실행될 때 제1 측면에 따른 포지셔닝 방법의 단계를 실행한다.
제4 측면에 있어서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 제1 측면에 따른 포지셔닝 방법의 단계를 실행한다.
제5 측면에 있어서, 본 발명은 컴퓨터 판독 가능 코드가 포함되는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 제1 측면에 따른 포지셔닝 방법의 단계를 실행한다.
본 발명의 상기 목적, 특징 및 장점이 더욱 선명하고 알기 쉽도록 하기 위해, 아래 문장은 특별히 실시예를 예로 들고, 첨부된 도면에 맞춰, 아래와 같이 상세하게 설명한다.
본 발명의 실시예의 기술 방안을 더욱 명확하게 설명하기 위해, 아래에 실시예에서 사용하게 될 도면에 대해 간단히 설명하고, 여기서 도면은 명세서에 통합되어 본 명세서의 일부를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술 방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 다만 본 발명의 일부 실시예를 도시하였을 뿐이기에, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 통상적 기술자는, 창조성 노동을 부여하지 않는 전제하에서도, 이러한 도면에 따라 다른 관련된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공하는 포지셔닝 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에서 제공하는 도로 요소의 제1 세계 좌표를 결정하는 방법의 흐름도를 도시한다.
도 3은 본 발명의 실시예에서 제공하는 타깃 대상의 타깃 세계 좌표를 결정하는 방법의 흐름도를 도시한다.
도 4는 본 발명의 실시예에서 제공하는 타깃 차량의 현재 호모그래피 매트릭스를 결정하는 방법의 흐름도를 도시한다.
도 5는 본 발명의 실시예에서 제공하는 동일한 도로 요소가 상이한 형태를 통해 얻은 세계 좌표계에서의 투영 위치 예시도를 도시한다.
도 6은 본 발명의 실시예에서 제공하는 타깃 아핀 매트릭스를 결정하는 방법의 흐름도를 도시한다.
도 7은 본 발명의 실시예에서 제공하는 포지셔닝 장치의 예시도를 도시한다.
도 8은 본 발명의 실시예에서 제공하는 전자 기기의 예시도를 도시한다.
도 1은 본 발명의 실시예에서 제공하는 포지셔닝 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에서 제공하는 도로 요소의 제1 세계 좌표를 결정하는 방법의 흐름도를 도시한다.
도 3은 본 발명의 실시예에서 제공하는 타깃 대상의 타깃 세계 좌표를 결정하는 방법의 흐름도를 도시한다.
도 4는 본 발명의 실시예에서 제공하는 타깃 차량의 현재 호모그래피 매트릭스를 결정하는 방법의 흐름도를 도시한다.
도 5는 본 발명의 실시예에서 제공하는 동일한 도로 요소가 상이한 형태를 통해 얻은 세계 좌표계에서의 투영 위치 예시도를 도시한다.
도 6은 본 발명의 실시예에서 제공하는 타깃 아핀 매트릭스를 결정하는 방법의 흐름도를 도시한다.
도 7은 본 발명의 실시예에서 제공하는 포지셔닝 장치의 예시도를 도시한다.
도 8은 본 발명의 실시예에서 제공하는 전자 기기의 예시도를 도시한다.
본 발명의 실시예의 목적, 기술 방안 및 장점을 더욱 명확하게 하기 위해, 아래에 본 발명의 실시예 중 도면을 결합하여, 본 발명의 실시예에서의 기술 방안에 대해 명확하고 완전한 설명을 수행하고, 설명된 실시예는 단지 본 발명의 일부 실시예이며, 모든 실시예가 아님은 분명하다. 통상적으로 여기 도면에서 설명 및 도시된 본 발명의 실시예의 컴포넌트는 다양하고 상이한 구성으로 배치 및 설계된다. 따라서, 아래에 도면에서 제공된 본 발명의 실시예에 대한 상세한 설명은 보호 요청된 본 발명의 범위를 한정하려는 것은 아니고, 다만 본 발명의 선정된 실시예를 나타내는 것이다. 본 발명의 실시예에 기반하여, 본 분야의 기술자가 창조성 노동을 부여하지 않은 전제하에서 획득한 모든 다른 실시예는 전부 본 발명의 보호 범위에 속한다.
유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 나타내기에, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 정의 및 해석될 필요가 없다.
본 명세서에서 용어 "및/또는"은 단지 연관 관계를 설명하고, 세 가지 관계가 존재할 수 있음을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낼 수 있다. 또한, 본문에서 용어 "적어도 하나"는 복수에서의 어느 하나 또는 복수에서의 적어도 두 개 중의 어느 하나의 조합을 나타내고, 예를 들어, A, B, C에서의 적어도 하나를 포함하는 것은, A, B 및 C로 구성된 집합에서 선택된 어느 하나 또는 복수 개의 요소를 포함하는 것을 나타낼 수 있다.
자율 주행 분야, 로봇 분야에서, 예를 들어 캠코더 또는 단안 카메라에 의해 시각 포지셔닝을 수행하는 것과 같이 수집 기기에 의해 수집된 이미지에 의해 시각 포지셔닝을 수행할 수 있고, 수집 기기에 의해 시각 포지셔닝을 수행하는 원리는 수집 기기에 의해 촬영된 타깃 대상이 픽셀 좌표계에서의 픽셀 좌표를 결정한 다음, 수집 기기의 호모그래피 매트릭스에 기반하여, 타깃 대상이 세계 좌표계에서의 세계 좌표를 결정하는 것이며, 따라서, 호모그래피 매트릭스의 정확성은 포지셔닝 결과의 정확성에 직접 영향을 준다. 차량에서의 수집 기기의 호모그래피 매트릭스는 수집 기기와 차량의 위치 관계를 통해 미리 보정을 수행하여 얻을 수 있고, 차량에서의 수집 기기에 대해 보정을 수행한 다음, 상기 호모그래피 매트릭스에 따라 타깃 대상의 위치를 결정할 수 있지만, 차량 주행 과정에 있어서, 장기 주행으로 인한 기계적 진동 또는 차량이 평평하지 않은 도로에서 주행할 때, 수집 기기와 차량의 상대 위치가 변경될 수 있어서, 과거에 결정된 호모그래피 매트릭스로 하여금 더 이상 적용되지 않도록 하여, 포지셔닝의 정확도에 영향을 줄 수 있고, 이에 대해, 본 발명의 아래 실시예는 차량 주행 과정에서 타깃 대상에 대해 포지셔닝을 수행하는 방법을 제공한다.
상기 연구에 기반하여, 본 발명은 포지셔닝 방법을 제공하고, 타깃 차량의 주행에 따라, 기계적 진동 또는 평평하지 않은 주행 도로 때문에, 타깃 차량에서 포지셔닝을 위한 과거 포지셔닝 파라미터가 더 이상 정확하지 않을 수 있고, 예를 들어 타깃 차량의 과거 호모그래피 매트릭스가 더 이상 정확하지 않음으로써, 제1 세계 좌표 및 제2 세계 좌표로 하여금 일정한 차이가 존재하도록 하며, 이로써 상기 차이에 따라 타깃 차량의 현재 포지셔닝 파라미터에 대해 조정을 수행하여, 포지셔닝 파라미터의 정확도를 향상시킬 수 있음으로써, 타깃 대상 포지셔닝 결과에 대한 정확도를 향상시킬 수 있다.
본 실시예에 대해 이해를 용이하게 하기 위해, 먼저 본 발명의 실시예에서 개시된 포지셔닝 방법에 대해 상세하게 소개하고, 본 발명의 실시예에서 제공하는 포지셔닝 방법의 실행 주체는 보통 일정한 컴퓨팅 능력을 구비한 컴퓨터 기기이며, 상기 컴퓨터 기기는 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기를 포함하고, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 컴퓨팅 기기, 차량 탑재 기기 등일 수 있다. 일부 가능한 구현 형태에 있어서, 상기 포지셔닝 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출하는 형태를 통해 구현될 수 있다.
도 1에 도시된 바를 참조하면, 본 발명의 실시예에서 제공하는 포지셔닝 방법의 흐름도이고, 상기 포지셔닝 방법은 차량 탑재 기기에서의 프로세서에 적용될 수 있으며, 상기 포지셔닝 방법은 단계 S101~S104를 포함한다.
단계 S101에 있어서, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 위치의 미리 제작된 지도를 획득한다.
예시적으로, 타깃 차량에는 도로 이미지를 수집하기 위한 수집 기기가 설치될 수 있고, 수집 기기는 단안 캠코더 또는 단안 카메라를 포함할 수 있으며, 컬러 이미지, 그레이스케일 이미지 또는 깊이 이미지를 수집하기 위한 카메라를 포함할 수도 있고, 타깃 차량이 도로에서 주행할 때, 수집 기기는 기설정된 시간 간격에 따라 도로의 도로 이미지를 촬영할 수 있다.
예시적으로, 미리 제작된 지도는 미리 구축된 타깃 차량이 주행하는 도로 시나리오와 매칭되는 시나리오 지도일 수 있고, 상기 미리 제작된 지도 중 요소와 타깃 차량이 주행하는 도로 시나리오에서의 동일한 요소는 동일한 좌표계에서 1:1 비율에 따라 디스플레이될 수 있으며, 또한, 상기 미리 제작된 지도를 구축할 때 상기 미리 제작된 지도에 각 도로 요소에 포함되는 특징 포인트가 미리 제작된 지도에서의 지도 위치 정보를 저장할 수 있고, 저장 공간을 절약하기 위해, 각 도로 요소의 특징 포인트가 미리 제작된 지도에서의 지도 위치 정보를 저장할 때, 각 도로 요소는 기하학적 형상 특징을 나타낼 수 있는 소량의 포인트의 지도 위치 정보를 저장할 수 있다.
단계 S102에 있어서, 현재 도로 이미지에 기반하여, 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정한다.
예시적으로, 도로 요소는 타깃 차량에 대해 지시하기 위한 도로 표지를 포함하고, 구체적으로 방향 지시 표지, 점선, 횡단보도, 실선, 정지선 등을 포함할 수 있으며, 여기서, 방향 지시 표지는 예를 들어 좌회전 방향 지시 표지, 우회전 방향 지시 표지 및 직진 표지 등을 포함할 수 있다.
예시적으로, 도로 요소의 제1 세계 좌표는 도로 요소에 포함되는 특징 포인트가 세계 좌표계에서의 세계 좌표를 통해 나타낼 수 있고, 여기서, 도로 요소의 특징 포인트는 도로 요소 기하학적 형상 특징을 나타낼 수 있는 포인트를 포함할 수 있으며, 예를 들어 방향 지시 표지, 점선에서의 각 선분, 횡단보도 등과 같은 완전한 윤곽이 추출될 수 있는 도로 요소를 대상으로 하여, 도로 요소의 윤곽을 구성하는 복수 개의 포인트를 특징 포인트로 사용할 수 있고, 예를 들어 실선 차선, 실선 정지선 등과 같은 완전한 윤곽이 추출될 수 없는 도로 요소를 대상으로 하여, 차선, 정지선은 보통 직선이기에, 상기 도로 요소를 직선 특징으로 사용하는 것을 나타내는 복수 개의 포인트를 특징 포인트로 사용하여 추출할 수 있다.
단계 S103에 있어서, 미리 제작된 지도에 기반하여, 도로 요소의 제2 세계 좌표를 결정한다.
예시적으로, 현재 도로 이미지가 획득된 다음, 현재 도로 이미지에 기반하여 타깃 차량이 미리 제작된 지도에 의해 지시되는 도로 시나리오에서의 포즈 데이터를 결정함으로써, 타깃 차량이 위치하는 위치에 포함되는 도로 요소가 타깃 차량을 원점으로 하여 구축하는 세계 좌표계에서의 제2 세계 좌표를 결정할 수 있고, 구체적으로, 각 도로 요소의 제2 세계 좌표는 구체적으로 미리 저장된 상기 도로 요소에 포함되는 특징 포인트가 세계 좌표계에서의 세계 좌표를 의미하며, 상기 도로 요소가 미리 제작된 지도에서의 지도 위치 정보 및 타깃 차량이 미리 제작된 지도에 의해 지시되는 도로 시나리오에서의 포즈 데이터에 따라 결정할 수 있고, 상세한 내용은 아래를 참조한다.
예시적으로, 기설정 시간 간격에 따라 도로 이미지를 획득할 때, 현재 도로 이미지를 대상으로 하여, 현재 도로 이미지에 기반하여 추출된 각 도로 요소에 포함되는 복수 개의 특징 포인트를 상기 도로 요소의 제1 특징 포인트 집합으로 기록하고, 미리 제작된 지도에 기반하여 미리 저장된 상기 도로 요소에 포함되는 복수 개의 특징 포인트를 제2 특징 포인트 집합으로 기록할 수 있다.
예시적으로, 상기 언급된 세계 좌표계는 아래 형태에 따라 미리 구축될 수 있다.
차량의 앞 차축 중심점 또는 차체 중심이 지면에서의 매핑 포인트를 원점으로 하고, 차량의 전진 방향을 X 축으로 하며, 차량의 전진 방향에 수직되는 방향을 Y 축으로 하고, 하늘을 향하는 방향을 Z 축으로 하여 세계 좌표계를 구축하며, 세계 좌표계를 얻은 다음, 미리 제작된 지도에 따라 결정된 세계 좌표계에서의 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 획득하는 구체적인 방법은, 아래에서 상세하게 설명한다.
단계 S104에 있어서, 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 기반하여, 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정한다.
예시적으로, 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 기반하여, 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하기 전에, 먼저 호모그래피 매트릭스에 대해 소개하고, 타깃 차량의 호모그래피 매트릭스는 타깃 차량에서의 수집 기기의 호모그래피 매트릭스를 의미하며, 호모그래피 매트릭스는 수집 기기에 의해 수집된 도로 이미지에 대응되는 이미지 좌표계 및 타깃 차량이 위치하는 세계 좌표계 사이의 전환 관계를 나타내기 위한 것일 수 있고, 현재 도로 이미지가 수집된 다음, 현재 도로 이미지에서의 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표 및 과거 호모그래피 매트릭스에 기반하여, 제1 특징 포인트 집합이 세계 좌표계에서의 세계 좌표를 결정할 수 있다.
예시적으로, 과거 호모그래피 매트릭스는 수집 기기를 대상으로 하여 초기 보정을 수행하는 과정에서 결정된 초기 호모그래피 매트릭스일 수 있고, 지난번 조절 후에 얻은 과거 호모그래피 매트릭스일 수도 있으며, 여기서, 지난번 조절 후에 얻은 과거 호모그래피 매트릭스의 결정 형태는 현재 호모그래피 매트릭스를 결정하는 형태와 유사하고, 구체적 과정의 상세한 내용은 아래를 참조한다.
예시적으로, 초기 호모그래피 매트릭스는 타깃 차량이 주행하기 전에 보정된 호모그래피 매트릭스일 수 있고, 여기서 타깃 차량이 주행하기 전에 보정된 호모그래피 매트릭스는 현재 이미 알려진 보정 형태를 통해 보정되며, 예를 들어 정지된 도로에 참조물이 놓이고, 참조물이 세계 좌표계에서의 세계 좌표 및 참조물이 수집 기기에 의해 획득된 이미지에서의 픽셀 좌표를 통해, 상기 수집 기기가 정지된 타깃 차량에서의 호모그래피 매트릭스를 결정할 수 있다.
예시적으로, 과거 호모그래피 매트릭스가 더 이상 정확하지 않은 경우, 동일한 도로 요소의 제1 세계 좌표 및 제2 세계 좌표 사이에는 차이가 존재할 수 있고, 상기 차이에 기반하여 과거 호모그래피 매트릭스에 대해 수정함으로써, 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있다.
추가로 수집 기기의 현재 호모그래피 매트릭스를 얻은 다음, 현재 시간대 내에서 현재 호모그래피 매트릭스에 기반하여 수집된 타깃 이미지에서의 타깃 대상에 대해 포지셔닝을 수행하고, 예를 들어 5min 간격으로 호모그래피 매트릭스에 대해 교정할 수 있으며, 이로써 현재 교정 후부터 다음 교정 기간 사이에서 현재 호모그래피 매트릭스 및 타깃 이미지에서의 타깃 대상의 픽셀 좌표를 통해, 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정할 수 있다.
예시적으로, 여기서 타깃 이미지는 현재 도로 이미지일 수 있고, 타깃 대상은 예를 들어 타깃 이미지에서의 차량, 보행자, 나무, 난간 등 장애물과 같은 미리 설정된 포지셔닝 수행이 필요한 타깃 대상을 의미할 수 있다.
본 발명의 실시예에서, 타깃 차량의 주행에 따라, 기계적 진동 또는 평평하지 않은 주행 도로 때문에, 타깃 차량에서 포지셔닝을 위한 과거 포지셔닝 파라미터가 더 이상 정확하지 않을 수 있고, 예를 들어 타깃 차량의 과거 호모그래피 매트릭스가 더 이상 정확하지 않음으로써, 제1 세계 좌표 및 제2 세계 좌표로 하여금 일정한 차이가 존재하도록 하며, 이로써 상기 차이에 따라 타깃 차량의 현재 포지셔닝 파라미터에 대해 조정을 수행하여, 포지셔닝 파라미터의 정확도를 향상시킬 수 있음으로써, 타깃 대상 포지셔닝 결과에 대한 정확도를 향상시킬 수 있다.
아래에 구체적인 실시예를 결합하여 상기 단계 S101~S104에 대해 구체적으로 설명한다.
실시 형태에 있어서, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 전에, 본 발명의 실시예에서 제공하는 포지셔닝 방법은,
타깃 차량의 보정 버튼을 대상으로 하는 트리거 동작에 응답하거나 타깃 차량에 대해 보정을 수행하는 보정 명령어가 수신되는 단계를 더 포함한다.
예시적으로, 타깃 차량은 자율 주행 차량일 수 있고, 주행 과정에 있어서, 미리 설정된 시간 간격에 따라 호모그래피 매트릭스에 대해 수정할 수 있을 뿐만 아니라, 타깃 차량에서의 보정 버튼을 대상으로 하는 트리거 동작이 존재하는 것이 검출된 다음 다시 호모그래피 매트릭스에 대해 수정할 수도 있으며, 예를 들어 타깃 차량에는 타깃 차량을 트리거 하여 호모그래피 매트릭스에 대해 수정하기 시작하는 소프트웨어 버튼 또는 물리적 버튼이 설치되어, 호모그래피 매트릭스에 대해 수정해야 되는 경우, 사용자는 상기 보정 버튼을 트리거 할 수 있다.
또는, 타깃 차량에는 클라우드 또는 서버와 통신 연결을 유지하는 통신 시스템이 더 설치될 수 있고, 상기 통신 시스템을 통해 클라우드 또는 서버에 의해 송신된 타깃 차량에 대해 보정을 수행하는, 즉 호모그래피 매트릭스에 대해 수정하는 보정 명령어가 수신된 다음, 획득 타깃 차량에 의해 수집된 현재 도로 이미지 및 미리 제작된 지도를 획득하기 시작하여 과거 호모그래피 매트릭스에 대한 수정 과정을 완료할 수 있다.
본 발명의 실시예에서, 타깃 차량의 보정 버튼을 대상으로 하는 트리거 동작이 존재하는 것이 검출되거나 타깃 차량에 대해 보정을 수행하는 보정 명령어가 수신된 다음, 먼저 타깃 차량에 대해 보정을 수행하여, 타깃 차량의 호모그래피 매트릭스와 같은 타깃 차량이 포지셔닝을 수행하기 위한 현재 포지셔닝 파라미터를 향상시킬 수 있다.
상기 단계 S102를 대상으로 하여, 현재 도로 이미지에 기반하여, 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정할 때, 도 2에 도시된 바와 같이, 아래 단계 S201~S202를 포함할 수 있다.
단계 S201에 있어서, 현재 도로 이미지에서의 도로 요소의 픽셀 좌표를 획득한다.
단계 S202에 있어서, 도로 요소의 픽셀 좌표 및 미리 결정된 수집 기기의 과거 호모그래피 매트릭스에 기반하여, 도로 요소의 제1 세계 좌표를 결정한다.
예시적으로, 현재 도로 이미지가 획득된 다음, 현재 도로 이미지에 대해 타깃 검출을 수행하여, 현재 도로 이미지에 포함되는 도로 요소를 결정할 수 있고, 추가로 상기 형태에 따라, 각 도로 요소에 포함되는 제1 특징 포인트 집합에서 각 특징 포인트가 현재 도로 이미지에 대응되는 이미지 좌표계에서의 픽셀 좌표를 추출한다.
예시적으로, 도로 이미지에서 도로 요소의 제1 특징 포인트 집합에서의 i 번째 제1 특징 포인트의 픽셀 좌표 가 추출된 다음, 아래 공식 (1)에 따라 상기 i 번째 제1 특징 포인트가 세계 좌표계에서의 세계 좌표 를 결정할 수 있다.
여기서, H는 과거 호모그래피 매트릭스를 나타낸다.
본 발명의 실시예에서, 호모그래피 매트릭스는 도로 이미지에 대응되는 이미지 좌표계 및 타깃 차량에 대응되는 세계 좌표계 사이의 전환 관계를 반영할 수 있기에, 도로 요소가 현재 도로 이미지에서의 픽셀 좌표에 기반하고, 미리 결정된 과거 호모그래피 매트릭스에 기반하여, 도로 요소가 세계 좌표계에서의 제1 세계 좌표를 빠르게 결정할 수 있다.
구체적으로, 상기 S201를 대상으로 하여, 현재 도로 이미지 중 도로 요소의 픽셀 좌표를 획득할 때, 아래 단계 S2011~S2013을 포함한다.
단계 S2011에 있어서, 도로 이미지에 대해 시맨틱 분할을 수행하여, 도로 이미지에 포함되는 적어도 하나의 도로 요소 및 각 도로 요소의 도로 요소 카테고리를 얻는다.
단계 S2012에 있어서, 각 도로 요소의 도로 요소 카테고리에 따라, 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출한다.
단계 S2013에 있어서, 제1 특징 포인트 집합의 픽셀 좌표를 제1 특징 포인트 집합에 대응되는 도로 요소의 픽셀 좌표로 사용한다.
예시적으로, 도로 요소 카테고리는 두 가지를 포함할 수 있고, 한 가지는 예를 들어 상기 언급된 방향 지시 표지, 점선 및 횡단보도 등과 같은 윤곽이 추출될 수 있는 도로 요소이며, 다른 한 가지는 예를 들어 상기 언급된 실선, 정지선과 같은 윤곽이 추출될 수 없는 도로 요소이고, 설명의 편의를 위해, 여기서 도로 요소를 제1 타입 도로 요소 및 제2 타입 도로 요소로 나눌 수 있으며, 여기서 제1 타입 도로 요소는 예를 들어 상기 언급된 방향 지시 표지, 점선 및 횡단보도 등과 같은 윤곽을 추출할 수 있는 도로 요소를 의미하고, 제2 타입 도로 요소는 예를 들어 상기 언급된 실선 및 정지선과 같은 윤곽을 추출할 수 없는 도로 요소를 의미한다.
예시적으로, 미리 훈련된 시맨틱 분할 모델을 통해 수집 기기에 의해 수집된 도로 요소에 대해 시맨틱 분할을 수행하여, 도로 이미지에 포함되는 적어도 하나의 도로 요소 및 각 도로 요소의 도로 요소 카테고리를 얻을 수 있다.
나아가, 각 도로 요소의 도로 요소 카테고리를 결정한 다음, 상기 도로 요소의 도로 요소 카테고리에 따라, 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출할 수 있다.
나아가, 추출하여 얻은 각 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를, 상기 도로 요소의 픽셀 좌표로 사용한다.
본 발명의 실시예에서, 시맨틱 분할 형태에 따라, 도로 이미지에 포함되는 도로 요소를 빨리 추출할 수 있고, 미리 설정된 도로 요소 카테고리에 따라, 도로 이미지에서의 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 빨리 추출하여, 도로 요소의 픽셀 좌표를 얻을 수 있다.
구체적으로, 상기 단계 S2012를 대상으로 하여, 각 도로 요소의 도로 요소 카테고리에 따라, 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출할 때, 아래 단계 S20121~S20123을 포함한다.
단계 S20121에 있어서, 상기 도로 요소가 제1 타입 도로 요소인 경우, 상기 도로 요소의 윤곽에서 복수 개의 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는다.
예시적으로, 예를 들어 방향 지시 표지, 점선 및 횡단보도와 같은 완전한 윤곽이 추출될 수 있는 도로 요소를 대상으로 하여, 이러한 타입 도로 요소의 윤곽에서 제1 특징 포인트를 추출할 수 있고, 이러한 제1 특징 포인트의 연결은 상기 도로 요소의 윤곽을 구성하여, 도로 요소의 제1 특징 포인트 집합을 얻을 수 있다.
단계 S20122에 있어서, 상기 도로 요소가 제2 타입 도로 요소인 경우, 상기 도로 요소의 중심선에서 설정된 거리 간격에 따라 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는다.
예시적으로, 예를 들어 실선, 정지선 등과 같은 윤곽이 추출될 수 없는 도로 요소를 대상으로 하여, 이러한 타입의 도로 요소의 중심선에서 설정된 거리 간격에 따라 제1 특징 포인트를 추출할 수 있고, 예를 들어 n 개의 픽셀 포인트 간격으로 하나의 제1 특징 포인트를 추출하며, 상기 형태에 따라 상기 도로 요소의 제1 특징 포인트 집합을 추출할 수 있다.
단계 S20123에 있어서, 현재 도로 이미지에 대응되는 픽셀 좌표계에서, 제1 특징 포인트 집합에서의 각 제1 특징 포인트의 픽셀 좌표를 획득한다.
예시적으로, 도로 요소의 제1 특징 포인트 집합이 추출된 다음, 도로 이미지 요소에 대응되는 픽셀 좌표계에서, 제1 특징 포인트 집합에서의 각 제1 특징 포인트의 픽셀 좌표를 추출할 수 있다.
본 발명의 실시예에서, 각 도로 요소를 대상으로 하여 특징 포인트 추출을 수행할 때, 상기 도로 요소의 구체적인 도로 요소 카테고리에 따라 특징 포인트 추출을 수행하여, 각 도로 요소에 포함되는 제1 특징 포인트 집합 및 제1 특징 포인트 집합 중 각 제1 특징 포인트의 픽셀 좌표를 빨리 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 단계 S103을 대상으로 하여, 미리 제작된 지도에 기반하여, 도로 요소의 제2 세계 좌표를 결정할 때, 아래 단계 S1031~S1033을 포함할 수 있다.
단계 S1031에 있어서, 미리 저장된 도로 요소의 제2 특징 포인트 집합이 미리 제작된 지도에서의 지도 위치 정보를 획득한다.
단계 S1032에 있어서, 도로 요소의 제2 특징 포인트 집합의 지도 위치 정보 및 타깃 차량이 미리 제작된 지도에서 나타내는 도로 시나리오에서의 포즈 데이터에 기반하여, 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 결정한다.
단계 S1033에 있어서, 제2 특징 포인트 집합의 세계 좌표를 제2 특징 포인트 집합에 대응되는 도로 요소의 제2 세계 좌표로 사용한다.
예시적으로, 미리 제작된 지도는 미리 수집된 타깃 차량이 주행하는 도로 시나리오에 포함되는 도로 시나리오 이미지에 따라 구축된 것일 수 있고, 예를 들어 도로 시나리오에 대응되는 3차원 시나리오 지도를 미리 구축할 수 있으며, 도로 시나리오에 대응되는 3차원 시나리오 지도에, 도로에서의 도로 요소의 제2 특징 포인트 집합이 미리 제작된 지도에서의 지도 위치 정보를 미리 저장할 수 있다.
미리 제작된 지도 및 도로 시나리오에서의 동일한 도로 요소는 동일한 좌표계에서 1:1 비율에 따라 디스플레이될 수 있는 것을 고려하면, 여기서 미리 제작된 지도 및 도로 시나리오를 정렬한 다음, 타깃 차량이 미리 제작된 지도에서의 포즈 데이터를 결정할 수 있어서, 도로 요소의 제2 특징 포인트 집합이 미리 제작된 지도에서의 지도 위치 정보 및 타깃 차량이 미리 제작된 지도에서의 포즈 데이터에 기반하여, 타깃 차량에 따라 구축된 세계 좌표계에서 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 결정할 수 있다.
예시적으로, 타깃 차량이 도로 시나리오에서의 포즈 데이터는 타깃 차량이 도로 시나리오에서의 위치 좌표 및 방향을 포함할 수 있고, 상기 포즈 데이터는 수집 기기에 의해 수집된 도로 이미지 및 동시 위치 인식 및 지도 작성(Simultaneous Localization And Mapping, SLAM)의 형태에 기반하여 결정될 수 있고, 수집 기기에 설치된 통합 항법 기기에 기반하여 결정될 수도 있으며, 여기서 구체적으로 한정하지 않는다.
본 발명의 실시예에서, 미리 저장된 도로 요소가 미리 제작된 지도에서의 지도 위치 정보 및 타깃 차량이 미리 제작된 지도에서 나타내는 도로 시나리오에서의 포즈 데이터를 통해, 도로 요소에 포함되는 제2 특징 포인트 집합의 세계 좌표를 빨리 결정하여, 도로 요소의 제2 세계 좌표를 얻을 수 있다.
가능한 실시 형태에 있어서, 상기 단계 S104를 대상으로 하여, 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정할 때, 도 3에 도시된 바와 같이, 아래 단계 S301~S303을 포함한다.
단계 S301에 있어서, 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 타깃 차량의 현재 호모그래피 매트릭스를 얻는다.
예시적으로, 만약 과거 호모그래피 매트릭스가 정확하다면, 수집 기기의 과거 호모그래피 매트릭스에 기반하여 얻은 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합에서 매칭되는 특징 포인트가 세계 좌표계에서의 세계 좌표는 동일해야 하고, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합에서 매칭되는 특징 포인트가 세계 좌표계에서의 세계 좌표가 상이한 경우, 과거 호모그래피 매트릭스가 더 이상 정확하지 않은 것을 결정할 수 있으며, 이때 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합이 세계 좌표계에서의 세계 좌표에 기반하여, 과거 호모그래피 매트릭스에 대해 조정을 수행하여, 타깃 차량의 현재 호모그래피 매트릭스를 얻을 수 있다.
단계 S302에 있어서, 타깃 이미지에 기반하여, 타깃 대상이 타깃 이미지에서의 픽셀 좌표를 결정한다.
예시적으로, 타깃 이미지를 얻은 다음, 이미지 인식 기술에 기반하여, 타깃 대상에 대응되는 검출 박스를 얻고, 검출 박스와 지면의 접선의 중심 위치 포인트를 타깃 대상이 타깃 이미지에 있는 것을 나타낼 수 있는 위치 포인트로 사용한 다음, 상기 위치 포인트의 픽셀 좌표를 타깃 대상이 이미지 좌표계에서의 픽셀 좌표로 사용할 수 있다.
단계 S303에 있어서, 타깃 대상의 픽셀 좌표 및 현재 호모그래피 매트릭스에 기반하여, 타깃 대상의 타깃 세계 좌표를 결정한다.
타깃 대상이 이미지 좌표계에서의 픽셀 좌표를 얻은 다음, 상기 타깃 대상이 이미지 좌표계에서의 픽셀 좌표 및 현재 호모그래피 매트릭스를 픽셀 좌표 및 세계 좌표의 전환 방정식에 입력하여, 타깃 대상이 세계 좌표계에서의 세계 좌표를 얻을 수 있다.
본 발명의 실시예에서, 도로 요소의 제1 세계 좌표 및 제2 세계 좌표 사이의 차이에 따라, 타깃 차량의 과거 호모그래피 매트릭스에 대해 수정하여, 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있고, 추가로 정확도가 비교적 높은 현재 호모그래피 매트릭스 및 타깃 대상의 픽셀 좌표에 기반하여, 타깃 대상을 결정하는 정확도가 비교적 높은 타깃 세계 좌표를 얻을 수 있다.
가능한 실시 형태에 있어서, 타깃 대상의 타깃 세계 좌표를 결정한 다음, 포지셔닝 방법은,
타깃 대상의 타깃 세계 좌표 및 기설정 위치 포인트의 위치 정보에 기반하여, 타깃 대상과 기설정 위치 포인트 사이의 거리를 결정하는 단계를 더 포함한다.
예시적으로, 타깃 차량을 예로 들어, 여기서 기설정 위치 포인트는 타깃 차량의 앞 차축 중심점이 지면에서의 투영일 수 있고, 타깃 차량의 차체 중심이 지면에서의 투영일 수도 있으며, 세계 좌표계의 원점으로 사용할 때, 상기 원점의 세계 좌표계에서의 좌표는 이미 알고 있는 것이고, 상기 기설정 위치 포인트를 타깃 대상과 타깃 차량의 거리를 측정할 때 대응되는 차량 거리 측정 포인트로 사용할 수 있다.
구체적으로, 상기 결정된 타깃 대상이 세계 좌표계에서의 세계 좌표 및 기설정 위치 포인트의 세계 좌표에 따라, 양자의 유클리드 거리를 계산할 수 있고, 즉 타깃 대상과 타깃 차량 사이의 거리를 결정할 수 있다.
본 발명의 실시예는 타깃 차량의 현재 호모그래피 매트릭스를 얻은 다음, 상기 현재 호모그래피 매트릭스를 사용하여 타깃 대상의 타깃 세계 좌표를 정확하게 결정할 수 있어서, 미리 제작된 위치 포인트와 타깃 대상 사이에서 정확도가 비교적 높은 거리를 얻을 수 있다.
실시 형태에 있어서, 상기 단계 S301을 대상으로 하여, 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 타깃 차량의 현재 호모그래피 매트릭스를 얻을 때, 도 4에 도시된 바와 같이, 아래 단계 S401~S402를 포함한다.
단계 S401에 있어서, 도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정한다.
단계 S402에 있어서, 타깃 아핀 매트릭스에 기반하여, 과거 호모그래피 매트릭스에 대해 수정하여, 타깃 차량의 현재 호모그래피 매트릭스를 얻는다.
예시적으로, 과거 호모그래피 매트릭스가 더 이상 정확하지 않은 경우, 동일한 도로 요소를 세계 좌표계에 투영한 위치는 미리 제작된 지도에 기반하여 결정된 세계 좌표계에서의 위치에 비교하여 편차가 발생할 수 있고, 도 5에 도시된 바와 같이, 점선이 나타내는 것은 과거 호모그래피 매트릭스에 기반하여 결정된 도로 요소가 세계 좌표계에서의 제1 세계 좌표가 나타내는 위치이며, 실선이 나타내는 것은 미리 제작된 지도에 기반하여 결정된 도로 요소가 세계 좌표계에서의 제2 세계 좌표가 나타내는 위치이고, 과거 호모그래피 매트릭스가 더 이상 정확하지 않을 때, 양자 사이에는 일정한 편차가 존재하는 것을 알 수 있다.
예시적으로, 본 발명의 실시예는 도로 요소의 특징 포인트를 통해 도로 요소의 기하학적 형상을 나타내고, 따라서, 도로 요소에 포함되는 특징 포인트 집합이 세계 좌표계에서의 세계 좌표를 통해 도로 요소가 세계 좌표계에서의 위치를 나타낼 수 있다.
예시적으로, 도 5로부터 알 수 있다시피, 동일한 도로 요소가 세계 좌표계에서의 두 가지 투영 결과(과거 호모그래피 매트릭스를 통해 투영하여 얻는 것 및 타깃 차량이 미리 제작된 지도에서의 포즈 투영을 통해 얻는 것)는 아핀 변환을 통해 전환할 수 있고, 예를 들어 L1 및 L2, M1 및 M2, H1 및 H2, W1 및 W2, 및 S1 및 S2는 동일한 도로 요소가 세계 좌표계에서의 두 가지 투영 결과를 각각 나타내며, 타깃 아핀 매트릭스는 동일한 도로 요소의 두 가지 투영 결과 사이의 전환 관계를 나타낼 수 있고, 예를 들어 도로 요소 L1이 세계 좌표계에서의 위치가 어떻게 변하는지를 나타낼 수 있으며, 도로 요소 L2가 세계 좌표계에서의 위치와 중합될 수 있고, 도로 요소의 특징 포인트가 세계 좌표계에서의 위치를 통해 상기 도로 요소가 세계 좌표계에서의 위치를 나타내는 것을 고려하면, 여기서 제1 특징 포인트 집합 및 제2 특징 포인트 집합이 세계 좌표계에서의 세계 좌표에 기반하여, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정할 수 있다.
예시적으로, 도로 이미지를 통해 추출하여 얻은 도로 요소는 복수 개를 포함할 수 있고, 미리 제작된 지도에 따라 결정된 세계 좌표계에서 도로 요소의 제2 특징 포인트 집합의 세계 좌표도 복수 개의 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 포함하기에, 타깃 아핀 매트릭스를 결정하기 전에, 먼저 각 도로 요소의 제1 특징 포인트 집합 및 각 도로 요소의 제2 특징 포인트 집합이 세계 좌표계에서의 세계 좌표에 기반하여, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합을 결정해야 한다.
예시적으로, 최근접 이웃 방법을 사용하여 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합을 결정할 수 있고, 예를 들어 방향 지시 표지와 같은 제1 타입 도로 요소를 대상으로 하여, 각 도로 요소의 중심의 세계 좌표에 따라 상기 도로 요소와 거리가 제일 가까운 도로 요소를 동일한 도로 요소로 결정할 수 있으며, 예를 들어 상기 도 5에서 방향 지시 표지 M1 및 M2는 동일한 제1 타입 도로 요소이고; 예를 들어 직선형 도로 요소와 같은 제2 타입 도로 요소를 대상으로 하여, 직선 사이 거리가 제일 가까운 두 개의 직선을 동일한 도로 요소로 사용할 수 있으며, 예를 들어 상기 도 5에서, 직선 L1 및 직선 L2는 동일한 제2 타입 도로 요소이다.
나아가, 타깃 아핀 매트릭스를 얻은 다음, 상기 타깃 아핀 매트릭스에 기반하여 과거 호모그래피 매트릭스에 대해 수정할 수 있고, 구체적으로 아래 공식 (2)를 사용하여 현재 호모그래피 매트릭스를 결정할 수 있다.
본 발명의 실시예에서, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합을 결정하는 것을 통해, 과거 호모그래피 매트릭스 및 현재 호모그래피 매트릭스 사이의 차이를 나타내기 위한 타깃 아핀 매트릭스를 얻을 수 있는 것을 제공하기에, 상기 타깃 아핀 매트릭스에 기반하여 과거 호모그래피 매트릭스에 대해 수정함으로써, 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있다.
또한, 세계 좌표계에서의 아핀 변환 업데이트에 기반하여 호모그래피 매트릭스를 간접적으로 업데이트하는 방법을 사용하여, 지난번 조절된 과거 호모그래피 매트릭스에 기반하여 편리하고 안정적으로 이에 대해 반복 업데이트를 수행함으로써, 정확도가 비교적 높은 타깃 호모그래피 매트릭스를 얻을 수 있다.
구체적으로, 도로 요소는 복수 개를 포함하고, 상기 단계 S401를 대상으로 하여, 도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정할 때, 도 6에 도시된 바와 같이, 아래 단계 S501~S503을 포함한다.
단계 S501에 있어서, 현재 아핀 매트릭스에 따라, 복수 개의 도로 요소에서의 각 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 대해 업데이트를 수행하여, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정 - 현재 아핀 매트릭스는 초기 기설정 아핀 매트릭스 또는 초기 기설정 아핀 매트릭스가 적어도 한번 조정된 아핀 매트릭스임 - 한다.
예시적으로, 초기 기설정 아핀 매트릭스는 경험에 따라 설정될 수 있고, 타깃 아핀 매트릭스를 얻을 때까지, 추가로 단계 S501~S503의 형태에 따라 상기 초기 기설정 아핀 매트릭스에 대해 조정을 수행할 수 있다.
예시적으로, 각 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 대해 업데이트를 수행할 때, 현재 아핀 매트릭스에 따라 각 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트의 세계 좌표에 대해 업데이트를 수행한 다음, 상기 제2 특징 포인트가 업데이트된 세계 좌표를 얻을 수 있다.
단계 S502에 있어서, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정한다.
예시적으로, 상이한 타입의 도로 요소를 대상으로 하여, 잔차값을 결정하는 형태는 상이하고, 윤곽에서의 포인트를 추출하여 특징 포인트의 제1 타입 도로 요소로 사용하는 것을 대상으로 하여, 두 개의 매칭되는 포인트 사이의 거리에 따라 상기 제1 타입 도로 요소의 잔차값을 결정할 수 있으며, 중심선에서의 포인트를 추출하여 특징 포인트의 제2 타입 도로 요소로 사용하는 것을 대상으로 하여, 점으로부터 선까지의 거리에 따라 상기 제2 타입 도로 요소의 잔차값을 결정할 수 있고, 구체적 과정의 상세한 내용은 아래를 설명을 참조한다.
단계 S503에 있어서, 기설정 차단 조건을 만족할 때까지, 복수 개의 도로 요소의 잔차값에 기반하여, 현재 아핀 매트릭스에 대해 조정을 수행한 다음, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표 정보를 결정하는 단계로 리턴하여, 상기 타깃 아핀 매트릭스를 얻는다.
예시적으로, 현재 아핀 매트릭스에 기반하여 복수 개의 도로 요소에서 각 도로 요소에 대응되는 잔차값을 얻은 다음, 복수 개의 도로 요소에 대응되는 잔차값의 총합을 결정할 수 있고, 다음 상기 잔차값의 총합에 따라 현재 아핀 매트릭스에 대해 조정을 수행하여, 조절된 아핀 매트릭스를 현재 아핀 매트릭스로 사용하며, 기설정 차단 조건을 만족한 다음, 타깃 아핀 매트릭스를 얻을 때까지, 단계 S501로 리턴하여 복수 개의 도로 요소에서의 각 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 대해 다시 업데이트 수행을 시작한다.
예시적으로, 기설정 차단 조건은 아래 한 가지 또는 여러 가지를 포함할 수 있다.
(1) 조절 횟수가 기설정 조절 횟수에 도달한다.
(2) 복수 개의 도로 요소의 잔차값 총합이 기설정 잔차값 임계값보다 작다.
(3) 복수 개의 도로 요소의 현재 잔차값 총합을 지난번 조절 후에 얻은 잔차값 총합에 비교한 변화량이 기설정 변화량보다 작다.
본 발명의 실시예에서, 후속적으로 정확도가 비교적 높은 타깃 아핀 매트릭스에 기반하여 정확도가 비교적 높은 현재 호모그래피 매트릭스를 얻을 수 있도록, 정확도가 비교적 높은 타깃 아핀 매트릭스를 얻을 때까지, 아핀 매트릭스에 대해 여러 차례 조정을 수행할 수 있다.
실시 형태에 있어서, 도로 요소는 예를 들어 상기 언급된 윤곽 포인트가 추출될 수 있는 방향 지시 표지, 점선 및 횡단보도와 같은 제1 타입 도로 요소를 포함하고, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 본 발명의 실시예에서 제공하는 포지셔닝 방법은,
각 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제1 특징 포인트 집합에서 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트와 매칭되는 제1 특징 포인트를 추출하는 단계를 더 포함한다.
예시적으로, 제2 특징 포인트 집합에 포함되는 제2 특징 포인트의 개수가 비교적 적을 때, 세계 좌표계에서 제1 타입 도로 요소에 포함되는 제2 특징 포인트 집합의 세계 좌표를 얻은 다음, 다시 업 샘플링된 형태에 따라 제2 특징 포인트의 수량을 증가하고, 다음 제1 특징 포인트 집합에서 각 제2 특징 포인트와 매칭되는 제1 특징 포인트를 결정할 수도 있으며, 예시적으로, ICP 알고리즘(Iterative Closest Point 반복 최근 포인트)에 따라 제1 특징 포인트 집합에서 각 제2 특징 포인트와 매칭되는 제1 특징 포인트를 결정할 수 있다.
구체적으로, 상기 단계 S502를 대상으로 하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정할 때, 아래 단계 S5021~S5022를 포함한다.
단계 S5021에 있어서, 각 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 특징 포인트와 매칭되는 제1 특징 포인트의 세계 좌표에 기반하여, 상기 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리를 결정한다.
예시적으로, 여기서 상기 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리는 유클리드 거리 계산 공식을 통해 결정될 수 있는 것을 결정한다.
단계 S5022에 있어서, 상기 제1 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리에 대해 합산을 수행하여, 상기 제1 타입 도로 요소에 대응되는 잔차값을 얻는다.
나아가, 각 제1 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리를 얻은 다음, 이러한 거리에 대해 합산을 수행하여, 상기 제1 타입 도로 요소에 대응되는 잔차값을 얻을 수 있다.
본 발명의 실시예에서, 제1 타입 도로 요소를 대상으로 하여, 후속적으로 상기 잔차값에 대해 조정을 수행하는 것을 통해 타깃 아핀 매트릭스를 결정하도록, 각 제1 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 매칭되는 제1 특징 포인트가 세계 좌표계에서의 거리를 통해, 과거 호모그래피 매트릭스를 통해 결정된 제1 타입 도로 요소의 제1 세계 좌표 및 상기 제1 타입 도로 요소의 제2 세계 좌표 사이의 잔차값을 결정할 수 있다.
가능한 실시 형태에 있어서, 도로 요소는 제2 타입 도로 요소를 더 포함하고, 예를 들어 제1 타입 도로 요소를 포함하는 외에, 상기 언급된 도로 이미지에서 윤곽 포인트가 추출될 수 없는 실선 및 정지선을 더 포함하며, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 본 발명의 실시예에서 제공하는 포지셔닝 방법은,
각 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 따라, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 피팅 직선 방정식을 결정하는 단계를 더 포함한다.
예시적으로, 제2 타입 도로 요소가 예를 들어 도 5에서 L 및 S타입의 도로 요소와 같은 중심선을 대상으로 하여 특징 포인트 추출을 수행하는 도로 요소인 것을 예로 들어, 이러한 타입 도로 요소는 도로 요소의 완전한 윤곽을 획득할 수 없고, 상기 도로 요소의 중심선에서 설정된 간격에 따라 제1 특징 포인트를 추출하여, 제1 특징 포인트 집합을 얻을 수 있으며, 과거 호모그래피 매트릭스에 기반하여, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 세계 좌표를 얻은 다음, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 따라, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합에서의 복수 개의 제1 특징 포인트에 대해 선형 피팅을 수행하여, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 피팅 직선 및 상기 피팅 직선의 피팅 직선 방정식을 얻을 수 있다.
특히, 제2 타입 도로 요소가 곡선인 경우를 대상으로 하여, 제2 타입 도로 요소의 제1 특징 포인트 집합에서의 복수 개의 제1 특징 포인트에 대해 선형 피팅을 수행할 때, 인접한 설정 개수의 제1 특징 포인트에 따라 직선 피팅을 수행하여, 복수 개의 곡률이 상이한 피팅 직선 및 각 단락 피팅 직선에 대응되는 피팅 직선 방정식을 얻을 수 있다.
구체적으로, 상기 단계 S502를 대상으로 하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정할 때, 아래 단계 S5023~S5024를 포함한다.
단계 S5023에 있어서, 각 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 방정식에 기반하여, 상기 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 결정한다.
단계 S5024에 있어서, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정한다.
예시적으로, 각 제1 도로 요소를 대상으로 하여, 점으로부터 직선까지의 거리 공식에 기반하여, 상기 제2 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 결정할 수 있고, 예를 들어 도로 이미지에는 n 개의 제2 타입 도로 요소가 포함되며, 각 제2 타입 도로 요소의 제2 특징 포인트 집합에는 m 개의 제2 특징 포인트가 포함되고, 이로써 각 제2 타입 도로 요소를 대상으로 하여, m 개의 거리를 결정할 수 있다.
나아가, 각 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 얻은 다음, 이러한 거리에 대해 합산을 수행하여, 상기 제1 타입 도로 요소에 대응되는 잔차값을 얻을 수 있다.
본 발명의 실시예에서, 제2 타입 도로 요소를 대상으로 하여, 후속적으로 상기 잔차값에 대해 조정을 수행하는 것을 통해 타깃 아핀 매트릭스를 결정하도록, 각 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트에서 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 통해, 과거 호모그래피 매트릭스를 통해 결정된 제2 타입 도로 요소의 제1 세계 좌표 및 상기 제2 타입 도로 요소의 제2 세계 좌표 사이의 잔차값을 결정할 수 있다.
예시적으로, 도로 이미지에 제1 타입 도로 요소 및 제2 타입 도로 요소가 동시에 포함되는 경우, 수집 기기에서 멀리 떨어진 영역에서의 제1 타입 도로 요소가 도로 이미지에서 포함되는 제1 특징 포인트의 수량이 비교적 적거나 제1 타입 특징 포인트를 추출할 수 없는 것, 즉 수집 기기에서 멀리 떨어진 영역에 포함되는 유효 특징 포인트의 수량이 비교적 적으므로, 제1 타입 도로 요소 및 제2 타입 도로 요소에 기반하여 과거 호모그래피 매트릭스에 대해 조정을 수행할 때, 정확도가 더욱 높은 현재 호모그래피 매트릭스를 얻기 위해, 도로 요소에 대응되는 잔차값의 총합(제1 타입 도로 요소 및 제2 타입 도로 요소의 잔차값 총합)을 결정할 때, 수집 기기와 비교적 멀리 떨어진 제2 타입 도로 요소의 제2 특징 포인트의 가중치를 높일 수 있기에, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하기 전에, 본 발명의 실시예에서 제공하는 포지셔닝 방법은,
상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트의 세계 좌표에 기반하여, 상기 제2 타입 도로 요소의 각 제2 특징 포인트에 대응되는 거리 가중치를 획득하는 단계를 더 포함한다.
예시적으로, 아래 공식 (3)을 통해 각 제2 특징 포인트에 대응되는 거리 가중치를 결정할 수 있다.
여기서, 는 k 번째 제2 특징 포인트에 대응되는 거리 가중치를 나타내고; 는 세계 좌표계의 k 번째 제2 특징 포인트 에서 세계 좌표계 원점까지의 유클리드 거리이며; 는 기설정 거리를 나타낸다.
구체적으로, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정할 때,
상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트에 대응되는 거리 가중치에 기반하여, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 대해 가중 합산을 수행하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 얻는 단계를 포함한다.
예시적으로, 상기 공식 (3)에 따라 각 제2 특징 포인트에 대응되는 거리 가중치를 결정할 수 있고, 이로써 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정할 때, 상기 제1 도로 요소에 포함되는 각 제2 특징 포인트에 대응되는 거리 가중치를 통해, 상기 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 대해 가중 합산을 수행함으로써, 잔차값으로 하여금 더욱 정확하도록 할 수 있다.
본 발명의 실시예에서, 도로 요소에 제1 타입 도로 요소 및 제2 타입 도로 요소가 동시에 포함될 때, 타깃 차량에서 멀리 떨어진 영역의 제1 타입 도로 요소에 포함되는 유효 특징 포인트의 수량이 비교적 적은 것을 고려하면, 제2 타입 도로 요소가 수집 기기로부터 상이한 위치에 있는 제2 특징 포인트에 대응되는 거리 가중치를 조정하여, 타깃 차량에서 멀고 가까운 영역에 포함되는 유효 특징 포인트의 균형을 맞춤으로써, 얻은 현재 호모그래피 매트릭스로 하여금 타깃 차량과의 거리가 상이한 영역의 도로 및 대응되는 이미지 사이의 전환 관계를 가늠할 때 모두 비교적 높은 로버스트 및 정밀도를 구비할 수 있도록 한다.
상술한 바를 종합하면, 도로 이미지에 복수 개의 제1 타입 도로 요소 및 복수 개의 제2 타입 도로 요소가 동시에 포함될 때, 아래 공식 (4)를 통해 타깃 아핀 매트릭스를 결정할 수 있다.
여기서, E는 복수 개의 도로 요소의 잔차값 총합을 나타내고; Q는 도로 이미지에 포함되는 제2 타입 도로 요소의 총 수를 나타내며; i는 i 번째 제2 타입 도로 요소를 나타내고; k는 i 번째 제2 타입 도로 요소에서의 k 번째 제2 특징 포인트를 나타내며; 는 i 번째 제2 타입 도로 요소의 k 번째 제2 특징 포인트가 세계 좌표계에서의 세계 좌표를 나타내고; A는 현재 아핀 매트릭스를 나타내며; 는 i 번째 제2 타입 도로 요소에 대응되는 피팅 직선을 나타내고; 는 현재 아핀 매트릭스에 기반하여 i 번째 제2 타입 도로 요소의 k 번째 제2 특징 포인트의 세계 좌표에 업데이트를 수행한 다음 얻은 업데이트된 세계 좌표를 나타내며; 는 i 번째 제2 타입 도로 요소의 k 번째 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 i 번째 제2 타입 도로 요소에 대응되는 피팅 직선 방정식에 기반하여, 결정된 i 번째 제2 타입 도로 요소의 k 번째 제2 특징 포인트 및 i 번째 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 나타낸다.
여기서, P는 도로 이미지에 포함되는 제1 타입 도로 요소의 총 수를 나타내고; j는 j 번째 제1 타입 도로 요소를 나타내며; 는 j 번째 제1 타입 도로 요소에서의 j 번째 제2 특징 포인트가 세계 좌표계에서의 세계 좌표를 나타내고; 는 j 번째 제1 타입 도로 요소의 j 번째 제2 특징 포인트와 매칭되는 제1 특징 포인트가 세계 좌표계에서의 세계 좌표를 나타내며; 는 현재 아핀 매트릭스에 기반하여 j 번째 제1 타입 도로 요소의 k 번째 제2 특징 포인트의 세계 좌표에 대해 업데이트를 수행하여 얻은 업데이트된 세계 좌표를 나타내고; 는 j 번째 제1 타입 도로 요소의 k 번째 제2 특징 포인트가 업데이트된 세계 좌표 및 매칭되는 제1 특징 포인트의 세계 좌표에 기반하여, j 번째 제1 타입 도로 요소의 k 번째 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리를 결정하는 것을 나타낸다.
본 분야의 기술자는 구체적인 실시 형태의 상기 포지셔닝 방법에 있어서, 각 단계의 기록 순서는 엄격한 수행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내부 논리에 의해 결정되는 것을 이해할 수 있다.
동일한 기술 구상에 기반하여, 본 발명의 실시예에서는 포지셔닝 방법과 대응되는 포지셔닝 장치를 더 제공하고, 본 발명의 실시예에서의 장치가 문제를 해결하는 원리는 본 발명의 실시예의 상기 포지셔닝 방법과 유사하기에, 장치의 실시는 방법의 실시를 참조할 수 있고, 중복되는 부분은 더 이상 반복하여 설명하지 않는다.
도 7에 도시된 바를 참조하면, 본 발명의 실시예에서 제공하는 포지셔닝 장치(600)의 예시도이고, 상기 포지셔닝 장치(600)는,
타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 위한 획득 모듈(601);
현재 도로 이미지에 기반하여, 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하기 위한 제1 결정 모듈(602);
미리 제작된 지도에 기반하여, 도로 요소의 제2 세계 좌표를 결정하기 위한 제2 결정 모듈(603); 및
도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 타깃 차량에 의해 수집된 타깃 이미지 중 타깃 대상의 타깃 세계 좌표를 결정하기 위한 제3 결정 모듈(604)을 포함한다.
가능한 실시 형태에 있어서, 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 전에, 획득 모듈(601)은 또한,
타깃 차량의 보정 버튼을 대상으로 하는 트리거 동작에 응답하거나 타깃 차량에 대해 보정을 수행하는 보정 명령어가 수신되기 위한 것이다.
가능한 실시 형태에 있어서, 제1 결정 모듈(602)은 현재 도로 이미지에 기반하여, 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하기 위한 것일 때,
현재 도로 이미지에서의 도로 요소의 픽셀 좌표를 획득하는 것; 및
도로 요소의 픽셀 좌표 및 미리 결정된 수집 기기의 과거 호모그래피 매트릭스에 기반하여, 도로 요소의 제1 세계 좌표를 결정하는 것을 포함한다.
가능한 실시 형태에 있어서, 제1 결정 모듈(602)은 현재 도로 이미지에서의 도로 요소의 픽셀 좌표를 획득하기 위한 것일 때,
현재 도로 이미지에 대해 시맨틱 분할을 수행하여, 현재 도로 이미지에 포함되는 적어도 하나의 도로 요소 및 각 도로 요소의 도로 요소 카테고리를 얻는 것;
각 도로 요소의 도로 요소 카테고리에 따라, 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출하는 것; 및
제1 특징 포인트 집합의 픽셀 좌표를 제1 특징 포인트 집합에 대응되는 도로 요소의 픽셀 좌표로 사용하는 것을 포함한다.
가능한 실시 형태에 있어서, 제1 결정 모듈(602)은 각 도로 요소의 도로 요소 카테고리에 따라, 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출하기 위한 것일 때,
상기 도로 요소가 제1 타입 도로 요소인 경우, 상기 도로 요소의 윤곽에서 복수 개의 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는 것;
상기 도로 요소가 제2 타입 도로 요소인 경우, 상기 도로 요소의 중심선에서 설정된 거리 간격에 따라 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는 것; 및
현재 도로 이미지에 대응되는 픽셀 좌표계에서, 제1 특징 포인트 집합에서의 각 제1 특징 포인트의 픽셀 좌표를 획득하는 것을 포함한다.
가능한 실시 형태에 있어서, 제3 결정 모듈(603)은 미리 제작된 지도에 기반하여, 도로 요소의 제2 세계 좌표를 결정하기 위한 것일 때,
미리 저장된 도로 요소의 제2 특징 포인트 집합이 미리 제작된 지도에서의 지도 위치 정보를 획득하는 것;
도로 요소의 제2 특징 포인트 집합의 지도 위치 정보 및 타깃 차량이 미리 제작된 지도에서 나타내는 도로 시나리오에서의 포즈 데이터에 기반하여, 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 결정하는 것; 및
제2 특징 포인트 집합의 세계 좌표를 제2 특징 포인트 집합에 대응되는 도로 요소의 제2 세계 좌표로 사용하는 것을 포함한다.
가능한 실시 형태에 있어서, 제3 결정 모듈(604)은 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하기 위한 것일 때,
도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 타깃 차량의 현재 호모그래피 매트릭스를 얻는 것;
타깃 이미지에 기반하여, 타깃 대상이 타깃 이미지에서의 픽셀 좌표를 결정하는 것; 및
타깃 대상의 픽셀 좌표 및 현재 호모그래피 매트릭스에 기반하여, 타깃 대상의 타깃 세계 좌표를 결정하는 것을 포함한다.
가능한 실시 형태에 있어서, 타깃 대상의 타깃 세계 좌표를 결정한 다음, 제3 결정 모듈(604)은 또한,
타깃 대상의 타깃 세계 좌표 및 기설정 위치 포인트의 위치 정보에 기반하여, 타깃 대상과 기설정 위치 포인트 사이의 거리를 결정하기 위한 것이다.
가능한 실시 형태에 있어서, 제3 결정 모듈(604)은 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 타깃 차량의 현재 호모그래피 매트릭스를 얻기 위한 것일 때,
도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하는 것; 및
타깃 아핀 매트릭스에 기반하여, 과거 호모그래피 매트릭스에 대해 수정하여, 타깃 차량의 현재 호모그래피 매트릭스를 얻는 것을 포함한다.
가능한 실시 형태에 있어서, 도로 요소는 복수 개를 포함하고, 제3 결정 모듈(604)은 도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 위한 것일 때,
현재 아핀 매트릭스에 따라, 복수 개의 도로 요소에서의 각 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 대해 업데이트를 수행하여, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정 - 현재 아핀 매트릭스는 초기 기설정 아핀 매트릭스 또는 초기 기설정 아핀 매트릭스가 적어도 한번 조정된 아핀 매트릭스임 - 하는 것;
상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 것; 및
기설정 차단 조건을 만족할 때까지, 복수 개의 도로 요소의 잔차값에 기반하여, 현재 아핀 매트릭스에 대해 조정을 수행한 다음, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정하는 단계로 리턴하여, 상기 타깃 아핀 매트릭스를 얻는 것을 포함한다.
가능한 실시 형태에 있어서, 도로 요소는 제1 타입 도로 요소를 포함하고, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 제3 결정 모듈(604)은 또한,
각 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제1 특징 포인트 집합에서 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트와 매칭되는 제1 특징 포인트를 추출하기 위한 것이다.
제3 결정 모듈(604)은 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하기 위한 것일 때,
각 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 특징 포인트와 매칭되는 제1 특징 포인트의 세계 좌표에 기반하여, 상기 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리를 결정하는 것; 및
상기 제1 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리에 대해 합산을 수행하여, 상기 제1 타입 도로 요소에 대응되는 잔차값을 얻는 것을 포함한다.
가능한 실시 형태에 있어서, 도로 요소는 제2 타입 도로 요소를 더 포함하고, 동일한 도로 요소의 제1 특징 포인트 집합 및 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 제3 결정 모듈(604)은 또한,
각 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 따라, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 피팅 직선 방정식을 결정하기 위한 것이고;
제3 결정 모듈(604)은 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하기 위한 것일 때,
각 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제2 특징 포인트 집합에서의 각 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 방정식에 기반하여, 상기 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 결정하는 것; 및
상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하는 것을 포함한다.
가능한 실시 형태에 있어서, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하기 전에, 제3 결정 모듈(604)은 또한,
상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트의 세계 좌표에 기반하여, 상기 제2 타입 도로 요소의 각 제2 특징 포인트에 대응되는 거리 가중치를 획득하기 위한 것이고;
제3 결정 모듈(604)은 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하기 위한 것일 때,
상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트에 대응되는 거리 가중치에 기반하여, 상기 제2 타입 도로 요소에 포함되는 각 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 대해 가중 합산을 수행하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 얻는 것을 포함한다.
장치에서의 각 모듈의 처리 흐름 및 각 모듈 사이의 인터랙션 흐름의 설명은 상기 방법 실시예에서의 관련 설명을 참조할 수 있고, 여기서 더 이상 상세하게 설명하지 않는다.
도 1에서의 포지셔닝 방법에 대응하여, 본 발명의 실시예는 전자 기기(700)를 더 제공하고, 도 8에 도시된 바와 같이, 본 발명의 실시예에서 제공하는 전자 기기(700)의 구조 예시도이며, 상기 전자 기기(700)는,
프로세서(71), 메모리(72) 및 버스(73)를 포함하고; 메모리(72)는 실행 명령어를 저장하기 위한 것이며, 내부 메모리(721) 및 외부 메모리(722)를 포함하고; 여기서 내부 메모리(721)는 내장 메모리로도 지칭되며, 프로세서(71)에서의 연산 데이터 및 하드 디스크 등 외부 메모리(722)와 교환된 데이터를 잠시적으로 저장하기 위한 것이고, 프로세서(71)는 내부 메모리(721)와 외부 메모리(722)를 통해 데이터 교환을 수행하며, 전자 기기(700)가 작동될 때, 프로세서(71)와 메모리(72) 사이에는 버스(73)를 통해 통신되고, 프로세서(71)로 하여금 타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하고; 현재 도로 이미지에 기반하여, 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하며; 미리 제작된 지도에 기반하여, 도로 요소의 제2 세계 좌표를 결정하고; 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하도록 한다.
본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 상기 방법 실시예에서 포지셔닝 방법의 단계를 실행한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성의 컴퓨터 판독 가능 저장 매체일 수 있다.
본 발명의 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램 제품에는 프로그램 코드가 반송되며, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 포지셔닝 방법의 단계를 실행하기 위한 것이고, 구체적으로 상기 방법 실시예를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.
여기서, 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들이 결합되는 형태를 통해 구현될 수 있다. 선택적인 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 체현되고, 다른 선택적인 실시예에 있어서, 컴퓨터 프로그램 제품은 예를 들어 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 체현된다.
해당 분야의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템 및 장치의 구체적인 작업 과정은, 전술된 방법 실시예에서의 대응되는 과정을 참조할 수 있음을 명확하게 이해할 수 있고, 여기서 더 이상 반복하여 설명하지 않는다. 본 발명에서 제공하는 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 형태로 구현될 수 있음을 이해해야 한다. 위에서 설명한 장치 실시예는 다만 예시적일 뿐이고, 예를 들어, 상기 유닛의 분할은 다만 논리적 기능 분할이며, 실제로 사실상 구현될 때에는 다른 분할 형태가 있을 수 있고, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합 또는 통합될 수 있거나 또는 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 표시되거나 논의된 상호 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 통신 인터페이스, 장치 또는 유닛을 통한 간접 커플링 또는 통신 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은 물리적으로 분리되거나, 분리되지 않을 수도 있고, 유닛으로서 게시된 부재는 물리적 유닛일 수도, 아닐 수도 있으며, 즉 한곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 단독 물리적으로 존재할 수도 있으며, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다.
상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되고 또한 단독적인 제품으로 판매되거나 사용될 경우, 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안은 본질적으로 또는 기존 기술에 대해 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 반영될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하도록 하기 위한 몇 개의 명령어를 포함한다. 전술된 저장 매체는 USB 메모리, 외장 하드, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로 설명할 것은, 이상의 상기 실시예는, 다만 본 발명의 구체적인 실시 방식이고, 본 발명의 기술적 해결 수단을 설명하기 위한 것일 뿐이며, 이를 한정하는 것은 아니고, 본 발명의 보호 범위는 이에 한정되지 않으며, 전술한 실시예를 참조하여 본 발명에 대해 상세한 설명을 진행하였으나, 본 분야의 통상의 기술자는, 본 기술 분야에 익숙한 기술자라면 본 발명에서 개시된 기술적 범위 내에서, 전술한 실시예에 기재된 기술 방안에 대해 여전히 수정할 수 있거나 변화 또는 일부 기술 특징에 대해 동등한 교체를 진행할 수 있음을 쉽게 생각할 수 있고; 이러한 수정, 변화 또는 교체는, 상응한 기술 방안의 본질이 본 발명의 실시예의 기술 방안의 사상 및 범위를 벗어나지 않으며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 발명의 보호 범위는 상기 청구 범위의 보호 범위를 기준으로 해야 한다.
Claims (17)
- 포지셔닝 방법으로서,
타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하는 단계;
상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하는 단계;
상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하는 단계; 및
상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제1항에 있어서,
타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 전에, 상기 포지셔닝 방법은,
타깃 차량의 보정 버튼을 대상으로 하는 트리거 동작에 응답하거나 타깃 차량에 대해 보정을 수행하는 보정 명령어가 수신되는 단계를 더 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제1항 또는 제2항에 있어서,
상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하는 단계는,
상기 현재 도로 이미지에서의 상기 도로 요소의 픽셀 좌표를 획득하는 단계; 및
상기 도로 요소의 픽셀 좌표 및 미리 결정된 상기 수집 기기의 과거 호모그래피 매트릭스에 기반하여, 상기 도로 요소의 제1 세계 좌표를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제3항에 있어서,
상기 현재 도로 이미지에서의 상기 도로 요소의 픽셀 좌표를 획득하는 단계는,
상기 현재 도로 이미지에 대해 시맨틱 분할을 수행하여, 상기 현재 도로 이미지에 포함되는 적어도 하나의 도로 요소 및 적어도 하나의 도로 요소의 도로 요소 카테고리를 얻는 단계;
어느 한 도로 요소를 대상으로 하여, 상기 도로 요소의 도로 요소 카테고리에 따라, 상기 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출하는 단계; 및
상기 제1 특징 포인트 집합의 픽셀 좌표를 상기 제1 특징 포인트 집합에 대응되는 도로 요소의 픽셀 좌표로 사용하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제4항에 있어서,
상기 어느 한 도로 요소를 대상으로 하여, 상기 도로 요소의 도로 요소 카테고리에 따라, 상기 현재 도로 이미지에서 상기 도로 요소에 포함되는 제1 특징 포인트 집합의 픽셀 좌표를 추출하는 단계는,
상기 도로 요소가 제1 타입 도로 요소인 경우, 상기 도로 요소의 윤곽에서 복수 개의 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는 단계;
상기 도로 요소가 제2 타입 도로 요소인 경우, 상기 도로 요소의 중심선에서 설정된 거리 간격에 따라 제1 특징 포인트를 추출하여, 상기 도로 요소의 제1 특징 포인트 집합을 얻는 단계; 및
상기 현재 도로 이미지에 대응되는 픽셀 좌표계에서, 상기 제1 특징 포인트 집합에서의 적어도 하나의 제1 특징 포인트의 픽셀 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제1항에 있어서,
상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하는 단계는,
미리 저장된 상기 도로 요소의 제2 특징 포인트 집합이 상기 미리 제작된 지도에서의 지도 위치 정보를 획득하는 단계;
상기 도로 요소의 제2 특징 포인트 집합의 지도 위치 정보 및 상기 타깃 차량이 상기 미리 제작된 지도에서 나타내는 도로 시나리오에서의 포즈 데이터에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합의 세계 좌표를 결정하는 단계; 및
상기 제2 특징 포인트 집합의 세계 좌표를 상기 제2 특징 포인트 집합에 대응되는 도로 요소의 제2 세계 좌표로 사용하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제3항에 있어서,
상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지에서의 타깃 대상의 타깃 세계 좌표를 결정하는 단계는,
상기 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 상기 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 상기 타깃 차량의 현재 호모그래피 매트릭스를 얻는 단계;
상기 타깃 이미지에 기반하여, 상기 타깃 대상이 상기 타깃 이미지에서의 픽셀 좌표를 결정하는 단계; 및
상기 타깃 대상의 픽셀 좌표 및 상기 현재 호모그래피 매트릭스에 기반하여, 상기 타깃 대상의 타깃 세계 좌표를 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제1항에 있어서,
상기 타깃 대상의 타깃 세계 좌표를 결정한 다음, 상기 포지셔닝 방법은,
상기 타깃 대상의 타깃 세계 좌표 및 기설정 위치 포인트의 위치 정보에 기반하여, 상기 타깃 대상과 상기 기설정 위치 포인트 사이의 거리를 결정하는 단계를 더 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제7항에 있어서,
상기 도로 요소의 제1 세계 좌표 및 제2 세계 좌표에 기반하여, 상기 과거 호모그래피 매트릭스에 대해 조정을 수행함으로써, 상기 타깃 차량의 현재 호모그래피 매트릭스를 얻는 단계는,
상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 상기 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하는 단계; 및
상기 타깃 아핀 매트릭스에 기반하여, 상기 과거 호모그래피 매트릭스에 대해 수정하여, 상기 타깃 차량의 현재 호모그래피 매트릭스를 얻는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제9항에 있어서,
상기 도로 요소는 복수 개를 포함하고, 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표 및 상기 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 기반하여, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하는 단계는,
현재 아핀 매트릭스에 따라, 복수 개의 도로 요소에서의 어느 한 도로 요소의 제2 특징 포인트 집합의 세계 좌표에 대해 업데이트를 수행하여, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정하는 단계 - 상기 현재 아핀 매트릭스는 초기 기설정 아핀 매트릭스 또는 상기 초기 기설정 아핀 매트릭스가 적어도 한번 조정된 아핀 매트릭스임 - ;
상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 단계; 및
기설정 차단 조건을 만족할 때까지, 상기 복수 개의 도로 요소의 잔차값에 기반하여, 상기 현재 아핀 매트릭스에 대해 조정을 수행한 다음, 상기 도로 요소의 제2 특징 포인트 집합의 업데이트된 세계 좌표를 결정하는 단계로 리턴하여, 상기 타깃 아핀 매트릭스를 얻는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제10항에 있어서,
상기 도로 요소는 제1 타입 도로 요소를 포함하고, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 상기 포지셔닝 방법은,
어느 한 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제1 특징 포인트 집합에서 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 어느 한 제2 특징 포인트와 매칭되는 제1 특징 포인트를 추출하는 단계를 더 포함하고;
상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 단계는,
어느 한 제1 타입 도로 요소를 대상으로 하여, 상기 제1 타입 도로 요소의 제2 특징 포인트 집합에서의 어느 한 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 특징 포인트와 매칭되는 제1 특징 포인트의 세계 좌표에 기반하여, 상기 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리를 결정하는 단계; 및
상기 제1 타입 도로 요소에 포함되는 적어도 하나의 제2 특징 포인트 및 매칭되는 제1 특징 포인트 사이의 거리에 대해 합산을 수행하여, 상기 제1 타입 도로 요소에 대응되는 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제11항에 있어서,
상기 도로 요소는 제2 타입 도로 요소를 더 포함하고, 동일한 도로 요소의 상기 제1 특징 포인트 집합 및 상기 제2 특징 포인트 집합 사이의 타깃 아핀 매트릭스를 결정하기 전에, 상기 포지셔닝 방법은,
어느 한 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 따라, 상기 제2 타입 도로 요소의 제1 특징 포인트 집합의 피팅 직선 방정식을 결정하는 단계를 더 포함하고;
상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 상기 도로 요소의 제1 특징 포인트 집합의 세계 좌표에 기반하여, 상기 도로 요소의 제2 특징 포인트 집합이 업데이트된 세계 좌표 및 제1 특징 포인트 집합의 세계 좌표 사이의 잔차값을 결정하는 단계는,
어느 한 제2 타입 도로 요소를 대상으로 하여, 상기 제2 타입 도로 요소의 제2 특징 포인트 집합에서의 어느 한 제2 특징 포인트가 업데이트된 세계 좌표 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 방정식에 기반하여, 상기 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리를 결정하는 단계; 및
상기 제2 타입 도로 요소에 포함되는 적어도 하나의 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 제12항에 있어서,
상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하기 전에, 상기 포지셔닝 방법은,
상기 제2 타입 도로 요소에 포함되는 적어도 하나의 제2 특징 포인트의 세계 좌표에 기반하여, 상기 제2 타입 도로 요소의 적어도 하나의 제2 특징 포인트에 대응되는 거리 가중치를 획득하는 단계를 더 포함하고;
상기 제2 타입 도로 요소에 포함되는 적어도 하나의 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 기반하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 결정하는 단계는,
상기 제2 타입 도로 요소에 포함되는 적어도 하나의 제2 특징 포인트에 대응되는 거리 가중치에 기반하여, 상기 제2 타입 도로 요소에 포함되는 적어도 하나의 제2 특징 포인트 및 상기 제2 타입 도로 요소에 대응되는 피팅 직선 사이의 거리에 대해 가중 합산을 수행하여, 상기 제2 타입 도로 요소에 대응되는 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법. - 포지셔닝 장치로서,
타깃 차량에 의해 수집된 현재 도로 이미지 및 타깃 차량 현재 위치의 미리 제작된 지도를 획득하기 위한 획득 모듈;
상기 현재 도로 이미지에 기반하여, 상기 현재 도로 이미지에서의 도로 요소의 제1 세계 좌표를 결정하기 위한 제1 결정 모듈;
상기 미리 제작된 지도에 기반하여, 상기 도로 요소의 제2 세계 좌표를 결정하기 위한 제2 결정 모듈; 및
상기 도로 요소의 제1 세계 좌표, 제2 세계 좌표에 따라, 상기 타깃 차량에 의해 수집된 타깃 이미지 중 타깃 대상의 타깃 세계 좌표를 결정하기 위한 제3 결정 모듈을 포함하는 것을 특징으로 하는 포지셔닝 장치. - 전자 기기로서,
프로세서, 메모리 및 버스를 포함하고, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능 명령어가 저장되어 있으며, 전자 기기가 작동될 때, 상기 프로세서와 상기 메모리 사이에는 버스를 통해 통신되고, 상기 기계 판독 가능 명령어가 상기 프로세서에 의해 실행될 때 제1항 내지 제13항 중 어느 한 항에 따른 포지셔닝 방법의 단계를 실행하는 것을 특징으로 하는 전자 기기. - 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 제1항 내지 제13항 중 어느 한 항에 따른 포지셔닝 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체. - 컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서가 제1항 내지 제13항 중 어느 한 항에 따른 포지셔닝 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 프로그램.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110295186.8 | 2021-03-19 | ||
CN202110295186.8A CN113052904B (zh) | 2021-03-19 | 2021-03-19 | 一种定位方法、装置、电子设备及存储介质 |
PCT/CN2021/098697 WO2022193448A1 (zh) | 2021-03-19 | 2021-06-07 | 一种定位方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220131378A true KR20220131378A (ko) | 2022-09-27 |
Family
ID=76513561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227021876A KR20220131378A (ko) | 2021-03-19 | 2021-06-07 | 포지셔닝 방법, 장치, 전자 기기 및 저장 매체 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR20220131378A (ko) |
CN (1) | CN113052904B (ko) |
WO (1) | WO2022193448A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704046B (zh) * | 2023-08-01 | 2023-11-10 | 北京积加科技有限公司 | 一种跨镜图像匹配方法及装置 |
CN118050010B (zh) * | 2024-04-15 | 2024-06-18 | 小米汽车科技有限公司 | 车辆的定位方法、装置、车辆、存储介质和程序产品 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120072020A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 자율주행 시스템의 주행정보 인식 방법 및 장치 |
JP6581359B2 (ja) * | 2015-01-07 | 2019-09-25 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ |
CN108805934B (zh) * | 2017-04-28 | 2021-12-28 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
CN108303721B (zh) * | 2018-02-12 | 2020-04-03 | 北京经纬恒润科技有限公司 | 一种车辆定位方法及系统 |
KR102541561B1 (ko) * | 2018-02-12 | 2023-06-08 | 삼성전자주식회사 | 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들 |
CN110567469B (zh) * | 2018-06-05 | 2021-07-20 | 北京市商汤科技开发有限公司 | 视觉定位方法、装置、电子设备及系统 |
CN113486796B (zh) * | 2018-09-07 | 2023-09-05 | 百度在线网络技术(北京)有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
CN111341097B (zh) * | 2020-02-13 | 2022-05-20 | 中交第一公路勘察设计研究院有限公司 | 一种基于无人机视频的交通数据采集方法 |
CN111524185A (zh) * | 2020-04-21 | 2020-08-11 | 上海商汤临港智能科技有限公司 | 定位方法及装置、电子设备和存储介质 |
CN111582079A (zh) * | 2020-04-24 | 2020-08-25 | 杭州鸿泉物联网技术股份有限公司 | 基于计算机视觉的车道定位方法及装置 |
CN112419423A (zh) * | 2020-10-30 | 2021-02-26 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN112489136B (zh) * | 2020-11-30 | 2024-04-16 | 商汤集团有限公司 | 标定方法、位置确定方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-19 CN CN202110295186.8A patent/CN113052904B/zh active Active
- 2021-06-07 WO PCT/CN2021/098697 patent/WO2022193448A1/zh active Application Filing
- 2021-06-07 KR KR1020227021876A patent/KR20220131378A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
CN113052904B (zh) | 2022-12-13 |
CN113052904A (zh) | 2021-06-29 |
WO2022193448A1 (zh) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11530924B2 (en) | Apparatus and method for updating high definition map for autonomous driving | |
EP4033324B1 (en) | Obstacle information sensing method and device for mobile robot | |
US20210358153A1 (en) | Detection methods, detection apparatuses, electronic devices and storage media | |
CN113903011B (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
US20210229280A1 (en) | Positioning method and device, path determination method and device, robot and storage medium | |
CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
WO2021056341A1 (zh) | 车道线融合方法、车道线融合装置、车辆和存储介质 | |
CN110501036A (zh) | 传感器参数的标定检查方法及装置 | |
KR20200060194A (ko) | 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치 | |
KR20200046437A (ko) | 영상 및 맵 데이터 기반 측위 방법 및 장치 | |
KR20220131378A (ko) | 포지셔닝 방법, 장치, 전자 기기 및 저장 매체 | |
CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
CN112805766B (zh) | 用于更新详细地图的装置和方法 | |
CN110667474B (zh) | 通用障碍物检测方法、装置与自动驾驶系统 | |
CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
US11373328B2 (en) | Method, device and storage medium for positioning object | |
WO2019073024A1 (en) | WAY DETECTION METHOD | |
CN112912894A (zh) | 道路边界识别方法和装置 | |
CN111784798B (zh) | 地图生成方法、装置、电子设备和存储介质 | |
CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
CN114757824A (zh) | 图像拼接的方法、装置、设备以及存储介质 | |
CN114463717A (zh) | 一种障碍物位置判断方法、系统、电子设备及存储介质 | |
JP7444141B2 (ja) | 処理システム、処理装置、処理方法、処理プログラム | |
CN115205828B (zh) | 一种车辆定位方法、装置、整车控制器及可读存储介质 | |
US20230025579A1 (en) | High-definition mapping |