KR102524988B1 - 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체 - Google Patents

모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체 Download PDF

Info

Publication number
KR102524988B1
KR102524988B1 KR1020210026283A KR20210026283A KR102524988B1 KR 102524988 B1 KR102524988 B1 KR 102524988B1 KR 1020210026283 A KR1020210026283 A KR 1020210026283A KR 20210026283 A KR20210026283 A KR 20210026283A KR 102524988 B1 KR102524988 B1 KR 102524988B1
Authority
KR
South Korea
Prior art keywords
feature points
road section
target road
modeling
modeling route
Prior art date
Application number
KR1020210026283A
Other languages
English (en)
Other versions
KR20210038451A (ko
Inventor
용샨 옌
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20210038451A publication Critical patent/KR20210038451A/ko
Application granted granted Critical
Publication of KR102524988B1 publication Critical patent/KR102524988B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

본 출원은 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체를 개시하고, 컴퓨터 비젼, 스마트 교통 기술 분야에 관한 것이다. 본 출원의 방법의 구체적인 구현 방안은, 목표 도로 구간의 필터링 임계값을 획득하고; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되고; 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득한다. 본 출원은 직접 필터링 임계값을 이용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킨다.

Description

모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체 {VERIFICATION METHOD AND DEVICE FOR MODELING ROUTE, UNMANNED VEHICLE, AND STORAGE MEDIUM}
본 출원은 데이터 처리 기술 분야 중의 컴퓨터 비젼, 스마트 교통 기술에 관한 것이며, 특히 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체에 관한 것이다.
자동차 기술이 발전함에 따라 스마트카는 자체로 수집한 이미지를 바탕으로 3 차원 지도를 만들 수 있다.
종래 기술에서는 차량 측에서 노선 모델링을 완료한 후 모델링을 통해 얻은 노선의 사용 가능성도 검증할 필요가 있다. 검증 방식은 일반적으로 모델링 노선에 따라 차량이 실제 주행한 후 해당 노선이 사용 가능한지 여부를 판단하는 것이다.
그러나, 위의 검증 방법은 비효율적이며 노선이 사용 가능하지 않을 경우 운전자에게 불편을 일으킬 수 있다.
본 출원은 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체를 제공한다.
제1 측면에서, 본 출원의 실시예는 모델링 노선의 검증 방법을 제공하며, 방법은,
목표 도로 구간의 필터링 임계값을 획득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되는 단계;
필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득하는 단계를 포함한다.
본 실시예는, 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 직접적으로 검증하기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
제2 측면에서, 본 출원의 실시예는 모델링 노선의 검증 장치를 제공하며, 장치는,
목표 도로 구간의 필터링 임계값을 획득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되는 획득 모듈;
필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득하기 위한 검증 모델을 포함한다.
본 실시예는, 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
제3 측면에서, 본 출원은, 프로세서와 메모리를 포함하되; 메모리에는 프로세서에 의해 실행 가능한 명령이 저장되고; 여기서, 프로세서는 실행 가능한 명령을 실행하여 제1 측면 중 임의의 한 항에 따른 모델링 노선의 검증 방법을 실행하도록 구성된 무인 자동차를 제공한다.
제4 측면에서, 본 출원은, 컴퓨터 프로그램이 저장되고, 해당 프로그램이 프로세서에 의해 실행될 때 제1 측면 중 임의의 한 항의 모델링 노선의 검증 방법을 구현하는 컴퓨터 판독 가능 저장매체를 제공한다.
제5 측면에서, 본 출원의 실시예는 프로그램 제품을 제공하며, 프로그램 제품은 컴퓨터 프로그램을 포함하고, 컴퓨터 프로그램은 판독 가능 저장매체에 저장되고, 서버의 적어도 하나의 프로세서는 판독 가능 저장매체로부터 컴퓨터 프로그램을 판독하여, 적어도 하나의 프로세서에 의해 컴퓨터 프로그램이 실행되어 서버가 제1 측면 중 임의의 한 항의 모델링 노선의 검증 방법을 실행하도록 한다.
제6 측면에서, 본 출원의 모델링 노선의 검증 방법을 제공하며, 방법은,
목표 도로 구간의 필터링 임계값을 획득하는 단계;
필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득하는 단계를 포함한다.
제7 측면에서, 본 출원의 실시예는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 전자기기의 적어도 하나의 프로세서는 판독 가능 저장매체로부터 컴퓨터 프로그램을 판독하여, 상기 적어도 하나의 프로세서에 의해 상기 컴퓨터 프로그램이 실행되어 상기 전자기기가 제1 측면 중 임의의 한 항의 모델링 노선의 검증 방법을 실행하도록 한다.
본 실시예는, 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
첨부된 도면은 본 해결수단에 대한 더 충분한 이해를 돕기 위한 것으로서, 본 출원에 대해 한정하지 않는다. 여기서,
도 1은 본 출원의 실시예의 응용 시나리오 도면이다
도 2는 본 출원의 제1 실시예의 도면이다
도 3은 본 출원의 제2 실시예의 도면이다
도 4는 본 출원의 제3 실시예의 도면이다
도 5는 본 출원의 제4 실시예의 도면이다
도 6은 본 출원의 실시예의 무인 자동차를 구현하기 위한 블록도이다.
아래에서는 첨부 도면을 결합하여 본 출원의 예시적 실시예에 대해 설명한다. 여기서 본 출원의 실시예의 다양한 세부내역을 포함하여 쉽게 이해할 수 있도록 한다. 이들은 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는, 여기에 기재된 실시예에 대해 다양한 변형 및 수정을 가할 수 있으며, 본 출원의 범위와 정신을 벗어나지 않는 것으로 간주하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 기재에서 공지 기능과 구조에 대한 설명을 생략한다.
본 출원의 명세서와 청구범위 및 상술한 도면 중 용어 "제1", "제2", "제3", "제4" 등(만약 존재한다면)은 유사한 대상을 구분하기 위한 것으로서, 특정 순서 또는 선후 순서를 기재할 필요는 없다. 여기에 기재되는 본 출원의 실시예가 예를 들어 여기에 도시 또는 기재된 것 이외의 기타 순서로 실시될 수도 있도록, 이렇게 사용되는 데이터는 적합한 경우에 서로 호환될 수 있는 것으로 이해되어야 한다. 한편, 용어 "포함"과 "구비" 및 이들의 임의의 변형은, 비배타적인 포함을 커버하기 위한 것으로서, 예를 들어, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 기기는 명확히 나열된 단계 또는 유닛에 한정될 필요가 없으며, 오히려 명확하게 나열되지 않은 것이거나, 이러한 과정, 방법, 제품 또는 기기의 고유한 기타 단계 또는 유닛을 포함할 수 있다.
아래에는 구체적인 실시예를 들어 본 출원의 기술 방안에 대해 상세하게 설명한다. 아래의 몇개의 구체 실시예는 서로 결합할 수 있으며, 동일하거나 유사한 개념 또는 과정에 대해 일부 실시예에서는 중복 설명하지 않을 수 있다.
자동차 기술이 발전함에 따라 스마트카는 자체로 수집한 이미지를 바탕으로 3 차원 지도를 만들 수 있다. 종래 기술에서는 차량 측에서 노선 모델링을 완료한 후 모델링을 통해 얻은 노선의 사용 가능성도 검증할 필요가 있다. 검증 방법은 일반적으로 모델링 노선에 따라 차량이 실제 주행한 후 해당 노선이 사용 가능한지 여부를 판단하는 것이다. 그러나, 위의 검증 방법은 비효율적이며 노선이 사용 가능하지 않을 경우 운전자에게 불편을 일으킬 수 있다.
상술한 기술 문제에 대하여, 본 출원은 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체를 제공하여, 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시킬 수 있다. 본 출원에 따른 방법은 운전 시뮬레이션 시스템이 장착된 무인 자동차 등에 적용될 수 있다.
도 1은 본 출원의 실시예의 응용 시나리오 도면이며, 도 1에 도시된 바와 같이, 차량(10)이 노선 모델링이 되지 않은 영역 내에서 주행하고, 차량(10)에 이미지 프로세서와 다양한 센서(예를 들면, 프론트 광각 카메라, 초음파 센서 등)가 장착된 것으로 가정한다. 차량(10)은 주행 과정에, 프론트 광각 카메라를 사용하여 동영상 이미지를 수집할 수 있으며 해당 동영상 이미지에는 도로 정보가 포함된다. 광각 카메라에 의해 수집된 동영상 이미지는 이미지 프로세서에 전송되고, 이미지 프로세서에 로딩된 이미지 처리 소프트웨어로 동영상 이미지에 대해 특징점 추출을 수행하여, 2D 특징점을 획득한다. 다음, 이미지 프로세서는 동일한 시각에서 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키고 이로부터2D 특징점을 3D 특징점으로 전환시킬 수 있다. 마지막으로, 모델링 알고리즘에 따라, 3D 특징점을 통해 목표 도로 구간의 모델링 노선을 구축한다. 상술한 응용 시나리오에서, 차량(10)은 자체의 센서를 통해 도로 정보를 포함한 동영상 이미지를 수집하고, 다음 동영상 이미지에서 추출된 3D 특징점을 통해 모델링 노선을 구축할 수 있다. 하지만, 차량에 의해 생성된 모델링 노선은 우선 사용 가능성 검증을 거쳐야만 사용에 투입될 수 있으며, 이로부터 모델링 노선의 검증에 대한 문제에 관련될 것이다.
예시적으로, 차량에 의해 생성된 전체 모델링 노선을 복수의 목표 도로 구간으로 분해한 후, 목표 도로 구간마다 사용 가능성 검증을 진행할 수 있다. 선택적으로, 우선 각 목표 도로 구간의 필터링 임계값을 획득하고, 그 다음 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득한다. 모든 목표 도로 구간이 모두 검증 통과하면, 차량에 의해 생성된 모델링 노선은 사용에 투입될 수 있다.
본 출원에 따른 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체는 데이터 처리 기술 중의 컴퓨터 비젼, 스마트 교통 기술 분야에 관련된 것이며, 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킨다.
도 2는 본 출원의 제1 실시예의 도면이며, 도 2에 도시된 바와 같이, 본 실시예의 방법은 아래의 단계를 포함할 수 있다.
S101, 목표 도로 구간의 필터링 임계값을 획득한다.
S102, 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득한다.
본 실시예의 방법은, 예를 들면, 노선 모델링, 자율 주행 제어 등 데이터 처리 기술 분야 중의 자율 주행 기술 분야에 적용할 수 있다. 목표 도로 구간의 필터링 임계값을 획득한 후, 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
예시적으로, 단계(S101)에서, 목표 도로 구간에 대해 복수회의 이미지 수집을 수행하고, 그 다음 매번 수집된 이미지를 기반으로 이미지 특징점을 통계함으로써, 서로 다른 차원을 표시하는 필터링 임계값을 획득할 수 있다. 예를 들면, 목표 도로 구간에 대해 이미지를 N회 수집하여, N 개 이미지 세트를 획득할 수 있으며; 여기서, N은 1보다 큰 자연수이고; 이미지 세트 중의 2D 특징점을 3D 특징점으로 전환시키고; N 개 이미지 세트에 대응되는 각 파라미터 인덱스를 각각 통계하되; 파라미터 인덱스는, 2D 특징점의 수량, 2D 특징점이 3D 특징점으로 전환되는 전환률, 카메라 중심과의 거리가 기설정된 임계값 미만인 3D 특징점의 수량을 포함하고; N 개 이미지 세트 중의 각 파라미터 인덱스의 최소값을 목표 도로 구간의 필터링 임계값으로 한다. 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련된다.
예시적으로, N 개 이미지 세트 중의 이미지에 대해 각각 특징점 추출을 수행하여, 2D 특징점을 획득하고; 각 이미지 세트 중에서 동일한 시각에 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키고; 매칭에 성공한 2D 특징점을 3D 특징점으로 전환시킬 수 있다.
설명해야 할 바로는, 본 실시예에서는 2D 특징점을 3D 특징점으로 전환시키는 구체적인 방법에 대해 한정하지 않으며, 기존의 2차원 특징을 3차원 특징으로 전환하는 알고리즘은 모두 본 실시예에 적용할 수 있다.
예시적으로, 차량이 도로 구간에서 주행하면, 카메라를 통해 도로 구간의 동영상 이미지를 수집할 수 있다. 다음, 수집된 동영상 이미지에 대해 특징점 추출을 수행하여, 2D 특징점을 획득할 수 있다. 두개 이상의 카메라에 의해 촬영된 이미지의 2D 특징점을 매칭시켜 매칭된 2D 특징점 집합을 획득한다. 마지막으로, 2D 특징점 집합을 3D 특징점으로 전환한다. 동일한 도로 구간에 대해, 복수회 이미지 수집과 특징점 추출을 수행하고, 매번 수집된 2D 특징점 수량, 2D에서 3D로의 포인트 전환률, 부근 3D 특징점의 수량을 획득하고, 상술한 3개 인덱스의 최소값을 통계 획득하여, 필터링 임계값으로 한다. 예를 들면, 이미지 특징점을 추출 시, 2D 특징점 수량을 통계한다. 다음, 특징점을 전환 시, 2D에서 3D로의 포인트 전환률과 3D포인트 수량을 통계한다. 3D 포인트가 너무 적으면, 직접적으로 카메라 자세의 계산 오차가 커지는 결과를 일으킨다. 마지막으로, 3D 포인트 분포를 통계하고, 즉, 부근 3D포인트 수량(3D 포인트와 카메라 중심 사이의 거리가 30m 미만인 것을 부근의 3D 포인트로 정의)을 각각 통계한다. 부근 3D 포인트는 오차가 작기에, 모델링의 정확도를 확보할 수 있다. 동일한 도로 구간에 대해, 복수회 수집할 수 있으며, 각 사이클은 1회의 데이터 수집에 대응된다. 다음, 각 사이클의 데이터의 모든 이미지 프레임 중의 상술한 3개 차원 인덱스의 최소값을 각각 통계하고, 대비 분석을 통해, 필터링 임계값을 설정한다.
본 실시예에서, 목표 도로 구간에 대해 N회의 이미지 수집을 수행하여, N 개 이미지 세트를 획득한 후 N 개 이미지 세트에서 추출된 2D 특징점, 2D 특징점이 3D 특징점으로 전환되는 전환률, 카메라 중심과의 거리가 기설정된 임계값 미만인 3D 특징점의 수량을 각각 통계하여, 도로 구간 이미지 수집 효과를 표시하기 위한 3개 인덱스를 획득한다. N 개 이미지 세트의 3개 인덱스에 대해 최소값을 구하고, 대응되는 3개 필터링 임계값을 획득한다. 이로부터 복수회 수집 결과를 기반으로, 신뢰성이 높은 필터링 임계값을 통계함으로써, 추후 모델링 노선의 사용 가능성 판단 결과가 더욱 정확하도록 한다.
예시적으로, 2D 특징점이 3D 특징점으로 전환되는 전환률의 계산 수식은 아래와 같다.
K=U/V;
K는 2D 특징점을 3D 특징점으로 전환하는 전환률을 표시하고, U는 2D 특징점의 수량을 표시하고, V는 3D 특징점의 수량을 표시한다.
본 실시예에서, 2D 특징점이 3D 특징점으로 전환되는 전환률은 특징점의 전환 효율을 반영한다. 3D 포인트가 너무 적으면, 직접적으로 카메라 자세의 계산 오차가 커지는 결과를 일으킨다. 따라서, 2D 특징점이 3D 특징점으로 전환되는 전환률로 목표 도로 구간에서 수집된 이미지의 특징점의 유효성을 표시할 수 있다. 2D 특징점이 3D 특징점으로 전환되는 전환률이 높을 수록, 이미지의 수집 품질이 높은 것을 설명하고, 이로부터 모델링 노선의 모델링 효과를 객관적으로 평가하는데 사용될 수 있다.
예시적으로, 단계(S102)에서, 모델링 노선의 각 파라미터 인덱스를 획득하고; 모델링 노선의 각 파라미터 인덱스가 모두 대응되는 필터링 임계값을 초과하면, 모델링 노선이 검증에 통과한 것으로 확정할 수 있다.
예시적으로, 필터링 임계값을 통해 모델링 노선의 사용 가능 여부를 판단할 수 있으며, 모델링 노선의 2D 특징점의 수량, 2D 특징점이 3D 특징점으로 전환되는 전환률, 카메라 중심과의 거리가 기설정된 임계값 미만인 3D 특징점의 수량 등 파라미터 인덱스가 모두 필터링 임계값을 초과하면, 모델링 노선은 검증에 통과한다.
본 실시예에서, 모델링 노선의 각 파라미터 인덱스에 대응되는 필터링 임계값을 이용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사림이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
예시적으로, 단계(S102) 후에, 모델링 노선의 검증 결과가 검증이 통과임을 지하하면, 모델링 노선을 로컬 메모리에 저장 및/또는, 클라우드에 업로드한다.
본 실시예에서, 검증에 통과한 후, 모델링 노선을 로컬 메모리에 저장하여, 차량의 자율 주행에 사용되도록 할 수 있다. 동시에, 모델링 노선을 클라우드에 업로드하여, 모델링 노선의 공유를 구현할 수도 있다. 이로부터 사용자가 자주적으로 네비게이션 노선을 구축함으로써, 네비게이션 지도 노선의 제작 효율을 향상시키고, 더욱 많은 사용자가 기타 사용자에 의해 제작된 모델링 노선을 공유하도록 한다.
예시적으로, 단계(S102) 후에, 모델링 노선의 검증 결과가 검증이 불통과임을 지시하면, 모델링 노선이 사용 불가함을 제시한다.
본 실시예에서, 모델링 노선의 검증 결과가 검증이 불통과임을 지시하면면, 사용자에게 모델링 노선이 사용 불가함을 제시하여, 사용자가 잘못된 또는 품질이 좋이 않은 네비게이션 노선을 사용하는 것을 방지한다. 또한 제때에 모델링 노선을 재구축할 것을 사용자에게 제시하여, 사용자로 하여금 사용성에 부합하는 모델링 노선을 제작하도록 할 수 있다.
본 실시예에서, 목표 도로 구간의 필터링 임계값을 취득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되고; 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득할 수 있다. 이로부터 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선을 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
도 3은 본 출원의 제2 실시예의 도면이며, 도 3에 도시된 바와 같이, 본 실시예의 방법은 아래 단계를 포함할 수 있다.
S201, 목표 도로 구간에 대응되는 모델링 노선을 구축한다.
본 실시예에서, 차량이 목표 도로 구간에서 주행하고 있을 때, 차량에 장착된 카메라를 통해 목표 도로 구간의 이미지를 수집한 후, 해당 이미지에 대해 특징 추출을 수행하여, 3D 특징점을 획득하고, 마지막으로 3D 특징점을 통해 목표 도로 구간에 대응되는 모델링 노선을 구축할 수 있다. 기존의 네비게이션 노선 제작 방법과 비교할 때, 상술한 방식은 차량 소유자가 자발적으로 완성할 수 있기에, 네비게이션 노선의 제작 효율을 향상시키고, 노선 제작이 더욱 개성화적이고 사용자의 맞춤형 수요를 만족시킬 수 있다.
예시적으로, 단계(S201)에서, 서로 다른 카메라를 통해 목표 도로 구간에 대해 이미지를 수집하고; 수집된 이미지에 대해 특징점 추출을 수행하여 2D 특징점을 획득하고; 동일한 시각에서 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키고; 매칭에 성공한 2D 특징점을 3D 특징점으로 전환시키고; 3D 특징점을 통해 목표 도로 구간의 모델링 노선을 구축할 수 있다.
본 실시예에서, 차량에는 다양한 센서, 예를 들면, 프론트 광각 카메라, 초음파 센서 등이 장착되어 있다. 따라서, 프론트 광각 카메라를 사용하여 동영상 이미지를 수집할 수 있다. 다음, 이미지 특징점 추출 알고리즘으로 수집된 이미지에 대해 특징점 추출을 수행하여, 2D 특징점을 획득한다. 다음 동일한 시각에서 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키고, 매칭에 성공한 2D 특징점을 3D 특징점으로 전환시키고, 마지막으로3D 특징점을 사용하여, 목표 도로 구간의 모델링 노선을 구축한다. 이러한 방법은 차량이 직접적으로 자체의 센서를 사용하여 목표 도로 구간에 대한 이미지 수집을 완성한 후 이미지를 기반으로 특징점 추출을 수행하고, 3차원 지도 노선 제작에 사용될 수 있는 3D 특징점을 획득할 수 있다. 기존의 기타 네비게이션 지도 노선 제작 방법과 비교할 때, 수집 기기에 대한 요구가 낮아, 거의 모든 차량이 모두 노선 제작 기능을 구비할 수 있으며, 지도 노선의 제작 효율을 효과적으로 향상시킬 수 있다.
설명해야 할 바로는, 본 실시예는 이미지 특징점 추출 알고리즘에 대해 한정하지 않으며, 기존의 이미지 특징점 추출 알고리즘은 모두 본 출원에 적용될 수 있다.
다음, 동일한 시각에서 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시킴으로써, 2D 특징점을 3D 특징점으로 전환시킬 수 있다. 마지막으로, 모델링 알고리즘에 따라, 3D 특징점을 통해 목표 도로 구간의 모델링 노선을 구축한다.
S202, 목표 도로 구간의 필터링 임계값을 획득한다.
S203, 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득한다.
본 실시예에서, 단계(S202)~단계(S203)의 구체적인 구현 과정과 기술 원리는 도 2에 도시된 방법 중 단계(S101)~단계(S102) 중의 관련 설명을 참조하고, 여기서는 중복 설명하지 않는다.
본 실시예에서, 목표 도로 구간의 필터링 임계값을 취득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되고; 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득할 수 있다. 이로부터 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
한편, 본 실시예는 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하기 전에, 목표 도로 구간에 대응되는 모델링 노선을 구축할 수도 있다. 이로부터 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
도 4는 본 출원의 제3 실시예의 도면이며, 도 4에 도시된 바와 같이, 본 실시예의 장치는,
목표 도로 구간의 필터링 임계값을 획득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되는 획득 모듈(31);
필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득하기 위한 검증 모듈(32)을 포함할 수 있다.
가능한 일 설계에서, 획득 모듈(31)은 구체적으로,
목표 도로 구간에 대해 N회의 이미지 수집을 수행하여, N 개 이미지 세트를 획득하되; 여기서, N은 1보다 큰 자연수이고;
N 개 이미지 세트 중의 이미지 각각에 대해 특징점 추출을 수행하여, 2D 특징점을 획득하고;
이미지 세트 중의 2D 특징점을 3D 특징점으로 전환시키고;
N 개 이미지 세트에 대응되는 각 파라미터 인덱스를 각각 통계하되; 파라미터 인덱스는 2D 특징점의 수량, 2D 특징점이 3D 특징점으로 전환되는 전환률, 카메라의 중심과의 거리가 기설정된 임계값 미만인 3D 특징점의 수량을 포함하고;
N 개 이미지 세트 중의 각 파라미터 인덱스의 최소값을 목표 도로 구간의 필터링 임계값으로 한다.
가능한 일 설계에서, 이미지 세트 중의 2D 특징점을 3D 특징점으로 전환시키는 것은, N 개 이미지 세트 중의 이미지 각각에 대해 특징점 추출을 수행하여, 2D 특징점을 획득하고; 각 이미지 세트 중에서 동일한 시각에 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키고; 매칭에 성공한 2D 특징점을 3D 특징점으로 전환시키는 것을 포함한다.
가능한 일 설계에서, 2D 특징점이 3D 특징점으로 전환되는 전환률의 계산 수식은 아래와 같다.
K=U/V;
K는 2D 특징점이 3D 특징점으로 전환되는 전환률을 표시하고, U는 2D 특징점의 수량을 표시하고, V는 3D 특징점의 수량을 표시한다.
가능한 일 설계에서, 검증 모듈(32)은 구체적으로,
모델링 노선의 각 파라미터 인덱스를 획득하고;
모델링 노선의 각 파라미터 인덱스가 모두 대응되는 필터링 임계값을 초과하면, 모델링 노선이 검증 통과한 것으로 확정한다.
본 실시예의 모델링 노선의 검증 장치는 도 2에 도시된 방법 중의 기술 방안을 실행할 수 있으며, 구체적인 구현 과정과 기술 원리는 도 2에 도시된 방법 중 관련 설명을 참조하고, 여기서는 중복 설명하지 않는다.
본 실시예는, 목표 도로 구간의 필터링 임계값을 취득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되고; 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득할 수 있다. 이로부터 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차랴을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
도 5은 본 출원의 제4 실시예의 도면이며, 도 5에 도시된 바와 같이, 본 실시예의 장치는 도 4에 도시된 장치의 기초상에서,
목표 도로 구간에 대응되는 모델링 노선을 구축하기 위한 모델링 모듈(33)을 더 포함할 수 있다.
가능한 일 설계에서, 모델링 모듈(33)은 구체적으로,
서로 다른 카메라를 통해 목표 도로 구간에 대해 이미지 수집을 수행하고;
수집된 이미지에 대해 특징점 추출을 수행하여 2D 특징점을 획득하고;
동일한 시각에서 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키고;
매칭에 성공한 2D 특징점을 3D 특징점으로 전환시키고;
3D 특징점을 통해, 목표 도로 구간의 모델링 노선을 구축한다.
가능한 일 설계에서, 검증 결과가 검증이 통과임을 지시하면, 모델링 노선을 로컬 메모리에 저장 및/또는, 클라우드에 업로드하기 위한 배포 모듈(34)을 더 포함한다.
가능한 일 설계에서, 검증 결과가 검증이 불통과임을 지시하면, 모델링 노선이 사용 불가능한 것을 제시하기 위한 제시 모듈(35)를 더 포함한다.
본 실시예의 모델링 노선의 검증 장치는, 도 2, 도 3에 도시된 방법 중의 기술 방안을 실행할 수 있으며, 구체적인 구현 과정과 기술 원리는 도 2, 도 3에 도시된 방법 중 관련 설명을 참조하고, 여기서는 중복 설명하지 않는다.
본 실시예는, 목표 도로 구간의 필터링 임계값을 취득하되; 여기서, 필티링 임계값과 목표 도로 구간에 대응되는 이미지 특징점은 관련되고; 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하여 검증 결과를 획득할 수 있다. 이로부터 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
또한, 본 실시예는 필터링 임계값을 통해 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하기 전에, 목표 도로 구간에 대응되는 모델링 노선을 구축할 수 있다. 이로부터 직접 필터링 임계값을 사용하여 모델링 노선의 사용 가능성을 검증할 수 있기에, 사람이 차량을 운전하여 모델링 노선에 대해 검증할 필요가 없고, 검증 효율을 효과적으로 향상시키며, 차량이 사용 불가한 모델링 노선에 따라 주행하는 것을 방지하여 운전 체험을 향상시킬 수 있다.
도 6은 본 출원의 실시예의 무인 자동차를 구현하기 위한 블록도이다. 도 6에 도시된 바와 같이 본 출원의 실시예의 무인 자동차에 따른 블록도이다. 전자기기는 다양한 형태의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 나타내기 위한 것이다. 전자기기는 다양한 형태의 이동장치, 예컨대, 개인 디지털 처리, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 더 나타낼 수 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.
도 6에 도시된 바와 같이, 해당 무인 자동차는 하나 또는 복수의 프로세서(501), 메모리(502), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플린된 디스플레이 기기) 상에 그래픽 유저 인터페이스(GUI)의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 6은 하나의 프로세서(501)를 예로 든다.
메모리(502)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에 따른 도 6의 무인 자동차의 모델링 노선의 검증 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에 따른 도 6의 모델링 노선의 검증 방법을 수행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예의 도 6의 모델링 노선의 검증 방법에 대응되는 프로그램 명령/모듈을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 도 6의 모델링 노선의 검증 방법을 구현한다.
메모리(502)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 도 6의 무인 자동차의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 한편, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(502)는 선택적으로 프로세서(501)에 대해 원격으로 설치된 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 도 6의 무인 자동차에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
본 출원의 실시예는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 전자기기의 적어도 하나의 프로세서는 판독 가능 저장매체로부터 컴퓨터 프로그램을 판독하여, 상기 적어도 하나의 프로세서에 의해 상기 컴퓨터 프로그램이 실행되어 상기 전자기기가 상술한 임의의 실시예의 모델링 노선의 검증 방법을 실행하도록 한다.
도6의 무인 자동차는 입력장치(503)와 출력장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력장치(503) 및 출력장치(504)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 6에서는 버스를 통해 연결되는 것을 예시하고 있다.
입력장치(503)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 도 6의 무인 자동차의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종레버 등 입력장치를 포함할 수 있다. 출력장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, ASIC(전용 집적 회로), GPU(그래픽 프로세서), FPGA(필드 프로그램 가능 어레이) 기기, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 불리운다)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨터 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시방식과 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신망)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신망의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신망을 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문에서는 여기서 한정하지 않는다.
상술한 구체적인 실시형태는, 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 수요와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 치환 등은 모두 본 출원의 보호 범위 내에 속한다.

Claims (18)

  1. 목표 도로 구간의 필터링 임계값을 획득하되, 여기서, 상기 필터링 임계값과 상기 목표 도로 구간에 대응되는 이미지 특징점은 관련되는 단계;
    상기 필터링 임계값을 통해 상기 목표 도로 구간에 대응되는 모델링 노선을 검증하여, 검증 결과를 획득하는 단계를 포함하고,
    목표 도로 구간의 필터링 임계값을 획득하는 상기 단계는,
    상기 목표 도로 구간에 대해 N회의 이미지 수집을 수행하여, N 개 이미지 세트를 획득하되; 여기서, N은 1보다 큰 자연수인 단계;
    상기 이미지 세트 중의 2D 특징점을 3D 특징점으로 전환하는 단계;
    N 개 이미지 세트에 대응되는 각 파라미터 인덱스를 각각 통계하되; 상기 파라미터 인덱스는 2D 특징점의 수량, 2D 특징점이 3D 특징점으로 전환되는 전환률, 카메라 중심과의 거리가 기설정된 임계값 미만인 3D 특징점의 수량을 포함하고, 상기 파라미터 인덱스는 상기 목표 도로 구간 이미지 수집 효과를 표시하는 단계;
    N 개 이미지 세트 중 각 파라미터 인덱스의 최소값을 상기 목표 도로 구간의 필터링 임계값으로 하는 단계를 포함하고,
    상기 필터링 임계값을 통해 상기 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하는 상기 단계는,
    상기 모델링 노선의 각 파라미터 인덱스를 획득하는 단계;
    상기 모델링 노선의 각 파라미터 인덱스가 모두 대응되는 필터링 임계값을 초과하면, 상기 모델링 노선이 검증 통과한 것으로 확정하는 단계를 포함하는 모델링 노선의 검증 방법.
  2. 삭제
  3. 제1항에 있어서,
    이미지 세트 중의 2D 특징점을 3D 특징점으로 전환하는 상기 단계는,
    N 개 상기 이미지 세트 중의 이미지 각각에 대해 특징점을 추출하여, 2D 특징점을 획득하는 단계;
    각 이미지 세트 중에서 동일한 시각에 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키는 단계;
    매칭에 성공한 2D 특징점을 3D 특징점으로 전환시키는 단계를 포함하는 검증 방법.
  4. 제1항에 있어서,
    상기 2D 특징점이 3D 특징점으로 전환되는 전환률의 계산 수식은,
    K=U/V이고;
    K는 2D 특징점을 3D 특징점으로 전환하는 전환률을 표시하고, U는 2D 특징점의 수량을 표시하고, V는 3D 특징점의 수량을 표시하는 검증 방법.
  5. 제1항에 있어서,
    상기 필터링 임계값을 통해 상기 목표 도로 구간에 대응되는 모델링 노선에 대해 검증하는 단계 전에,
    상기 목표 도로 구간에 대응되는 모델링 노선을 구축하는 단계를 더 포함하는 검증 방법.
  6. 제5항에 있어서,
    상기 목표 도로 구간에 대응되는 모델링 노선을 구축하는 상기 단계는,
    서로 다른 카메라를 통해 상기 목표 도로 구간에 대해 이미지를 수집하는 단계;
    수집된 이미지에 대해 특징점 추출을 수행하여 2D 특징점을 획득하는 단계;
    동일한 시각에서 서로 다른 카메라에 의해 촬영된 이미지에 대응되는 2D 특징점을 매칭시키는 단계;
    매칭에 성공한 2D 특징점을 3D 특징점으로 전환시키는 단계;
    상기 3D 특징점을 통해 상기 목표 도로 구간의 모델링 노선을 구축하는 단계를 포함하는 검증 방법.
  7. 삭제
  8. 제1항, 제3항 내지 제6항 중 임의의 한 항에 있어서,
    상기 검증 결과가 통과이면, 상기 모델링 노선을 로컬 메모리에 저장 및 클라우드에 업로드 중 적어도 하나를 실행하는 단계를 더 포함하는 검증 방법.
  9. 제1항, 제3항 내지 제6항 중 임의의 한 항에 있어서,
    상기 검증 결과가 불통과이면, 상기 모델링 노선이 사용 불가함을 제시하는 단계를 더 포함하는 검증 방법.
  10. 목표 도로 구간의 필터링 임계값을 획득하되; 여기서, 상기 필터링 임계값과 상기 목표 도로 구간에 대응되는 이미지 특징점은 관련되는 획득 모듈;
    상기 필터링 임계값을 통해 상기 목표 도로 구간에 대응되는 모델링 노선을 검증하여, 검증 결과를 획득하기 위한 검증 모델을 포함하고,
    상기 획득 모듈은 구체적으로,
    상기 목표 도로 구간에 대해 N회 이미지 수집을 수행하여, N 개 이미지 세트를 획득하되; 여기서, N은 1보다 큰 자연수이고;
    상기 N 개 이미지 세트 중의 이미지 각각에 대해 특징점 추출을 수행하여, 2D 특징점을 획득하고;
    상기 이미지 세트 중의 2D 특징점을 3D 특징점으로 전환하고;
    N 개 이미지 세트에 대응되는 각 파라미터 인덱스를 각각 통계하되; 상기 파라미터 인덱스는 2D 특징점의 수량, 2D 특징점이 3D 특징점으로 전환되는 전환률, 카메라 중심과의 거리가 기설정된 임계값 미만인 3D 특징점의 수량을 포함하고, 상기 파라미터 인덱스는 상기 목표 도로 구간 이미지 수집 효과를 표시하고;
    N 개 이미지 세트 중 각 파라미터 인덱스의 최소값을 상기 목표 도로 구간의 필터링 임계값으로 하고;
    상기 검증 모델은 구체적으로,
    상기 모델링 노선의 각 파라미터 인덱스를 획득하고;
    상기 모델링 노선의 각 파라미터 인덱스가 모두 대응되는 필터링 임계값을 초과하면, 상기 모델링 노선이 검증 통과한 것으로 확정하는 모델링 노선의 검증 장치.
  11. 삭제
  12. 제10항에 있어서
    상기 목표 도로 구간에 대응되는 모델링 노선을 구축하기 위한 모델링 모듈을 더 포함하는 검증 장치.
  13. 삭제
  14. 제10항 또는 제12항에 있어서
    상기 검증 결과과 통과일 때, 상기 모델링 노선을 로컬 메모리에 저장 및 클라우드에 업로드 중 적어도 하나를 실행하기 위한 배포 모듈을 더 포함하는 검증 장치.
  15. 제10항 또는 제12항에 있어서
    상기 검증 결과가 불통과인 상기 모델링 노선이 사용 불가임을 제시하기 위한 제시 모듈을 더 포함하는 검증 장치.
  16. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하고, 여기서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항, 제3항 내지 제6항 중 임의의 한항에 따른 방법을 수행할 수 있도록 하는 무인 자동차.
  17. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터가 제1항, 제3항 내지 제6항 중 임의의 한항에 따른 방법을 수행하도록 하는 비일시적 컴퓨터 판독 가능 저장매체.
  18. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되어 제1항, 제3항 내지 제6항 중 임의의 한 항의 방법을 구현하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
KR1020210026283A 2020-06-09 2021-02-26 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체 KR102524988B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010518104.7 2020-06-09
CN202010518104.7A CN111695489B (zh) 2020-06-09 2020-06-09 建模路线的验证方法、装置、无人车及存储介质

Publications (2)

Publication Number Publication Date
KR20210038451A KR20210038451A (ko) 2021-04-07
KR102524988B1 true KR102524988B1 (ko) 2023-04-21

Family

ID=72479932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210026283A KR102524988B1 (ko) 2020-06-09 2021-02-26 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체

Country Status (5)

Country Link
US (1) US11619498B2 (ko)
EP (1) EP3842757B1 (ko)
JP (1) JP7212709B2 (ko)
KR (1) KR102524988B1 (ko)
CN (1) CN111695489B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798030B (zh) * 2023-08-28 2023-11-14 中国建筑第六工程局有限公司 曲面观光雷达高塔验收方法、系统、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243457A1 (en) * 2010-03-31 2011-10-06 Aisin Aw Co., Ltd. Scene matching reference data generation system and position measurement system
WO2019052533A1 (zh) * 2017-09-15 2019-03-21 华为技术有限公司 地图数据的构建方法和设备
US20190266792A1 (en) * 2016-11-16 2019-08-29 SZ DJI Technology Co., Ltd. Three-dimensional point cloud generation
US20190384304A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9046364B2 (en) * 2011-06-14 2015-06-02 Nissan Motor Co., Ltd. Distance measurement device and environment map generation apparatus
KR101664582B1 (ko) * 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
CN106323301B (zh) * 2015-06-29 2020-05-12 北京四维图新科技股份有限公司 一种道路情报的获取方法及装置
US10948302B2 (en) 2015-08-03 2021-03-16 Tomtom Global Content B.V. Methods and systems for generating and using localization reference data
DE102016222782A1 (de) * 2016-11-18 2018-05-24 Audi Ag Autonomes Steuern eines Kraftfahrzeugs anhand von Spurdaten; Kraftfahrzeug
US10670416B2 (en) * 2016-12-30 2020-06-02 DeepMap Inc. Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
WO2018125939A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
KR102434580B1 (ko) 2017-11-09 2022-08-22 삼성전자주식회사 가상 경로를 디스플레이하는 방법 및 장치
US11501105B2 (en) * 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
CN108961146B (zh) * 2018-07-19 2023-07-21 深圳地平线机器人科技有限公司 渲染感知地图的方法和装置
CN109143207B (zh) 2018-09-06 2020-11-10 百度在线网络技术(北京)有限公司 激光雷达内参精度验证方法、装置、设备及介质
CN110375764A (zh) * 2019-07-16 2019-10-25 中国第一汽车股份有限公司 变道提示方法、系统、车辆及存储介质
CN110426046B (zh) * 2019-08-21 2023-11-24 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
CN110505463A (zh) 2019-08-23 2019-11-26 上海亦我信息技术有限公司 基于拍照的实时自动3d建模方法
CN111160132B (zh) * 2019-12-12 2022-08-19 苏州智加科技有限公司 障碍物所在车道的确定方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243457A1 (en) * 2010-03-31 2011-10-06 Aisin Aw Co., Ltd. Scene matching reference data generation system and position measurement system
US20190266792A1 (en) * 2016-11-16 2019-08-29 SZ DJI Technology Co., Ltd. Three-dimensional point cloud generation
WO2019052533A1 (zh) * 2017-09-15 2019-03-21 华为技术有限公司 地图数据的构建方法和设备
US20190384304A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks

Also Published As

Publication number Publication date
US20210207964A1 (en) 2021-07-08
JP2021101370A (ja) 2021-07-08
CN111695489A (zh) 2020-09-22
EP3842757A2 (en) 2021-06-30
EP3842757A3 (en) 2021-09-29
EP3842757B1 (en) 2022-09-28
KR20210038451A (ko) 2021-04-07
JP7212709B2 (ja) 2023-01-25
CN111695489B (zh) 2023-08-11
US11619498B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
US20210358151A1 (en) Method for generating simulated point cloud data, device, and storage medium
KR102559269B1 (ko) 실경 내비게이션 아이콘 표시 방법, 장치, 기기 및 매체
KR102529361B1 (ko) 주차 모델 생성 방법 및 장치, 전자 장치 및 저장 매체
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机系统
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
JP7258938B2 (ja) 交差点仮想レーンをマークする方法、交差点仮想レーンをマークする装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
CN115578702B (zh) 道路元素的提取方法、装置、电子设备、存储介质及车辆
KR20210043522A (ko) 오프라인 지도 생성 방법, 장치, 전자 기기 및 저장 매체
CN114429528A (zh) 图像处理方法、装置、设备、计算机程序及存储介质
CN113639745B (zh) 一种点云地图的构建方法、装置及存储介质
CN111402413A (zh) 三维视觉定位方法、装置及计算设备、存储介质
KR102524988B1 (ko) 모델링 노선의 검증 방법, 장치, 무인 자동차 및 저장매체
CN111597987A (zh) 用于生成信息的方法、装置、设备和存储介质
CN111597986A (zh) 用于生成信息的方法、装置、设备和存储介质
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
JP2022081613A (ja) 自動運転特徴の特定方法、装置、設備、媒体及びコンピュータプログラム
US11697428B2 (en) Method and apparatus for 3D modeling
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN117539970A (zh) 车道数据压缩方法、装置、计算机设备和存储介质
JP7375149B2 (ja) 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
CN111260722A (zh) 车辆定位方法、设备及存储介质
CN115790621A (zh) 高精地图更新方法、装置及电子设备
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
CN111959496B (zh) 用于车辆横向控制的模型生成方法、装置及电子设备
CN114674328A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆

Legal Events

Date Code Title Description
G15R Request for early publication
E701 Decision to grant or registration of patent right
GRNT Written decision to grant