KR20180130671A - 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법 - Google Patents

3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법 Download PDF

Info

Publication number
KR20180130671A
KR20180130671A KR1020170066531A KR20170066531A KR20180130671A KR 20180130671 A KR20180130671 A KR 20180130671A KR 1020170066531 A KR1020170066531 A KR 1020170066531A KR 20170066531 A KR20170066531 A KR 20170066531A KR 20180130671 A KR20180130671 A KR 20180130671A
Authority
KR
South Korea
Prior art keywords
grid map
information
vehicle
das
dimensional
Prior art date
Application number
KR1020170066531A
Other languages
English (en)
Other versions
KR102260975B1 (ko
Inventor
백승헌
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170066531A priority Critical patent/KR102260975B1/ko
Publication of KR20180130671A publication Critical patent/KR20180130671A/ko
Application granted granted Critical
Publication of KR102260975B1 publication Critical patent/KR102260975B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법이 개시된다. 본 발명의 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법은, 자차량의 전방위를 촬영하여 전방위 영상을 제공하는 전방위 카메라; 위성항법 정보를 통해 자차량의 위치를 수신하는 위치정보 수신부; 자차량의 전방 및 주변을 감지하는 DAS(Driver Assistant System) 센서부; 3차원 격자지도를 저장하는 3차원 격자지도 데이터베이스(DB); 및 위치정보 수신부로부터 입력된 자차량의 위치정보와 DAS 센서부로부터 입력된 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 위치정보와 DAS 정보의 신뢰도에 따라 3차원 격자지도 정보를 자율 주행에 반영하는 차량 제어부;를 포함하는 것을 특징으로 한다.

Description

3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING AUTOMATIC DRIVING USING 3D GRID MAP}
본 발명은 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법에 관한 것으로서, 보다 상세하게는 자차량의 위치정보 및 주변정보의 신뢰도에 따라 3차원 격자지도 반영 여부를 결정하여 자율 주행을 수행하는 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법에 관한 것이다.
일반적으로, 차량의 위치를 파악하려면 GPS(Global Positioning System)를 이용하는 것이 일반적이지만, 건물이나 터널 안에서는 GPS 신호를 잡지 못하는 문제점이 있고, 시가지의 빌딩 숲을 달리다 보면 GPS로는 측정이 부정확해지는 문제점이 있다.
따라서, 최근에는 GPS 정보와 더불어 고정밀 맵과 레이더를 이용할 뿐만 아니라 스테레오 전방위 카메라를 이용한 실시간 3차원 격자지도를 생성하여 이를 반영하고 있다.
전방위 카메라는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위를 한 번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용된다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추, 복합형 등 다양하며, 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용된다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 화상의 정확한 관찰을 위해 촬상 소자의 출력을 외부의 마이크로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.
이 전방위 카메라를 통해 얻은 전방위 영상은 전방위 카메라 주변에 대한 2차원적인 정보를 제공한다. 만약 복수의 전방위 카메라를 통해 서로 다른 방향에서 촬영한 복수의 전방위 영상을 이용하면 전방위 카메라 주변에 대한 3차원적인 정보를 얻을 수 있다. 복수의 전방위 카메라로 구성되는 영상 장치를 스테레오 전방위 카메라라고 한다.
이와 같은 스테레오 전방위 카메라를 무인 차량이나 이동 로봇에 장착하여, 스테레오 전방위 카메라에서 촬영된 전방위 영상을 무인 차량 또는 이동 로봇의 위치 인식 및 지도 작성에 이용하기도 한다.
한편, 종래에는 GPS 정보와 더불어 고정밀 맵과 레이더를 이용할 뿐만 아니라 스테레오 전방위 카메라를 이용한 실시간 3차원 격자지도를 생성하여 이를 반영함에 있어, 그 반영 기준이 명확하지 않은 문제점이 있었다.
본 발명의 배경기술은 대한민국 등록특허공보 제0955483호(2010.04.30. 공고, 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점들을 개선하기 위하여 창안된 것으로, 자차량의 위치정보 및 주변정보의 신뢰도에 따라 3차원 격자지도 반영 여부를 결정하여 자율 주행을 수행하는 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치는, 자차량의 전방위를 촬영하여 전방위 영상을 제공하는 전방위 카메라; 위성항법 정보를 통해 상기 자차량의 위치를 수신하는 위치정보 수신부; 상기 자차량의 전방 및 주변을 감지하는 DAS(Driver Assistant System) 센서부; 3차원 격자지도를 저장하는 3차원 격자지도 데이터베이스(DB); 및 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보와 상기 DAS 센서부로부터 입력된 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 상기 위치정보와 상기 DAS 정보의 신뢰도에 따라 3차원 격자지도 정보를 자율 주행에 반영하는 차량 제어부;를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 자차량의 위치정보 및 주변의 DAS 정보의 신뢰도를 판단하여 수치화하는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보의 신뢰도가 임계값 이하인 경우, 상기 DAS 센서부로부터 입력된 주변의 DAS 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 DAS 센서부로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인 경우, 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 DAS 센서부를 통해 전방 장애물의 감지상태를 판단하여 설정시간 동안의 전방 장애물의 검출 횟수를 카운트하고, 상기 전방 장애물의 검출 횟수가 설정치 이상인 경우, 상기 DAS 정보 중 전방카메라 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 주행경로에 대한 3차원 격자지도가 상기 3차원 격자지도 DB에 존재하는지의 여부에 따라 3차원 격자지도를 다운로드 받거나 생성하고, 상기 3차원 격자지도를 다운로드 받거나 생성함과 동시에 상기 3차원 격자지도 DB에 저장하는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 3차원 격자지도를 다운로드 받을 때, 출발지로부터 목적지까지의 경로에 대한 3차원 격자지도를 다운로드 받거나, 자차량의 위치로부터 설정반경 이내의 경로에 대한 3차원 격자지도를 다운로드 받는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 3차원 격자지도를 다운로드 받을 때, 날씨, 교통상황 및 시간대 중 적어도 하나 이상을 인자로 하는 함수를 기반으로 목적지까지의 최적의 경로에 대한 3차원 격자지도를 자동으로 다운로드 받는 것을 특징으로 한다.
본 발명에서, 상기 차량 제어부는, 상기 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 상기 전방위 영상의 3차원 복원을 수행하여 상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 주변의 상기 3차원 격자 지도를 생성하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 3차원 격자지도를 이용한 자율 주행 제어 방법은, 차량 제어부가 주행경로에 대한 3차원 격자지도가 3차원 격자지도 DB에 존재하는지의 여부에 따라 3차원 격자지도를 다운로드 받거나 생성하는 단계; 상기 차량 제어부가 위치정보 수신부로부터 입력된 자차량의 위치정보와 DAS 센서부로부터 입력된 주변의 DAS 정보를 기반으로 자율 주행을 수행하는 단계; 및 상기 차량 제어부가 자율 주행을 수행하면서 상기 위치정보와 상기 DAS 정보의 신뢰도에 따라 3차원 격자지도 정보를 자율 주행에 반영하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는, 상기 자차량의 위치정보 및 주변의 DAS 정보의 신뢰도를 판단하여 수치화하는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는, 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보의 신뢰도가 임계값 이하인 경우, 상기 DAS 센서부로부터 입력된 주변의 DAS 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는, 상기 DAS 센서부로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인 경우, 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는, 상기 DAS 센서부를 통해 전방 장애물의 감지상태를 판단하여 설정시간 동안의 전방 장애물의 검출 횟수를 카운트하고, 상기 전방 장애물의 검출 횟수가 설정치 이상인 경우, 상기 DAS 정보 중 전방카메라 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는, 상기 3차원 격자지도를 다운로드 받거나 생성함과 동시에 상기 3차원 격자지도 DB에 저장하는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는, 상기 3차원 격자지도를 다운로드 받을 때, 출발지로부터 목적지까지의 경로에 대한 3차원 격자지도를 다운로드 받거나, 자차량의 위치로부터 설정반경 이내의 경로에 대한 3차원 격자지도를 다운로드 받는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는, 상기 3차원 격자지도를 다운로드 받을 때, 날씨, 교통상황 및 시간대 중 적어도 하나 이상을 인자로 하는 함수를 기반으로 목적지까지의 최적의 경로에 대한 3차원 격자지도를 자동으로 다운로드 받는 것을 특징으로 한다.
본 발명의 상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는, 상기 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 상기 전방위 영상의 3차원 복원을 수행하여 상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 주변의 상기 3차원 격자 지도를 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법은, 자차량의 위치정보 및 주변정보의 신뢰도에 따라 3차원 격자지도 반영 여부를 결정하여 자율 주행을 수행함으로써, 고정 물체뿐만 아니라 주위 차량의 궤적정보도 데이터베이스화하여 자차량의 위치 신뢰도 및 주위 차량의 궤적 예측 신뢰도를 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법은, 3차원 격자 지도를 통해 자차량의 정확한 위치정보와 주변 환경정보를 획득하여 자율 주행을 수행함으로써, 자율 주행의 안정성을 향상시킬 수 있고 이에 따라 사용자의 만족도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 방법에서 3차원 격자지도 반영 여부를 결정하는 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치를 나타낸 블록구성도로서, 이를 참조하여 3차원 격자지도를 이용한 자율 주행 제어 장치를 설명하면 다음과 같다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치는, 전방위 카메라(10), 위치정보 수신부(20), DAS 센서부(30), 차량 제어부(40), 3차원 격자지도 데이터베이스(50) 및 표시부(60)를 포함한다.
전방위 카메라(10)는 회전체 반사경(미도시)과 집광 렌즈(미도시) 및 촬상 소자(미도시)를 이용하여 전방위를 한 번에 촬영하여 전방위 영상을 차량 제어부(40)에 제공하여 위치 인식 및 3차원 격자지도 작성에 이용된다.
위치정보 수신부(20)는 GNSS(Global Navigation Satellite System)를 기반으로 인공위성에서 발신된 전파를 통해 자차량의 위치정보를 수신하여 차량 제어부(40)에 제공한다.
GNSS로는 GPS(Global Positioning System), GLONASS(Global Navigation Satellite System), 갈릴레오(Galileo), 베이더우(Beidou) 등이 있다.
DAS(Driver Assistant System) 센서부(30)는 자차량의 전방 및 주변을 감지하여 감지결과를 차량 제어부(40)에 제공한다.
여기서, DAS 센서부(30)로는 자차량의 전방을 감시하기 위한 전방 카메라(미도시)와 전방 레이더(미도시)를 구비할 수 있고, 자차량의 후방 및 측방을 감시하기 위한 후방 레이더(미도시)와 측방 레이더(미도시)를 포함할 수 있다.
3차원 격자지도 데이터베이스(DB, 50)는 3차원 격자지도를 저장하는 것으로, 기 주행했던 경로에 대한 3차원 격자지도와, 차량 제어부(40)에 의해 생성되거나 다운로드된 3차원 격자지도를 저장할 수 있다. 즉, 차량 제어부(40)가 주행경로에 대한 3차원 격자지도가 3차원 격자지도 DB(50)에 존재하는지 여부에 따라 3차원 격자지도를 다운로드 받거나 생성함과 동시에 상기 3차원 격자지도 DB(50)에 저장할 수 있다.
이때, 3차원 격자지도 DB(50)는 차량 내에 구비된 저장장치 일 수 있다. 예를 들어, 헤드 유닛이나 네비게이션의 메모리일 수 있다. 또한, 3차원 격자지도 DB(50)는 서버 상에 구비되는 클라우드(Cloud) 형태의 저장공간일 수도 있다.
한편, 3차원 격자지도 DB(50)는 기 주행했던 구간에 대한 3차원 격자지도 정보를 별도로 저장할 수 있다.
표시부(60)는 3차원 격자지도 정보를 표출한다.
차량 제어부(40)는 주행경로에 대한 3차원 격자지도의 존재여부에 따라 이미 주행하여 3차원 격자지도가 생성된 주행경로인 경우에는 3차원 격자지도 DB(50)에 저장된 3차원 격자지도를 입력받고, 3차원 격자지도가 존재하지 않는 주행경로인 경우에는 3차원 격자지도를 다운로드 받거나, 전방위 카메라(10)로부터 획득되는 전방위 영상을 기반으로 3차원 격자지도를 생성한다.
여기서, 3차원 격자지도를 다운로드 받을 때 차량 제어부(40)는, 출발지로부터 목적지까지의 경로에 대한 3차원 격자지도를 다운로드 받거나, 자차량의 위치로부터 설정반경 이내의 경로에 대한 3차원 격자지도를 다운로드 받을 수 있다. 또한, 차량 제어부(40)는 날씨, 교통상황 및 시간대 중 적어도 하나 이상을 인자로 하는 함수를 기반으로 목적지까지의 최적의 경로에 대한 3차원 격자지도를 자동으로 다운받을 수도 있다. 예를 들어, 차량 제어부(40)는 강수량, 교통혼잡도, 출퇴근시간대 등에 따라 목적지까지 가는 최적의 경로에 대해서 3차원 격자지도를 다운받을 수 있다.
이때, 3차원 격자지도를 다운로드 받는 방법에 대해서는, 사용자의 선택에 의해서 결정될 수 있으며, 미리 설정되어질 수 있다.
또한, 차량 제어부(40)는 전방위 카메라(10)로부터 주변의 전방위 영상을 획득하여 에피폴라 라인(Epipolar Line)을 구하고, 이 에피폴라 라인 상의 특징점을 추출하여 이 특징점들의 2차원 좌표를 구하여 현재의 2차원 위치를 확인하고, 전방위 영상으로부터 스테레오 정합 영상을 생성하여 3차원 복원을 수행한 후 이를 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 주변의 3차원 격자지도를 생성할 수 있다.
그리고 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보와 DAS 센서부(30)로부터 입력된 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 상기 위치정보와 DAS 정보의 신뢰도에 따라 3차원 격자지도 정보를 반영하면서 자율 주행을 수행할 수 있다.
이때, 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보 및 DAS 센서부(30)로부터 입력된 주변의 DAS 정보의 신뢰도를 판단하여 수치화한다. 즉, 차량 제어부(40)는 상기 수치화한 위치정보 및 DAS 정보의 신뢰도를 기반으로 하여 3차원 격자지도 정보 반영을 결정할 수 있다.
예를 들어, 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보의 신뢰도가 임계값 이하인 경우, DAS 센서부(30)로부터 입력된 주변의 DAS 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행할 수 있다.
이때, 3차원 격자지도 정보는 3차원 격자지도 DB(50)에 기 저장된 3차원 격자지도와, 다운로드 받거나 생성함과 동시에 저장한 3차원 격자지도에 대한 3차원 격자지도 정보를 포함할 수 있다.
그리고, 차량 제어부(40)는 DAS 센서부(30)로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인 경우, 위치정보 수신부(20)로부터 입력된 자차량의 위치정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행할 수 있다.
또한, 차량 제어부(40)는 DAS 센서부(30)를 통해 전방 장애물의 감지상태를 판단하여 설정시간 동안의 전방 장애물의 검출 횟수를 카운트하고, 상기 전방 장애물의 검출 횟수가 설정치 이상인 경우, DAS 정보 중 전방카메라 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행할 수도 있다. 여기서, 전방 장애물은 보행자나 자전거 등을 포함할 수 있다.
따라서, 평소에는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보 및 DAS 센서부(30)로부터 입력된 주변의 DAS 정보를 기반으로 하여 자차량의 위치를 파악하여 자율 주행을 수행하고, 위치정보 또는 DAS 정보의 신뢰도가 임계값 이하로 낮을 경우에는 3차원 격자지도 정보를 반영하여 자율 주행을 수행함으로써, 자차량의 위치 신뢰도뿐만 아니라 주위 차량의 궤적 예측 신뢰도까지 향상시킬 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 방법에서 3차원 격자지도 반영 여부를 결정하는 방법을 설명하기 위한 흐름도로서, 이를 참조하여 3차원 격자지도를 이용한 자율 주행 제어 방법을 설명하면 다음과 같다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 방법은, 먼저 차량 제어부(40)가 주행경로에 대한 3차원 격자지도의 존재 여부를 확인한다(S10).
즉, 차량 제어부(40)는 이미 주행하여 3차원 격자지도가 생성된 주행경로인 경우에는 3차원 격자지도 DB(50)에 저장된 3차원 격자지도를 입력받을 수 있다.
S10 단계에서, 주행경로에 대한 3차원 격자지도가 없는 경우, 차량 제어부(40)는 설정방법에 따라 3차원 격자지도를 다운로드 받는다(S20).
여기서, 3차원 격자지도를 다운로드 받을 때 차량 제어부(40)는, 출발지로부터 목적지까지의 경로dp 대한 3차원 격자지도를 다운로드 받거나, 자차량의 위치로부터 설정반경 이내의 경로에 대한 3차원 격자지도를 다운로드 받을 수 있다. 또한, 차량 제어부(40)는 날씨, 교통상황 및 시간대 중 적어도 하나 이상을 인자로 하는 함수를 기반으로 목적지까지의 최적의 경로에 대한 3차원 격자지도를 자동으로 다운받을 수도 있다.
한편, 주행경로에 대한 3차원 격자 지도가 존재하지 않을 경우, 차량 제어부(40)는 전방위 카메라(10)로부터 주변의 전방위 영상을 획득하여 에피폴라 라인(Epipolar Line)을 구하고, 이 에피폴라 라인 상의 특징점을 추출하여 이 특징점들의 2차원 좌표를 구하여 현재의 2차원 위치를 확인하고, 전방위 영상으로부터 스테레오 정합 영상을 생성하여 3차원 복원을 수행한 후 이를 2차원 위치 확인 결과와 3차원 복원 결과를 결합하여 주변의 3차원 격자지도를 생성할 수도 있다.
이때, 차량 제어부(40)는 주행경로에 대한 3차원 격자지도가 3차원 격자지도 DB(50)에 존재하는지 여부에 따라 3차원 격자지도를 다운로드 받거나 생성함과 동시에 3차원 격자지도 DB(50)에 저장할 수 있다.
위에서 3차원 격자지도를 다운로드 받거나 생성한 후, 차량 제어부(40)는 위치정보 수신부(20)와 DAS 센서부(30)로부터 입력된 자차량의 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행한다(S30).
S30 단계에서 위치정보와 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서, 차량 제어부(40)는 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자지도 정보를 반영하면서 자율 주행을 수행한다(S40).
위치정보는 인공위성에서 발신된 전파를 수신하여 측정하기 때문에 건물이나 터널 안에서는 전파가 수신되지 않아 측정할 수 없으며, 시가지의 빌딩 숲을 주행할 경우에는 측정이 부정확해진다. 또한 DAS 정보도 전방 카메라와 레이더를 통해 감지할 경우 복잡한 도로에서는 부정확해진다.
따라서 위치정보와 DAS 정보의 신뢰도를 판단하여 3차원 격자지도 정보를 반영하면서 자율 주행을 수행할 수 있다.
이때, 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보 및 DAS 센서부(30)로부터 입력된 주변의 DAS 정보의 신뢰도를 판단하여 수치화한다. 즉, 차량 제어부(40)는 상기 수치화한 위치정보 및 DAS 정보의 신뢰도를 기반으로 하여 3차원 격자지도 정보 반영을 결정할 수 있다.
도 3에 도시된 바를 참조하여, 3차원 격자지도 반영 여부를 결정하는 방법을 설명하도록 한다.
먼저, 차량 제어부(40)는 위치정보, DAS 정보 및 전방 장애물 검출 횟수를 산출한다(S41).
다시 말해, 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보 및 DAS 센서부(30)로부터 입력된 주변의 DAS 정보의 신뢰도를 수치화하여 산출한다. 또한, DAS 센서부(30)에 포함된 전방카메라를 통해 전방 장애물의 감지상태를 판단하여 설정시간 동안의 전방 장애물의 검출 횟수를 카운트하여 산출할 수 있다.
다음으로, 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보의 신뢰도가 임계값 이하인지 판단한다(S42).
S42 단계에서, 위치정보 수신부(20)로부터 입력된 자차량의 위치정보의 신뢰도가 임계값 이하인 경우, 차량 제어부(40)는 DAS 센서부(30)로부터 입력된 주변의 DAS 정보와 3차원 격자지도 정보를 반영하여 자율 주행을 수행할 수 있다(S43).
그 다음, 차량 제어부(40)는 DAS 센서부(30)로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인지 판단한다(S44).
S44 단계에서, DAS 센서부(30)로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인 경우, 차량 제어부(40)는 위치정보 수신부(20)로부터 입력된 자차량의 위치정보와 3차원 격자지도 정보를 반영하여 자율 주행을 수행할 수 있다(S45).
다음으로, 차량 제어부(40)는 전방 장애물의 검출 횟수가 설정치 이상인지 판단한다(S46).
S46 단계에서, 전방 장애물의 검출 횟수가 설정치 이상인 경우, 차량 제어부(40)는 DAS 정보 중 전방카메라 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행할 수 있다(S47).
한편, 위치정보의 신뢰도가 임계값를 초과하거나 DAS 정보가 임계값을 초과하거나 전방 장애물 검출 횟수가 설정치 미만인 경우에는 위치정보 및 DAS 정보를 기반으로 자율 주행을 수행할 수 있다.
또한, 본 실시예에서는 S42, S44 및 S46 단계를 순서대로 도시하였으나, 이는 예시적인 것에 불과하며, 그 순서는 변경될 수 있고, 순서에 상관없이 제어할 수도 있을 것이다.
본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법은, 자차량의 위치정보 및 주변정보의 신뢰도에 따라 3차원 격자지도 반영 여부를 결정하여 자율 주행을 수행함으로써, 고정 물체뿐만 아니라 주위 차량의 궤적정보도 데이터베이스화하여 자차량의 위치 신뢰도 및 주위 차량의 궤적 예측 신뢰도를 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법은, 3차원 격자 지도를 통해 자차량의 정확한 위치정보와 주변 환경정보를 획득하여 자율 주행을 수행함으로써, 자율 주행의 안정성을 향상시킬 수 있고 이에 따라 사용자의 만족도를 향상시킬 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
10 ; 전방위 카메라 20 : 위치정보 수신부
30 : DAS 센서부 40 : 차량 제어부
50 : 3차원 격자지도 DB 60 : 표시부

Claims (18)

  1. 자차량의 전방위를 촬영하여 전방위 영상을 제공하는 전방위 카메라;
    위성항법 정보를 통해 상기 자차량의 위치를 수신하는 위치정보 수신부;
    상기 자차량의 전방 및 주변을 감지하는 DAS(Driver Assistant System) 센서부;
    3차원 격자지도를 저장하는 3차원 격자지도 데이터베이스(DB); 및
    상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보와 상기 DAS 센서부로부터 입력된 주변의 DAS 정보를 기반으로 자율 주행을 수행하면서 상기 위치정보와 상기 DAS 정보의 신뢰도에 따라 3차원 격자지도 정보를 자율 주행에 반영하는 차량 제어부;를 포함하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  2. 제 1항에 있어서,
    상기 차량 제어부는,
    상기 자차량의 위치정보 및 주변의 DAS 정보의 신뢰도를 판단하여 수치화하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  3. 제 2항에 있어서,
    상기 차량 제어부는,
    상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보의 신뢰도가 임계값 이하인 경우, 상기 DAS 센서부로부터 입력된 주변의 DAS 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  4. 제 2항에 있어서,
    상기 차량 제어부는,
    상기 DAS 센서부로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인 경우, 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  5. 제 2항에 있어서,
    상기 차량 제어부는,
    상기 DAS 센서부를 통해 전방 장애물의 감지상태를 판단하여 설정시간 동안의 전방 장애물의 검출 횟수를 카운트하고, 상기 전방 장애물의 검출 횟수가 설정치 이상인 경우, 상기 DAS 정보 중 전방카메라 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  6. 제 1항에 있어서,
    상기 차량 제어부는,
    주행경로에 대한 3차원 격자지도가 상기 3차원 격자지도 DB에 존재하는지의 여부에 따라 3차원 격자지도를 다운로드 받거나 생성하고, 상기 3차원 격자지도를 다운로드 받거나 생성함과 동시에 상기 3차원 격자지도 DB에 저장하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  7. 제 6항에 있어서,
    상기 차량 제어부는,
    상기 3차원 격자지도를 다운로드 받을 때, 출발지로부터 목적지까지의 경로에 대한 3차원 격자지도를 다운로드 받거나, 자차량의 위치로부터 설정반경 이내의 경로에 대한 3차원 격자지도를 다운로드 받는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  8. 제 6항에 있어서,
    상기 차량 제어부는,
    상기 3차원 격자지도를 다운로드 받을 때, 날씨, 교통상황 및 시간대 중 적어도 하나 이상을 인자로 하는 함수를 기반으로 목적지까지의 최적의 경로에 대한 3차원 격자지도를 자동으로 다운로드 받는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  9. 제 1항에 있어서,
    상기 차량 제어부는,
    상기 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 상기 전방위 영상의 3차원 복원을 수행하여 상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 주변의 상기 3차원 격자 지도를 생성하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 장치.
  10. 차량 제어부가 주행경로에 대한 3차원 격자지도가 3차원 격자지도 DB에 존재하는지의 여부에 따라 3차원 격자지도를 다운로드 받거나 생성하는 단계;
    상기 차량 제어부가 위치정보 수신부로부터 입력된 자차량의 위치정보와 DAS 센서부로부터 입력된 주변의 DAS 정보를 기반으로 자율 주행을 수행하는 단계; 및
    상기 차량 제어부가 자율 주행을 수행하면서 상기 위치정보와 상기 DAS 정보의 신뢰도에 따라 3차원 격자지도 정보를 자율 주행에 반영하는 단계;를 포함하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  11. 제 10항에 있어서,
    상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는,
    상기 자차량의 위치정보 및 주변의 DAS 정보의 신뢰도를 판단하여 수치화하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  12. 제 11항에 있어서,
    상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는,
    상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보의 신뢰도가 임계값 이하인 경우, 상기 DAS 센서부로부터 입력된 주변의 DAS 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  13. 제 11항에 있어서,
    상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는,
    상기 DAS 센서부로부터 입력된 주변의 DAS 정보의 신뢰도가 임계값 이하인 경우, 상기 위치정보 수신부로부터 입력된 상기 자차량의 위치정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  14. 제 11항에 있어서,
    상기 3차원 격자지도 정보를 자율 주행에 반영하는 단계에서, 상기 차량 제어부는,
    상기 DAS 센서부를 통해 전방 장애물의 감지상태를 판단하여 설정시간 동안의 전방 장애물의 검출 횟수를 카운트하고, 상기 전방 장애물의 검출 횟수가 설정치 이상인 경우, 상기 DAS 정보 중 전방카메라 정보와 3차원 격자지도 정보에 근거하여 자율 주행을 수행하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  15. 제 10항에 있어서,
    상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는,
    상기 3차원 격자지도를 다운로드 받거나 생성함과 동시에 상기 3차원 격자지도 DB에 저장하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  16. 제 15항에 있어서,
    상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는,
    상기 3차원 격자지도를 다운로드 받을 때, 출발지로부터 목적지까지의 경로에 대한 3차원 격자지도를 다운로드 받거나, 자차량의 위치로부터 설정반경 이내의 경로에 대한 3차원 격자지도를 다운로드 받는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  17. 제 15항에 있어서,
    상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는,
    상기 3차원 격자지도를 다운로드 받을 때, 날씨, 교통상황 및 시간대 중 적어도 하나 이상을 인자로 하는 함수를 기반으로 목적지까지의 최적의 경로에 대한 3차원 격자지도를 자동으로 다운로드 받는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
  18. 제 10항에 있어서,
    상기 3차원 격자지도를 다운로드 받거나 생성하는 단계에서, 상기 차량 제어부는,
    상기 전방위 카메라로부터 주변의 전방위 영상을 획득하여 현재의 2차원 위치를 확인하고, 상기 전방위 영상의 3차원 복원을 수행하여 상기 2차원 위치 확인 결과와 상기 3차원 복원 결과를 결합하여 주변의 상기 3차원 격자 지도를 생성하는 것을 특징으로 하는 3차원 격자지도를 이용한 자율 주행 제어 방법.
KR1020170066531A 2017-05-30 2017-05-30 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법 KR102260975B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170066531A KR102260975B1 (ko) 2017-05-30 2017-05-30 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170066531A KR102260975B1 (ko) 2017-05-30 2017-05-30 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180130671A true KR20180130671A (ko) 2018-12-10
KR102260975B1 KR102260975B1 (ko) 2021-06-04

Family

ID=64670897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170066531A KR102260975B1 (ko) 2017-05-30 2017-05-30 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102260975B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219843B1 (ko) * 2020-11-10 2021-02-25 (주)뉴빌리티 자율주행을 위한 위치 추정 장치 및 방법
CN112486158A (zh) * 2019-09-11 2021-03-12 株式会社东芝 位置推定装置、移动体控制系统、位置推定方法以及程序
KR20210089603A (ko) * 2020-06-29 2021-07-16 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 차량 순항 제어 방법, 장치, 전자 기기 및 저장 매체
US11341742B2 (en) * 2018-12-24 2022-05-24 Electronics And Telecommunications Research Institute Apparatus and method of estimating self-location of vehicle
WO2023050749A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 轨迹预测方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7251394B2 (ja) * 2018-08-31 2023-04-04 株式会社デンソー 車両側装置、方法および記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130091907A (ko) * 2012-02-09 2013-08-20 한국전자통신연구원 차량의 자율주행 장치 및 그 방법
KR20160027817A (ko) * 2014-09-02 2016-03-10 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
KR101613849B1 (ko) * 2014-12-04 2016-04-29 현대모비스 주식회사 자동차 주행보조 시스템
KR20170011487A (ko) * 2015-07-23 2017-02-02 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130091907A (ko) * 2012-02-09 2013-08-20 한국전자통신연구원 차량의 자율주행 장치 및 그 방법
KR20160027817A (ko) * 2014-09-02 2016-03-10 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
KR101613849B1 (ko) * 2014-12-04 2016-04-29 현대모비스 주식회사 자동차 주행보조 시스템
KR20170011487A (ko) * 2015-07-23 2017-02-02 현대자동차주식회사 차량 및 그 제어방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341742B2 (en) * 2018-12-24 2022-05-24 Electronics And Telecommunications Research Institute Apparatus and method of estimating self-location of vehicle
CN112486158A (zh) * 2019-09-11 2021-03-12 株式会社东芝 位置推定装置、移动体控制系统、位置推定方法以及程序
KR20210089603A (ko) * 2020-06-29 2021-07-16 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 차량 순항 제어 방법, 장치, 전자 기기 및 저장 매체
KR102219843B1 (ko) * 2020-11-10 2021-02-25 (주)뉴빌리티 자율주행을 위한 위치 추정 장치 및 방법
WO2023050749A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 轨迹预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102260975B1 (ko) 2021-06-04

Similar Documents

Publication Publication Date Title
KR102260975B1 (ko) 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
JP7147119B2 (ja) 自律的な自己位置推定のためのデバイス及び方法
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
US12131637B2 (en) Moving object and driving support system for moving object
US9863775B2 (en) Vehicle localization system
BR112019027751A2 (pt) sistema de controle, método para dirigir um veículo e dispositivo de computação
CN112204348B (zh) 信息处理装置
EP3147884B1 (en) Traffic-light recognition device and traffic-light recognition method
JP2022518911A (ja) 乗り物のセンサとカメラアレイからの構造化された地図データの生成
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2002511614A (ja) 物体位置の追跡・検知方法
JPWO2018061084A1 (ja) 自己位置推定方法及び自己位置推定装置
JP2022016908A (ja) 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
JP2005202761A (ja) 車両周辺監視装置
KR20150128140A (ko) 어라운드 뷰 시스템
JP4475015B2 (ja) 車両周辺監視装置及び車両周辺監視方法
CN113196341A (zh) 用于对道路的表面上的对象进行检测和建模的方法
KR101700764B1 (ko) 자율 이동 방법 및 그 장치
US10249056B2 (en) Vehicle position estimation system
WO2022255190A1 (ja) 歩行者装置およびその測位方法
KR102309833B1 (ko) 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법
JP7265269B2 (ja) マップデータの修正方法及び修正プログラム
WO2024095450A1 (ja) 地図データ作成システム、プローブ情報生成装置及び地図データ作成方法
CN114127514A (zh) 机动车周围环境的位置数据的提供和传输
CN118302345A (zh) 停车辅助方法及停车辅助装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170530

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191107

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170530

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201116

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210514

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210531

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210601

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240425

Start annual number: 4

End annual number: 4