KR102338763B1 - V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치 - Google Patents

V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR102338763B1
KR102338763B1 KR1020200001732A KR20200001732A KR102338763B1 KR 102338763 B1 KR102338763 B1 KR 102338763B1 KR 1020200001732 A KR1020200001732 A KR 1020200001732A KR 20200001732 A KR20200001732 A KR 20200001732A KR 102338763 B1 KR102338763 B1 KR 102338763B1
Authority
KR
South Korea
Prior art keywords
image
distance
specific
information
objects
Prior art date
Application number
KR1020200001732A
Other languages
English (en)
Other versions
KR20200094646A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094646A publication Critical patent/KR20200094646A/ko
Application granted granted Critical
Publication of KR102338763B1 publication Critical patent/KR102338763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3878—Hierarchical structures, e.g. layering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 방법에 있어서, (a) 컴퓨팅 장치가, 상기 대상 차량에 탑재된 카메라를 통해 참조 이미지가 획득되면, 상기 참조 이미지 내 참조 객체를 검출하는 단계; (b) 상기 컴퓨팅 장치가, 상기 참조 이미지 상에서, 상기 참조 객체에 대응하는 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체와 상기 대상 차량 간의 이미지 기반 참조 거리를 계산하는 단계; 및 (c) 상기 컴퓨팅 장치가, (i) 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 단계;를 포함하는 방법이 제공된다.

Description

V2X 정보 융합을 이용하여 HD 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치{METHOD AND DEVICE FOR EGO-VEHICLE LOCALIZATION TO UPDATE HD MAP BY USING V2X INFORMATION FUSION}
본 발명은 자율 주행 차량에 이용하기 위한 방법 및 장치에 관한 것으로; 보다 상세하게는, V2X 정보 융합을 이용하여 자차량(ego-vehicle) 위치 결정을 수행하는 상기 방법 및 상기 장치에 관한 것이다.
차량의 자율 주행에서 중요하게 취급되는 구성요소 중 하나는 HD 맵(High-Definition Map)이다. 이는, 자율 주행 시스템이 그에 탑재된 센서를 통해 획득된 정보만을 이용하여 작동되면, 큰 그림을 보는 장기 플래닝이 포함된 주행 전략의 제공이 불가능할 수 있기 때문이다. 여기서, 상기 센서를 통해 획득된 정보가 정확하지 않을 때 비효율적이며 위험한 상황이 발생할 수 있다.
하지만, 이와 같이 자율 주행에 있어서 매우 중요한, 고품질의 HD 맵을 생성할 때 걸림돌이 되는 부분 중 하나는, 자차량(ego-vehicle)에 탑재되어 있는 GPS(Global Positioning System) 모듈의 부정확성 때문에, 상기 자차량에 의해 획득한 정보를 상기 HD 맵에 맵핑하는 것이 쉽지 않다는 것이다.
또한, 상기 HD 맵이 정밀하게 제작되었다 하더라도, 이를 사용하여 자율 주행을 수행하는 자율 주행 차량의 위치가 정확하게 검출되지 않는다면 문제가 생길 수 있다. 결국, HD 맵을 제작할 때와 이를 사용할 때, 차량의 위치를 결정하는 것이 중요하나, 이에 대한 연구는 많이 이루어지지 않은 것이 사실이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 V2X(vehicle-to-everything) 정보 융합을 이용하여 HD 맵을 업데이트하기 위한 자차량(ego-vehicle) 위치 결정을 수행하는 방법을 제공함으로써, 자차량에 의해 획득된 정보가 상기 HD 맵에 더 정확하게 맵핑될 수 있도록, 상기 자차량의 더 정확한 위치를 산출해내는 것을 다른 목적으로 한다.
본 발명은 상기 HD 맵을 사용하는 자율 주행 차량의 위치 결정을 수행하는 방법을 제공함으로써, 자율 주행이 잘 이루어지도록, 상기 자율 주행 차량의 더 정확한 위치를 산출해내는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 방법에 있어서, (a) 상기 대상 차량과 연동하는 컴퓨팅 장치가, 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출하는 단계; (b) 상기 컴퓨팅 장치가, 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 좌표 기반 참조 거리 각각이 획득되면, (i) 상기 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 하기 수식에 따라 상기 거리 오차 값을 생성하되,
Figure 112020001340756-pat00001
Figure 112020001340756-pat00002
는 상기 참조 객체 중 제k 참조 객체에 대응하는 이미지 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00003
는 상기 제k 참조 객체에 대응하는 상기 좌표 기반 참조 거리 중 하나를 의미하며,
Figure 112020001340756-pat00004
는 상기 제k 객체에 대한 가중치를 의미하고,
Figure 112020001340756-pat00005
은 상기 참조 객체의 개수를 의미한다.
일 실시예에서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 참조 바운딩 박스에, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 가하여 상기 이미지 기반 참조 거리를 계산하되, (i) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X(vehicle-to-everything) 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성되고, (ii) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 적어도 하나의 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성된다.
일 실시예에서, 상기 제(1-1) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
Figure 112020001340756-pat00006
Figure 112020001340756-pat00007
는 상기 제(1-1) 특정 이미지 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00008
는 상기 카메라의 초점 거리를 의미하며,
Figure 112020001340756-pat00009
는, 상기 제(1-1) 특정 참조 객체 중 하나에 대응하는 상기 제(1-1) 특정 참조 객체 높이 정보 중 하나를 의미하고,
Figure 112020001340756-pat00010
는 상기 제(1-1) 특정 참조 객체 중 상기 하나의 상기 참조 이미지 상에서의 겉보기 높이(apparent height)를 의미한다.
일 실시예에서, 상기 제(1-2) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
Figure 112020001340756-pat00011
Figure 112020001340756-pat00012
는 상기 제(1-2) 특정 좌표 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00013
는 상기 카메라의 초점 거리를 의미하며,
Figure 112020001340756-pat00014
는 상기 카메라의 높이를 의미하고,
Figure 112020001340756-pat00015
는, 제(1-2) 특정 참조 객체 중 하나에 대응하는 상기 제(1-2) 특정 참조 바운딩 박스 중 하나의 하단 경계와 상기 기준점 간의 상기 참조 이미지 상에서의 겉보기 거리(apparent distance)를 의미한다.
일 실시예에서, (i) 상기 좌표 기반 참조 거리 중에서 하나 이상의 제(2-1) 특정 좌표 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(2-1) 특정 참조 객체와 상기 대상 차량 간의 V2X 통신을 통해 획득된 제(2-1) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성되고, (ii) 상기 좌표 기반 참조 거리 중 하나 이상의 제(2-2) 특정 좌표 기반 참조 거리는, 데이터베이스로부터 획득된 제(2-2) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성된다.
일 실시예에서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, CNN(Convolutional Neural Network)로 하여금, 적어도 하나의 컨벌루션 연산, 적어도 하나의 ROI(Region-Of-Interest) 풀링 연산 및 적어도 하나의 FC(Fully-Connected) 네트워크 연산을 상기 참조 이미지에 차례로 가하도록 함으로써, 상기 참조 이미지에 상기 객체 검출 연산을 가한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, (i) 상기 대상 위치 정보를 조정하는 프로세스, (ii) 상기 조정된 대상 위치 정보를 이용하여 상기 거리 오차 값을 다시 계산하는 프로세스, 및 (iii) 상기 다시 계산된 거리 오차 값이 작아졌는지 여부에 대한 정보를 참조하여 상기 조정된 대상 위치 정보를 다시 조정하는 프로세스를 반복함으로써, 상기 대상 위치 정보를 캘리브레이션하여 상기 거리 오차 값이 최소화되는 캘리브레이션된 대상 위치 정보를 생성한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, HD 맵(High-Definition Map)을 업데이트하기 위해 사용될 업데이트용 정보를 저장하면서, 상기 캘리브레이션된 상기 대상 위치 정보를 참조하여 상기 업데이트용 정보가 획득된 위치에 대한 정보를 기록한다.
일 실시예에서, 상기 참조 객체는 (i) V2X 통신이 가능한 하나 이상의 모바일 객체 및 (ii) 하나 이상의 고정 객체 중 적어도 일부를 포함하되, 상기 고정 객체는 (ii-1) 상기 V2X 통신이 가능하거나 (ii-2) 상기 고정 객체에 대한 정보가 데이터베이스에 저장된 상태이고, 상기 참조 객체는, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 주변 차량, 하나 이상의 교통 표지판, 하나 이상의 신호등, 및 하나 이상의 노면 표시 중 적어도 일부를 포함한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 캘리브레이션된 대상 위치 정보를 참조하여, HD 맵 상에서의 상기 대상 차량의 위치를 계산하고, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 객체에 대한 정보를 상기 HD 맵으로부터 획득함으로써, 상기 대상 차량의 자율 주행을 지원한다.
본 발명의 다른 태양에 따르면, 상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출하는 프로세스, (II) 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산하는 프로세스, 및 (III) 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 좌표 기반 참조 거리 각각이 획득되면, (i) 상기 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 하기 수식에 따라 상기 거리 오차 값을 생성하되,
Figure 112020001340756-pat00016
Figure 112020001340756-pat00017
는 상기 참조 객체 중 제k 참조 객체에 대응하는 이미지 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00018
는 상기 제k 참조 객체에 대응하는 상기 좌표 기반 참조 거리 중 하나를 의미하며,
Figure 112020001340756-pat00019
는 상기 제k 객체에 대한 가중치를 의미하고,
Figure 112020001340756-pat00020
은 상기 참조 객체의 개수를 의미한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 참조 바운딩 박스에, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 가하여 상기 이미지 기반 참조 거리를 계산하되, (i) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X(vehicle-to-everything) 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성되고, (ii) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 적어도 하나의 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성된다.
일 실시예에서, 상기 제(1-1) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
Figure 112020001340756-pat00021
Figure 112020001340756-pat00022
는 상기 제(1-1) 특정 이미지 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00023
는 상기 카메라의 초점 거리를 의미하며,
Figure 112020001340756-pat00024
는, 상기 제(1-1) 특정 참조 객체 중 하나에 대응하는 상기 제(1-1) 특정 참조 객체 높이 정보 중 하나를 의미하고,
Figure 112020001340756-pat00025
는 상기 제(1-1) 특정 참조 객체 중 상기 하나의 상기 참조 이미지 상에서의 겉보기 높이(apparent height)를 의미한다.
일 실시예에서, 상기 제(1-2) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
Figure 112020001340756-pat00026
Figure 112020001340756-pat00027
는 상기 제(1-2) 특정 좌표 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00028
는 상기 카메라의 초점 거리를 의미하며,
Figure 112020001340756-pat00029
는 상기 카메라의 높이를 의미하고,
Figure 112020001340756-pat00030
는, 제(1-2) 특정 참조 객체 중 하나에 대응하는 상기 제(1-2) 특정 참조 바운딩 박스 중 하나의 하단 경계와 상기 기준점 간의 상기 참조 이미지 상에서의 겉보기 거리(apparent distance)를 의미한다.
일 실시예에서, (i) 상기 좌표 기반 참조 거리 중에서 하나 이상의 제(2-1) 특정 좌표 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(2-1) 특정 참조 객체와 상기 대상 차량 간의 V2X 통신을 통해 획득된 제(2-1) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성되고, (ii) 상기 좌표 기반 참조 거리 중 하나 이상의 제(2-2) 특정 좌표 기반 참조 거리는, 데이터베이스로부터 획득된 제(2-2) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, CNN(Convolutional Neural Network)로 하여금, 적어도 하나의 컨벌루션 연산, 적어도 하나의 ROI(Region-Of-Interest) 풀링 연산 및 적어도 하나의 FC(Fully-Connected) 네트워크 연산을 상기 참조 이미지에 차례로 가하도록 함으로써, 상기 참조 이미지에 상기 객체 검출 연산을 가한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, (i) 상기 대상 위치 정보를 조정하는 프로세스, (ii) 상기 조정된 대상 위치 정보를 이용하여 상기 거리 오차 값을 다시 계산하는 프로세스, 및 (iii) 상기 다시 계산된 거리 오차 값이 작아졌는지 여부에 대한 정보를 참조하여 상기 조정된 대상 위치 정보를 다시 조정하는 프로세스를 반복함으로써, 상기 대상 위치 정보를 캘리브레이션하여 상기 거리 오차 값이 최소화되는 캘리브레이션된 대상 위치 정보를 생성한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, HD 맵(High-Definition Map)을 업데이트하기 위해 사용될 업데이트용 정보를 저장하면서, 상기 캘리브레이션된 상기 대상 위치 정보를 참조하여 상기 업데이트용 정보가 획득된 위치에 대한 정보를 기록한다.
일 실시예에서, 상기 참조 객체는 (i) V2X 통신이 가능한 하나 이상의 모바일 객체 및 (ii) 하나 이상의 고정 객체 중 적어도 일부를 포함하되, 상기 고정 객체는 (ii-1) 상기 V2X 통신이 가능하거나 (ii-2) 상기 고정 객체에 대한 정보가 데이터베이스에 저장된 상태이고, 상기 참조 객체는, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 주변 차량, 하나 이상의 교통 표지판, 하나 이상의 신호등, 및 하나 이상의 노면 표시 중 적어도 일부를 포함한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 캘리브레이션된 대상 위치 정보를 참조하여, HD 맵 상에서의 상기 대상 차량의 위치를 계산하고, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 객체에 대한 정보를 상기 HD 맵으로부터 획득함으로써, 상기 대상 차량의 자율 주행을 지원한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 V2X(vehicle-to-everything) 정보 융합을 이용하여 HD 맵을 업데이트하기 위한 자차량(ego-vehicle) 위치 결정을 수행하는 방법을 제공함으로써, 자차량에 의해 획득된 정보가 상기 HD 맵에 더 정확하게 맵핑(mapping)될 수 있도록 상기 자차량의 더 정확한 위치를 산출해내도록 할 수 있는 효과가 있다.
또한, 본 발명은 상기 HD 맵을 사용하는 자율 주행 차량의 위치 결정을 수행하는 방법을 제공함으로써, 자율 주행이 잘 이루어지도록, 상기 자율 주행 차량의 더 정확한 위치를 산출해내도록 할 수 있는 효과가 있다.
본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 V2X(vehicle-to-everything) 정보 융합을 이용하여 자차량(ego-vehicle) 위치 결정 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 상기 V2X 정보 융합을 이용한 상기 자차량 위치 결정 방법의 흐름을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 상기 V2X 정보 융합을 이용하여 상기 자차량 위치 결정 방법을 수행하기 위해 이용될 CNN(Convolutional Neural Network)의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 상기 V2X 정보 융합을 이용하여 상기 자차량 위치 결정 방법을 수행하기 위해 이용될, 자차량과 주변 객체 간 거리를 계산하는 방식을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 V2X(vehichel-to-everything) 정보 융합을 이용하여 자차량(ego-vehicle) 위치 결정 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 컴퓨팅 장치(100)는, 통신부(110), 메모리(115) 및 프로세서(120)을 포함할 수 있다. 상기 컴퓨팅 장치(100)의 입출력 및 연산 과정은 각각 상기 통신부(110) 및 상기 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 상기 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 상기 프로세서(120)는 추후 설명할 인스트럭션들을 수행함으로써 본 발명의 프로세스들을 수행할 수 있다. 이와 같이 상기 컴퓨팅 장치(100)가 묘사되었다고 하여, 상기 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서, 메모리, 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같은 상기 컴퓨팅 장치(100)는, 대상 차량에 탑재되거나, 상기 대상 차량과 연동하는 서버에 탑재된 것일 수 있다. 여기서, 상기 대상 차량은, HD 맵 (High-Definition Map)을 업데이트하기 위해 이용될 정보를 획득하는 차량, 또는 상기 HD 맵을 사용하여 자율 주행을 수행하는 자율 주행 차량일 수 있다.
이상 본 발명의 일 실시예에 따른 상기 컴퓨팅 장치(100)의 구성에 대해 설명하였다. 이하 본 발명의 상기 자차량 위치 결정 방법에 대해 도 2를 참조로 하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 상기 V2X 정보 융합을 이용하여 상기 자차량 위치 결정 방법의 흐름을 개략적으로 나타낸 도면이다.
도 2를 참조로 하면, 상기 자차량 위치 결정 방법의 흐름을 개략적으로 알 수 있다. 먼저, 상기 컴퓨팅 장치(100)는, 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지를 획득할 수 있다. 이후, 상기 컴퓨팅 장치(100)는, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출할 수 있다(S01). 그 후 상기 컴퓨팅 장치(100)가, 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산할 수 있다(S02). 마지막으로, 상기 컴퓨팅 장치(100)가, 추후 설명할 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)할 수 있다(S03).
이하, 본 발명의 상기 자차량 위치 결정 방법에 대해 더욱 구체적으로 설명하도록 한다.
먼저, 상기 컴퓨팅 장치(100)는, 상기 카메라를 통해 상기 참조 이미지가 획득되면, 상기 컴퓨팅 장치(100)에 포함된 CNN(Convolutional Neural Network)을 이용하여 상기 참조 이미지에 상기 객체 검출 연산을 가할 수 있다. 상기 CNN의 동작에 대해 설명하기 위해 도 3을 참조하도록 한다.
도 3은 본 발명의 일 실시예에 따른 상기 V2X 정보 융합을 이용하여 상기 자차량 위치 결정 방법을 수행하기 위해 이용될 CNN의 구성을 나타낸 도면이다.
도 3을 참조로 하면, 상기 CNN(200)은 컨벌루션 레이어(210), ROI (Region-Of-Interest) 풀링 레이어(220) 및 FC(Fully-Connected) 레이어(230)를 포함할 수 있으며, RPN(Region Proposal Network)(240)과 연동할 수 있음을 확인할 수 있다. 이 때, 상기 컴퓨팅 장치(100)는, 상기 CNN(200)에 포함된 상기 컨벌루션 레이어(210)로 하여금, 상기 참조 이미지에 적어도 하나의 컨벌루션 연산을 가하여 참조 특징 맵을 생성하도록 할 수 있다. 그 후, 상기 컴퓨팅 장치(100)는, 상기 RPN(240)으로 하여금, 상기 참조 이미지 상에서 상기 참조 객체가 위치할 것으로 예측되는 하나 이상의 참조 ROI를 검출하도록 하고, 상기 ROI 풀링 레이어(220)로 하여금, 상기 참조 특징 맵에 적어도 하나의 ROI 풀링 연산을 가함으로써, 상기 참조 ROI에 대응하는 상기 참조 특징 맵 상의 값을 풀링할 수 있다. 이후, 상기 컴퓨팅 장치(100)는, 상기 FC 레이어(230)으로 하여금, 상기 풀링된 값에 적어도 하나의 FC 네트워크 연산을 가함으로써, 각각의 상기 참조 객체에 대응하는 각각의 상기 참조 바운딩 박스에 대한 위치 정보 및 클래스 정보를 생성할 수 있다. 이와 같은 프로세스를 통해, 상기 객체 검출 연산이 이루어질 수 있을 것이다.
이후, 상기 컴퓨팅 장치(100)는, 상기 참조 객체 각각과 상기 대상 차량 간의 상기 이미지 기반 참조 거리 각각을 계산할 수 있다. 이하 상기 이미지 기반 참조 거리가 계산되는 구체적인 방법에 대해 설명하도록 한다.
상기 컴퓨팅 장치(100)는, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 상기 참조 바운딩 박스에 가하여, 상기 이미지 기반 참조 거리를 계산할 수 있다. 이때, 각각의 상기 참조 바운딩 박스에 가해지는 상기 이미지 거리 예측 연산은, 각각의 상기 참조 바운딩 박스에 포함된 각각의 상기 참조 객체가 속한 카테고리에 따라 다르게 가해질 수 있다.
즉, 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성될 수 있다. 일 예로, 상기 제(1-1) 특정 참조 객체는, 납작한 객체가 아닌, 높이가 임계치보다 큰 객체의 한 종류일 수 있다. 상기 예를 따르면, 상기 제(1-1) 특정 참조 객체는, 상기 대상 차량으로부터 임계 거리 이하에 위치한 주변 차량, 교통 표지판 및 신호등 중 적어도 일부를 포함할 수 있다. 이러한 제(1-1) 특정 참조 객체에 대응하는 상기 제(1-1) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행될 수 있다.
Figure 112020001340756-pat00031
여기서,
Figure 112020001340756-pat00032
는 상기 제(1-1) 특정 이미지 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00033
는 상기 카메라의 초점 거리를 의미한다. 또한,
Figure 112020001340756-pat00034
는 상기 제(1-1) 특정 참조 객체 중 하나에 대응하는 상기 제(1-1) 특정 참조 객체 높이 정보 중 하나를 의미하고,
Figure 112020001340756-pat00035
는 상기 제(1-1) 특정 참조 객체 중 상기 하나의 상기 참조 이미지 상에서의 겉보기 높이(apparent height)를 의미한다. 상기 겉보기 높이는, 상기 제(1-1) 특정 참조 객체 중 상기 하나를 포함하는, 상기 제(1-1) 특정 참조 바운딩 박스 중 하나의 세로 높이에 대한 정보를 이용하여 획득될 수 있다. 이와 같은, 상기 제(1-1) 특정 이미지 거리 예측 연산의 프로세스를 설명하기 위해 도 4를 참조하도록 한다.
도 4는 본 발명의 일 실시예에 따른 상기 V2X 정보 융합을 이용하여 상기 자차량 위치 결정 방법을 수행하기 위해 이용될, 자차량과 주변 객체 간 거리를 계산하는 방식을 개략적으로 나타낸 도면이다.
도 4를 참조하면, (i) 상기 제(1-1) 특정 참조 객체 중 상기 하나에 대응하는 상기 제(1-1) 특정 참조 객체 높이 정보 중 상기 하나, 및 (ii) 상기 제(1-1) 특정 참조 객체 높이 정보 중 상기 하나가 반영된 상기 겉보기 높이를 확인할 수 있다. 이러한 정보 및 값을 이용하여, 상기 제(1-1) 특정 이미지 기반 참조 거리가 계산될 수 있다. 이러한 프로세스에 대해서, 통상의 기술자는 이미지 프로세싱에 대한 종래 기술을 더 참조함으로써 쉽게 이해할 수 있을 것이다.
그리고, 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성될 수 있다. 이때, 상기 제(1-2) 특정 이미지 기반 참조 거리는 하나 이상의 제(1-2) 특정 참조 객체에 대응할 수 있고, 상기 제(1-2) 특정 참조 객체는, 일 예로 높이가 임계치 미만인 납작한 객체의 한 종류일 수 있다. 상기 예에 따르면, 상기 제(1-2) 특정 참조 객체는 도로에 그려진 노면 표시일 수 있다. 또한, 일 예로, 상기 기준점은 상기 참조 이미지의 중심 점일 수 있다. 이때, 상기 제(1-2) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행될 수 있다.
Figure 112020001340756-pat00036
여기서,
Figure 112020001340756-pat00037
는 상기 제(1-2) 특정 좌표 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00038
는 상기 카메라의 초점 거리를 의미한다. 또한,
Figure 112020001340756-pat00039
는 상기 카메라의 높이를 의미하고,
Figure 112020001340756-pat00040
는, 상기 제(1-2) 특정 참조 객체 중 하나에 대응하는 제(1-2) 특정 참조 바운딩 박스 중 하나의 하단 경계와 상기 기준점 간의 상기 참조 이미지 상에서의 겉보기 거리(apparent distance)를 의미할 수 있다. 상기 수식을 이용한 상기 제(1-2) 특정 이미지 거리 예측 연산을 수행하여, 상기 제(1-2) 특정 이미지 기반 참조 거리가 생성될 수 있다.
이상 상기 이미지 기반 참조 거리를 생성하는 방식에 대해 설명하였다. 이와 함께 사용될 상기 좌표 기반 참조 거리를 계산하는 방식에 대해 이하 설명하도록 한다. 이때, 각각의 상기 참조 객체가 속한 카테고리에 따라, 각각의 상기 좌표 기반 참조 거리가 다르게 계산될 것이다.
즉, 상기 좌표 기반 참조 거리 중에서 하나 이상의 제(2-1) 특정 좌표 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(2-1) 특정 참조 객체와 상기 대상 차량 간의 V2X 통신을 통해 획득된 제(2-1) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성될 수 있다. 일 예로, 상기 제(2-1) 특정 참조 객체는, 차량과 같이 이동이 가능한 객체의 한 종류로, 이에 대한 정보가 실시간으로 업데이트되어야 하는 객체일 수 있다. 이 경우에, 상기 컴퓨팅 장치(100)는 상기 V2X 통신을 통해 상기 제(2-1) 특정 참조 객체 위치 정보를 획득할 수 있고, 유클리디안 거리(Euclidean distance)와 같은 임의의 거리 계산 연산을 수행하여 상기 제(2-1) 특정 좌표 기반 참조 거리를 계산할 수 있다. 다만, 경우에 따라 상기 제(2-1) 특정 참조 객체는 이러한 이동이 가능한 객체일 필요는 없다. 다른 예로, 상기 V2X 통신이 가능하면 어떤 객체라도, 상술한 것과 같이 처리될 상기 제(2-1) 특정 참조 객체 중 하나로 다루어질 수 있어, 그에 대응하는 상기 제(2-1) 특정 좌표 기반 참조 거리를 계산할 수 있다. 상기 대상 위치 정보는, 상기 대상 차량에 탑재된 GPS(Global Positioning System)를 통해 획득된 상태일 수 있다.
반면에, 상기 좌표 기반 참조 거리 중 하나 이상의 제(2-2) 특정 좌표 기반 참조 거리는, 데이터베이스로부터 획득된 제(2-2) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성될 수 있다. 일 예로, 상기 제(2-2) 특정 참조 객체는, 이동이 불가능한 고정된 객체의 한 종류로, 이에 대한 정보가 데이터베이스에 저장된 객체일 수 있다. 이 경우, 상기 제(2-2) 특정 참조 객체의 위치가 갱신될 필요가 없으므로, 상기 데이터베이스에 저장된 상기 정보를 이용하여 상기 제(2-2) 특정 좌표 기반 참조 거리가 계산될 수 있다.
상기 이미지 기반 참조 거리 및 상기 좌표 기반 참조 거리를 생성하는 방식에 대해 설명하면서, 상기 제(1-1) 특정 참조 객체, 상기 제(1-2) 특정 참조 객체, 상기 제(2-1) 특정 참조 객체 및 상기 제(2-2) 특정 참조 객체의 개념이 소개되었다. 이때, 임의의 참조 객체는, 상기 제(1-1) 특정 참조 객체 혹은 상기 제(1-2) 특정 참조 객체 중 하나이면서, 동시에 상기 제(2-1) 특정 참조 객체 혹은 상기 제(2-2) 특정 참조 객체 중 하나일 수 있다. 예를 들어, 예시 참조 객체는, 상기 제(1-1) 특정 참조 객체 중 하나이면서, 또한 상기 제(2-2) 특정 참조 객체 중 하나일 수 있다. 간단히 말하면, 상기 참조 객체 각각에 대응하는 이미지 기반 참조 거리를 생성하기 위해 처리되는 방식에 대한 제1 기준을 이용하여, 각각의 상기 참조 객체를 상기 제(1-1) 특정 참조 객체 및 상기 제(1-2) 특정 참조 객체로 분류할 수 있고, 상기 참조 객체 각각에 대응하는 좌표 기반 참조 거리를 생성하기 위해 처리되는 방식에 대한 제2 기준을 이용하여, 각각의 상기 참조 객체를 상기 제(2-1) 특정 참조 객체 및 상기 제(2-2) 특정 참조 객체로 분류할 수 있다. 따라서, 상기 제1 기준 및 상기 제2 기준은 서로 독립적이다.
상기 이미지 기반 참조 거리 및 상기 좌표 기반 참조 거리가 계산되면, 상기 컴퓨팅 장치(100)는, 하기 수식에 따라 상기 거리 오차 값을 생성할 수 있다.
Figure 112020001340756-pat00041
여기서,
Figure 112020001340756-pat00042
는 상기 참조 객체 중 제k 참조 객체에 대응하는 이미지 기반 참조 거리 중 하나를 의미하고,
Figure 112020001340756-pat00043
는 상기 제k 참조 객체에 대응하는 상기 좌표 기반 참조 거리 중 하나를 의미한다. 또한,
Figure 112020001340756-pat00044
는 상기 제k 객체에 대한 가중치를 의미하고,
Figure 112020001340756-pat00045
은 상기 참조 객체의 개수를 의미한다.
상기 거리 오차 값이 생성된 후, 상기 컴퓨팅 장치(100)는 상기 거리 오차 값을 참조하여 상기 대상 위치 정보를 캘리브레이션할 수 있다. 상기 좌표 기반 참조 거리는 상기 GPS에 의해 최초에 검출된 상기 대상 위치 정보를 참조하여 생성되기 때문에, 상기 대상 위치 정보가 잘못 측정된 경우에는 상기 거리 오차 값이 적정 값보다 클 수 있다. 이러한 경우, 상기 컴퓨팅 장치(100)는, 상기 대상 위치 정보를 조정하고, 상기 조정된 대상 위치 정보를 이용하여 상기 거리 오차 값을 다시 계산할 수 있다. 상기 다시 계산된 거리 오차 값이 이전보다 작아졌다면, 상기 컴퓨팅 장치(100)는 이전에 했던 대로 상기 대상 위치 정보를 조정할 것이다. 만일 상기 다시 계산된 거리 오차 값이 이전보다 커졌다면, 상기 컴퓨팅 장치(100)는 이전의 조정과 비교하여 반대로 상기 대상 위치 정보를 조정할 수 있을 것이다. 이러한 프로세스는 널리 알려진 경사 하강법(Gradient-Descent)과 같은, 리그레션에 대한 종래 기술의 프로세스와 유사하므로 통상의 기술자는 이를 쉽게 이해할 수 있을 것이다.
상기 대상 위치 정보가 캘리브레이션 된 후, 상기 대상 차량이 상기 HD 맵을 업데이트하기 위해 사용된다면, 상기 컴퓨팅 장치(100)가, 상기 HD 맵을 업데이트하기 위해 사용될 업데이트용 정보를 저장하면서, 상기 캘리브레이션된 상기 대상 위치 정보를 참조하여 상기 업데이트용 정보가 획득된 위치에 대한 정보를 기록할 수 있다. 이때, 상기 업데이트용 정보는, 상기 대상 차량 주변의 상황과 관련되며, 상기 대상 차량이 정해진 경로를 주행하면서 적어도 하나의 카메라 또는 적어도 하나의 센서를 통해 획득된 것일 수 있다. 상기 참조 이미지는, 상기 대상 위치 정보를 캘리브레이션하기 위해 이용되므로 상기 업데이트용 정보와는 관련이 없을 수 있으나, 이에 한정되는 것은 아니다.
반면에, 상기 대상 차량이 상기 HD 맵을 이용하는 상기 자율 주행 차량인 경우, 상기 컴퓨팅 장치(100)는 상기 캘리브레이션된 대상 위치 정보를 참조하여, 상기 HD 맵 상에서의 상기 대상 차량의 위치를 계산할 수 있고, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 객체에 대한 정보를 상기 HD 맵으로부터 획득함으로써, 상기 대상 차량의 자율 주행을 지원할 수 있다.
상술한 것과 같은 상기 자차량 위치 결정 방법을 이용하여, 상기 HD 맵이 더 정확하게 생성될 수 있으며, 상기 HD 맵을 이용한 상기 자율 주행은 더 안전하게 수행될 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (22)

  1. 상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 방법에 있어서,
    (a) 상기 대상 차량과 연동하는 컴퓨팅 장치가, 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 좌표 기반 참조 거리 각각이 획득되면, (i) 상기 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 참조 바운딩 박스에, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 가하여 상기 이미지 기반 참조 거리를 계산하되,
    (i) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X(vehicle-to-everything) 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성되고, (ii) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 적어도 하나의 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성되는 것을 특징으로 하고,
    상기 제(1-1) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
    Figure 112021074640064-pat00080

    Figure 112021074640064-pat00081
    는 상기 제(1-1) 특정 이미지 기반 참조 거리 중 하나를 의미하고,
    Figure 112021074640064-pat00082
    는 상기 카메라의 초점 거리를 의미하며,
    Figure 112021074640064-pat00083
    는, 상기 제(1-1) 특정 참조 객체 중 하나에 대응하는 상기 제(1-1) 특정 참조 객체 높이 정보 중 하나를 의미하고,
    Figure 112021074640064-pat00084
    는 상기 제(1-1) 특정 참조 객체 중 상기 하나의 상기 참조 이미지 상에서의 겉보기 높이(apparent height)를 의미하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 하기 수식에 따라 상기 거리 오차 값을 생성하되,
    Figure 112021074640064-pat00085

    Figure 112021074640064-pat00086
    는 상기 참조 객체 중 제k 참조 객체에 대응하는 이미지 기반 참조 거리 중 하나를 의미하고,
    Figure 112021074640064-pat00087
    는 상기 제k 참조 객체에 대응하는 상기 좌표 기반 참조 거리 중 하나를 의미하며,
    Figure 112021074640064-pat00088
    는 상기 제k 참조 객체에 대한 가중치를 의미하고,
    Figure 112021074640064-pat00089
    은 상기 참조 객체의 개수를 의미하는 것을 특징으로 하는 방법.
  3. 삭제
  4. 삭제
  5. 상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 방법에 있어서,
    (a) 상기 대상 차량과 연동하는 컴퓨팅 장치가, 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 좌표 기반 참조 거리 각각이 획득되면, (i) 상기 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 참조 바운딩 박스에, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 가하여 상기 이미지 기반 참조 거리를 계산하되,
    (i) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X(vehicle-to-everything) 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성되고, (ii) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 적어도 하나의 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성되는 것을 특징으로 하고,
    상기 제(1-2) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
    Figure 112021074640064-pat00090

    Figure 112021074640064-pat00091
    는 상기 제(1-2) 특정 좌표 기반 참조 거리 중 하나를 의미하고,
    Figure 112021074640064-pat00092
    는 상기 카메라의 초점 거리를 의미하며,
    Figure 112021074640064-pat00093
    는 상기 카메라의 높이를 의미하고,
    Figure 112021074640064-pat00094
    는, 제(1-2) 특정 참조 객체 중 하나에 대응하는 상기 제(1-2) 특정 참조 바운딩 박스 중 하나의 하단 경계와 상기 기준점 간의 상기 참조 이미지 상에서의 겉보기 거리(apparent distance)를 의미하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    (i) 상기 좌표 기반 참조 거리 중에서 하나 이상의 제(2-1) 특정 좌표 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(2-1) 특정 참조 객체와 상기 대상 차량 간의 V2X 통신을 통해 획득된 제(2-1) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성되고, (ii) 상기 좌표 기반 참조 거리 중 하나 이상의 제(2-2) 특정 좌표 기반 참조 거리는, 데이터베이스로부터 획득된 제(2-2) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성되는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, CNN(Convolutional Neural Network)로 하여금, 적어도 하나의 컨벌루션 연산, 적어도 하나의 ROI(Region-Of-Interest) 풀링 연산 및 적어도 하나의 FC(Fully-Connected) 네트워크 연산을 상기 참조 이미지에 차례로 가하도록 함으로써, 상기 참조 이미지에 상기 객체 검출 연산을 가하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, (i) 상기 대상 위치 정보를 조정하는 프로세스, (ii) 상기 조정된 대상 위치 정보를 이용하여 상기 거리 오차 값을 다시 계산하는 프로세스, 및 (iii) 상기 다시 계산된 거리 오차 값이 작아졌는지 여부에 대한 정보를 참조하여 상기 조정된 대상 위치 정보를 다시 조정하는 프로세스를 반복함으로써, 상기 대상 위치 정보를 캘리브레이션하여 이에 대응되는 거리 오차 값이 최소화되는 캘리브레이션된 대상 위치 정보를 생성하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, HD 맵(High-Definition Map)을 업데이트하기 위해 사용될 업데이트용 정보를 저장하면서, 상기 캘리브레이션된 상기 대상 위치 정보를 참조하여 상기 업데이트용 정보가 획득된 위치에 대한 정보를 기록하는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 참조 객체는 (i) V2X 통신이 가능한 하나 이상의 모바일 객체 및 (ii) 하나 이상의 고정 객체 중 적어도 일부를 포함하되, 상기 고정 객체는 (ii-1) 상기 V2X 통신이 가능하거나 (ii-2) 상기 고정 객체에 대한 정보가 데이터베이스에 저장된 상태이고,
    상기 참조 객체는, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 주변 차량, 하나 이상의 교통 표지판, 하나 이상의 신호등, 및 하나 이상의 노면 표시 중 적어도 일부를 포함하는 것을 특징으로 하는 방법.
  11. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 캘리브레이션된 대상 위치 정보를 참조하여, HD 맵 상에서의 상기 대상 차량의 위치를 계산하고, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 객체에 대한 정보를 상기 HD 맵으로부터 획득함으로써, 상기 대상 차량의 자율 주행을 지원하는 것을 특징으로 하는 방법.
  12. 상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출하는 프로세스, (II) 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산하는 프로세스, 및 (III) 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 좌표 기반 참조 거리 각각이 획득되면, (i) 상기 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 참조 바운딩 박스에, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 가하여 상기 이미지 기반 참조 거리를 계산하되,
    (i) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X(vehicle-to-everything) 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성되고, (ii) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 적어도 하나의 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성되는 것을 특징으로 하고,
    상기 제(1-1) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
    Figure 112021074640064-pat00095

    Figure 112021074640064-pat00096
    는 상기 제(1-1) 특정 이미지 기반 참조 거리 중 하나를 의미하고,
    Figure 112021074640064-pat00097
    는 상기 카메라의 초점 거리를 의미하며,
    Figure 112021074640064-pat00098
    는, 상기 제(1-1) 특정 참조 객체 중 하나에 대응하는 상기 제(1-1) 특정 참조 객체 높이 정보 중 하나를 의미하고,
    Figure 112021074640064-pat00099
    는 상기 제(1-1) 특정 참조 객체 중 상기 하나의 상기 참조 이미지 상에서의 겉보기 높이(apparent height)를 의미하는 것을 특징으로 하는 장치.
  13. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, 하기 수식에 따라 상기 거리 오차 값을 생성하되,
    Figure 112021074640064-pat00100

    Figure 112021074640064-pat00101
    는 상기 참조 객체 중 제k 참조 객체에 대응하는 이미지 기반 참조 거리 중 하나를 의미하고,
    Figure 112021074640064-pat00102
    는 상기 제k 참조 객체에 대응하는 상기 좌표 기반 참조 거리 중 하나를 의미하며,
    Figure 112021074640064-pat00103
    는 상기 제k 참조 객체에 대한 가중치를 의미하고,
    Figure 112021074640064-pat00104
    은 상기 참조 객체의 개수를 의미하는 것을 특징으로 하는 장치.
  14. 삭제
  15. 삭제
  16. 상대적 거리 정보를 이용하여 대상 차량의 정확한 위치를 계산하는 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 상기 대상 차량에 탑재된 적어도 하나의 카메라를 통해 적어도 하나의 참조 이미지가 획득되면, 상기 참조 이미지에 적어도 하나의 객체 검출 연산을 가하여 상기 참조 이미지 내 하나 이상의 참조 객체를 검출하는 프로세스, (II) 상기 참조 이미지 상에서, 각각의 상기 참조 객체에 대응하는 각각의 참조 바운딩 박스에 대한 정보를 참조하여, 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 이미지 기반 참조 거리 각각을 계산하는 프로세스, 및 (III) 상기 참조 객체 각각과 상기 대상 차량 간의 하나 이상의 좌표 기반 참조 거리 각각이 획득되면, (i) 상기 좌표 기반 참조 거리 및 상기 이미지 기반 참조 거리를 참조하여 적어도 하나의 거리 오차 값을 생성하고, (ii) 상기 거리 오차 값을 참조하여 상기 대상 차량의 대상 위치 정보를 캘리브레이션(calibration)하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 참조 바운딩 박스에, 상기 카메라의 파라미터에 대한 정보를 사용한 적어도 하나의 이미지 거리 예측 연산을 가하여 상기 이미지 기반 참조 거리를 계산하되,
    (i) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-1) 특정 이미지 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(1-1) 특정 참조 객체와 상기 대상 차량 간의 V2X(vehicle-to-everything) 통신을 통해 획득된 제(1-1) 특정 참조 객체 높이 정보를 추가로 사용하는 적어도 하나의 제(1-1) 특정 이미지 거리 예측 연산을 제(1-1) 특정 참조 바운딩 박스에 가하여 생성되고, (ii) 상기 이미지 기반 참조 거리 중 하나 이상의 제(1-2) 특정 이미지 기반 참조 거리는, 상기 참조 이미지 내의 기준점에 대한 정보를 추가로 사용하는 적어도 하나의 제(1-2) 특정 이미지 거리 예측 연산을 제(1-2) 특정 참조 바운딩 박스에 가하여 생성되는 것을 특징으로 하고,
    상기 제(1-2) 특정 이미지 거리 예측 연산은 하기 수식에 따라 수행되되,
    Figure 112021074640064-pat00105

    Figure 112021074640064-pat00106
    는 상기 제(1-2) 특정 좌표 기반 참조 거리 중 하나를 의미하고,
    Figure 112021074640064-pat00107
    는 상기 카메라의 초점 거리를 의미하며,
    Figure 112021074640064-pat00108
    는 상기 카메라의 높이를 의미하고,
    Figure 112021074640064-pat00109
    는, 제(1-2) 특정 참조 객체 중 하나에 대응하는 상기 제(1-2) 특정 참조 바운딩 박스 중 하나의 하단 경계와 상기 기준점 간의 상기 참조 이미지 상에서의 겉보기 거리(apparent distance)를 의미하는 것을 특징으로 하는 장치.
  17. 제 12항에 있어서,
    (i) 상기 좌표 기반 참조 거리 중에서 하나 이상의 제(2-1) 특정 좌표 기반 참조 거리는, 상기 참조 객체 중 하나 이상의 제(2-1) 특정 참조 객체와 상기 대상 차량 간의 V2X 통신을 통해 획득된 제(2-1) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성되고, (ii) 상기 좌표 기반 참조 거리 중 하나 이상의 제(2-2) 특정 좌표 기반 참조 거리는, 데이터베이스로부터 획득된 제(2-2) 특정 참조 객체 위치 정보 및 상기 대상 위치 정보를 참조하여 생성되는 것을 특징으로 하는 장치.
  18. 제 12항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, CNN(Convolutional Neural Network)로 하여금, 적어도 하나의 컨벌루션 연산, 적어도 하나의 ROI(Region-Of-Interest) 풀링 연산 및 적어도 하나의 FC(Fully-Connected) 네트워크 연산을 상기 참조 이미지에 차례로 가하도록 함으로써, 상기 참조 이미지에 상기 객체 검출 연산을 가하는 것을 특징으로 하는 장치.
  19. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, (i) 상기 대상 위치 정보를 조정하는 프로세스, (ii) 상기 조정된 대상 위치 정보를 이용하여 상기 거리 오차 값을 다시 계산하는 프로세스, 및 (iii) 상기 다시 계산된 거리 오차 값이 작아졌는지 여부에 대한 정보를 참조하여 상기 조정된 대상 위치 정보를 다시 조정하는 프로세스를 반복함으로써, 상기 대상 위치 정보를 캘리브레이션하여 이에 대응되는 거리 오차 값이 최소화되는 캘리브레이션된 대상 위치 정보를 생성하는 것을 특징으로 하는 장치.
  20. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, HD 맵(High-Definition Map)을 업데이트하기 위해 사용될 업데이트용 정보를 저장하면서, 상기 캘리브레이션된 상기 대상 위치 정보를 참조하여 상기 업데이트용 정보가 획득된 위치에 대한 정보를 기록하는 것을 특징으로 하는 장치.
  21. 제 12항에 있어서,
    상기 참조 객체는 (i) V2X 통신이 가능한 하나 이상의 모바일 객체 및 (ii) 하나 이상의 고정 객체 중 적어도 일부를 포함하되, 상기 고정 객체는 (ii-1) 상기 V2X 통신이 가능하거나 (ii-2) 상기 고정 객체에 대한 정보가 데이터베이스에 저장된 상태이고,
    상기 참조 객체는, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 주변 차량, 하나 이상의 교통 표지판, 하나 이상의 신호등, 및 하나 이상의 노면 표시 중 적어도 일부를 포함하는 것을 특징으로 하는 장치.
  22. 제 12항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 캘리브레이션된 대상 위치 정보를 참조하여, HD 맵 상에서의 상기 대상 차량의 위치를 계산하고, 상기 대상 차량으로부터 임계 거리 미만의 거리에 위치한 하나 이상의 객체에 대한 정보를 상기 HD 맵으로부터 획득함으로써, 상기 대상 차량의 자율 주행을 지원하는 것을 특징으로 하는 장치.
KR1020200001732A 2019-01-30 2020-01-06 V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치 KR102338763B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798686P 2019-01-30 2019-01-30
US62/798,686 2019-01-30
US16/725,181 2019-12-23
US16/725,181 US10803333B2 (en) 2019-01-30 2019-12-23 Method and device for ego-vehicle localization to update HD map by using V2X information fusion

Publications (2)

Publication Number Publication Date
KR20200094646A KR20200094646A (ko) 2020-08-07
KR102338763B1 true KR102338763B1 (ko) 2021-12-15

Family

ID=69174388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001732A KR102338763B1 (ko) 2019-01-30 2020-01-06 V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10803333B2 (ko)
EP (1) EP3690400A1 (ko)
JP (1) JP6986290B2 (ko)
KR (1) KR102338763B1 (ko)
CN (1) CN111508018B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
GB202013106D0 (en) * 2020-08-21 2020-10-07 Five Ai Ltd Processing images for extracting information about known objects
JP7379299B2 (ja) * 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN112418031B (zh) * 2020-11-11 2022-03-11 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备
CN113205701B (zh) * 2021-04-25 2023-05-12 腾讯科技（深圳）有限公司 车路协同系统、基于车路协同的高程转换更新方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170038477A1 (en) * 2014-04-09 2017-02-09 Continental Automotive Gmbh Position Correction of a Vehicle by Referencing to Objects in the Surroundings
US20180047288A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and apparatus for providing goal oriented navigational directions

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012024878A1 (de) * 2012-12-19 2014-06-26 Connaught Electronics Ltd. Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug
US9327743B2 (en) * 2013-12-19 2016-05-03 Thales Canada Inc Guideway mounted vehicle localization system
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US11274928B2 (en) * 2015-08-03 2022-03-15 Tomtom Global Content B.V. Methods and systems for generating and using localization reference data
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
KR20190069384A (ko) 2016-07-21 2019-06-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 스파스 맵(sparse map)의 크라우드소싱과 배포 및 차선 측정
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
KR20180112949A (ko) * 2017-04-05 2018-10-15 현대자동차주식회사 차량의 자율 주행 제어 시스템 및 그를 이용한 자율 주행 제어방법
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
US9946960B1 (en) 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108919320A (zh) * 2018-05-17 2018-11-30 中国科学院微电子研究所 一种基于v2x的自动驾驶车辆定位方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170038477A1 (en) * 2014-04-09 2017-02-09 Continental Automotive Gmbh Position Correction of a Vehicle by Referencing to Objects in the Surroundings
US20180047288A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and apparatus for providing goal oriented navigational directions

Also Published As

Publication number Publication date
KR20200094646A (ko) 2020-08-07
CN111508018A (zh) 2020-08-07
US10803333B2 (en) 2020-10-13
CN111508018B (zh) 2023-10-31
US20200242378A1 (en) 2020-07-30
JP6986290B2 (ja) 2021-12-22
EP3690400A1 (en) 2020-08-05
JP2020122785A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
KR102338763B1 (ko) V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치
KR102373466B1 (ko) 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
KR102296493B1 (ko) 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
US10423860B1 (en) Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR102296496B1 (ko) V2v 통신을 통해 획득한 정보와 카메라를 통해 획득한 정보를 융합하여 카메라의 피치 캘리브레이션을 더욱 정교하게 수행함으로써 카메라 기반 로버스트 객체 거리 예측을 제공하는 방법 및 이를 이용한 장치
US11604078B2 (en) Method and device for generating digital map models
CN111947672B (zh) 用于检测环境变化的方法、装置、设备和介质
CN111985300A (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN113665591A (zh) 无人驾驶控制方法、装置、设备及介质
KR20230029981A (ko) 포즈 결정을 위한 시스템 및 방법
CN114358038B (zh) 一种基于车辆高精度定位的二维码坐标标定方法及装置
Lagahit et al. a Preliminary Study on Updating High Definition Maps: Detecting and Positioning a Traffic Cone by Using a Stereo Camera
KR20220151528A (ko) GNSS/INS와 HD Map를 이용한 단안카메라의 위치측정 및 맵핑 처리를 향상시키기 위한 시스템 및 방법
Tahir Development of an Autonomous Vehicle Platform

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right