KR102296493B1 - 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치 - Google Patents

어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치 Download PDF

Info

Publication number
KR102296493B1
KR102296493B1 KR1020200004516A KR20200004516A KR102296493B1 KR 102296493 B1 KR102296493 B1 KR 102296493B1 KR 1020200004516 A KR1020200004516 A KR 1020200004516A KR 20200004516 A KR20200004516 A KR 20200004516A KR 102296493 B1 KR102296493 B1 KR 102296493B1
Authority
KR
South Korea
Prior art keywords
feature map
coordinates
live
specific
target vehicle
Prior art date
Application number
KR1020200004516A
Other languages
English (en)
Other versions
KR20200094654A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094654A publication Critical patent/KR20200094654A/ko
Application granted granted Critical
Publication of KR102296493B1 publication Critical patent/KR102296493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

본 발명은 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 방법에 있어서, (a) 컴퓨팅 장치가, 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 단계; (b) 상기 컴퓨팅 장치가, 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 단계; 및 (c) 상기 컴퓨팅 장치가, 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 방법 및 장치에 관한 것이다.

Description

어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치{METHOD AND DEVICE FOR LOCALIZATION OF AUTONOMOUS VEHICLE FOR ROUTE PLANNING BY USING ATTENTION-DRIVEN LANDMARK DETECTION}
본 발명은 자율 주행 차량과 함께 사용하기 위한 방법 및 장치에 관한 것으로, 보다 구체적으로 경로 플래닝에 사용되는 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하고 자율 주행 차량의 위치 정보를 획득하는 방법 및 장치에 관한 것이다.
여기서, 어텐션 드리븐(attention-driven) 알고리즘이란, 대상 주변의 상황에 대한 정보를 사용하는 방식의 알고리즘을 의미할 수 있다.
자율 주행 분야에서, 자율 주행을 플래닝하기 위해서는 자율 주행 차량이 정확히 어느 위치에 존재하는지를 판단하는 것이 매우 중요하다. 하지만, 자율 주행 차량의 위치를 판단하기 위해 현재 상용되고 있는 GPS의 정확도는 자율 주행에 사용될 수 있을 정도로 높지 않아 문제가 된다.
이러한 문제점을 극복하기 위해서 기존에는 GPS를 통해 획득한 위치 정보를 직접적으로 보정하는 방법이 존재하나, 이는 많은 컴퓨팅 리소스를 요하는 바, 기본적인 자율 주행만으로도 충분히 부하가 큰 상황에서 문제가 될 수 있다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를, 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하는 방법을 제공함으로써, 더욱 정확한 자율 주행이 이루어질 수 있도록 하는 것을 다른 목적으로 한다.
또한, 본 발명은 라이브 이미지 상에서 레퍼런스 객체의 위치 정보와 실제 세계에서 레퍼런스 객체의 다른 위치 정보를 참조로 하여, 자율 주행 차량의 위치 정보를 검출해낼 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 라이브 이미지에 대응하는 라이브 특징 맵 상에서 레퍼런스 객체의 위치 정보를 검출해낼 수 있도록 하는 CNN(Convolutional Neural Network)을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 라이브 이미지 상에서 레퍼런스 객체의 위치 정보를 검출해낼 수 있도록 하는 다른 CNN을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 방법에 있어서, (a) 컴퓨팅 장치가, 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 단계; (b) 상기 컴퓨팅 장치가, 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 단계; 및 (c) 상기 컴퓨팅 장치가, 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 이미지 좌표, 상기 3차원 좌표, 상기 파라미터에 대한 정보 및 상기 자세에 대한 정보와 더불어 하기 수식을 사용하여, 상기 최적화 대상 좌표를 검출하되,
Figure 112020003827017-pat00001
상기 수식에서,
Figure 112020003827017-pat00002
는 제j 레퍼런스 객체에 대한 제j 이미지 좌표의 제k축 성분을 의미하고,
Figure 112020003827017-pat00003
는 상기 제j 레퍼런스 객체에 대한 제좌표의 제k 축 성분을 의미하며,
Figure 112020003827017-pat00004
는 상기 최적화 대상 좌표의 제k 축 성분을 의미하고,
Figure 112020003827017-pat00005
는 임의의 수를 그 대각 성분으로 가지는 대각 매트릭스(diagonal matrix)의 제k 대각 성분을 의미하며,
Figure 112020003827017-pat00006
는 상기 카메라의 상기 파라미터에 대응하는 카메라 매트릭스를 의미하며,
Figure 112020003827017-pat00007
는 상기 대상 차량의 상기 자세에 대응하는 회전 매트릭스를 의미하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 수식에 대응하는 최적화 문제를 해결함으로써 상기 최적화 대상 좌표를 검출하되, 상기 컴퓨팅 장치가, (i) (i-1) 상기 대상 차량의 적어도 하나의 자이로 센서를 통해 획득된 상기 자세에 대한 정보를 참조로 하여, 상기 회전 매트릭스를 초기화하는 프로세스를 수행하여, 초기화된 회전 매트릭스를 생성하고, (i-2) 상기 대상 차량의 GPS를 통해 획득된 초기 대상 좌표를 참조로 하여, 상기 최적화 대상 좌표를 획득하는 데 사용될 대상 좌표 매트릭스를 초기화함으로써, 초기화된 대상 좌표 매트릭스를 생성하는 프로세스를 수행한 다음, (ii) 상기 초기화된 회전 매트릭스 및 상기 초기화된 대상 좌표 매트릭스가 제공된 상태에서, 상기 수식을 최소화하는 초기화된 대각 매트릭스를 찾아서 상기 대각 매트릭스를 초기화하는 프로세스를 수행하고, 이후 (iii) 상기 초기화된 회전 매트릭스, 상기 초기화된 대상 좌표 매트릭스 및 상기 초기화된 대각 매트릭스의 값들을 조정함으로써, 상기 수식을 최소화하는, 최적화 회전 매트릭스, 최적화 대상 좌표 매트릭스 및 최적화 대각 매트릭스를 찾는 프로세스를 수행함으로써, 상기 최적화 문제를 푼 후, 상기 최적화된 대상 좌표 매트릭스를 참조로 하여 상기 최적화된 대상 좌표를 검출하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 컴퓨팅 장치가, (i) 특정 레퍼런스 객체에 대응하는
Figure 112020003827017-pat00008
의 크기를 가지는 복수 개의 특정 레퍼런스 특징 맵 및 (ii)
Figure 112020003827017-pat00009
의 크기를 가지는 상기 라이브 특징 맵이 병렬적으로 채널 단위로 컨캐터네이팅됨으로써 생성된 특정 통합 특징 맵이 획득되면, 제1 CNN으로 하여금, 상기 특정 통합 특징 맵에 적어도 하나의 제1 CNN 연산을 적용하도록 함으로써, 상기 라이브 특징 맵의 부분 라이브 특징 맵 중에서, 특정 부분 라이브 특징 맵을 찾되, 상기 특정 부분 라이브 특징 맵은 상기 특정 레퍼런스 특징 맵과 관련하여 유사성 점수가 임계값 보다 큰 것을 특징으로 하며, 상기 라이브 특징 맵에 있는 상기 특정 부분 라이브 특징 맵의 상대적인 위치에 대한 정보를 참조로 하여, 상기 특징 맵 좌표 중에서 특정 특징 맵 좌표를 검출하도록 하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 제1 CNN은, 상기 특정 통합 특징 맵에 상기 제1 CNN 연산을 적용하기 이전에 학습이 완료되되, 상기 제1 CNN은, (i) 학습용 통합 특징 맵에 상기 제1 CNN 연산을 적용하여, 학습용 상기 라이브 특징 맵의 하나 이상의 각각의 학습용 부분 라이브 특징 맵 및 학습용 레퍼런스 특징 맵 사이의 하나 이상의 예측 유사도 점수 각각을 생성하는 프로세스를 수행한 후, (ii) 상기 예측 유사도 점수 및 이에 대응하는 GT 유사도 점수를 참조로 하여 제1 로스를 생성하고, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료된 상태인 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, (i) (i-1) 상기 특정 특징 맵 좌표에 대응하는 특정 부분 라이브 특징 맵 및 (i-2) 이에 대응하는 특정 레퍼런스 특징 맵을 통합함으로써 생성된, 특정 부분 통합 특징 맵을 참조로 하여, 상기 라이브 이미지에서 특정 특징 맵 좌표에 대응되는, 특정 서브 영역 상의 특정 레퍼런스 객체의 특정 서브 영역 좌표를 검출하고, (ii) 상기 특정 서브 영역 좌표 및 상기 특정 특징 맵 좌표를 참조로 하여, 상기 이미지 좌표들 중에서 특정 이미지 좌표를 검출하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, 제2 CNN으로 하여금, 상기 특정 부분 통합 특징 맵에, 탄젠트 하이퍼볼릭(tangent hyperbolic) 연산을 액티베이션 함수(activation function)로 사용하는 적어도 하나의 제2 CNN 연산을 적용하여, 상기 특정 서브 영역 좌표를 검출하도록 하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 제2 CNN은, 상기 특정 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하기 이전에 학습이 완료되되, 상기 제2 CNN은, (i) 학습용 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하여, 상기 학습용 부분 통합 특징 맵에 대응하는 학습용 레퍼런스 객체의 학습용 예측 서브 영역 좌표를 생성하는 프로세스를 수행한 후, (ii) 상기 예측 서브 영역 좌표 및 이에 대응하는 GT 서브 영역 좌표를 참조로 하여, 제2 로스를 생성하고, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 라이브 이미지가 상기 대상 차량에 탑재된 상기 카메라를 통해 획득된 후, 자율 주행 모듈이 상기 대상 차량의 자율 주행을 수행하는 동안, 상기 라이브 이미지는, 상기 자율 주행 모듈에 전달되어 상기 라이브 특징 맵이 생성되고, 이후 상기 라이브 특징 맵이 상기 컴퓨팅 장치에 전달되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 컴퓨팅 장치가, 상기 대상 차량에 탑재된 GPS를 통해 획득된 초기 대상 좌표 및 상기 대상 차량의 상기 자세에 대한 정보를 이용하여, 쿼리를 HD(High-Density) 맵으로 전송함으로써, 상기 레퍼런스 특징 맵을 포함하는 상기 대상 데이터 영역에 대한 정보를 획득하는 것을 특징으로 하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 컴퓨팅 장치에 있어서, 적어도 하나의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (I) 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 프로세스; (II) 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 프로세스; 및 (III) 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 프로세스;를 수행하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 이미지 좌표, 상기 3차원 좌표, 상기 파라미터에 대한 정보 및 상기 자세에 대한 정보와 더불어 하기 수식을 사용하여, 상기 최적화 대상 좌표를 검출하되,
Figure 112020003827017-pat00010
상기 수식에서,
Figure 112020003827017-pat00011
는 제j 레퍼런스 객체에 대한 제j 이미지 좌표의 제k축 성분을 의미하고,
Figure 112020003827017-pat00012
는 상기 제j 레퍼런스 객체에 대한 제j 3차원 좌표의 제k 축 성분을 의미하며,
Figure 112020003827017-pat00013
는 상기 최적화 대상 좌표의 제k 축 성분을 의미하고,
Figure 112020003827017-pat00014
는 임의의 수를 그 대각 성분으로 가지는 대각 매트릭스(diagonal matrix)의 제k 대각 성분을 의미하며,
Figure 112020003827017-pat00015
는 상기 카메라의 상기 파라미터에 대응하는 카메라 매트릭스를 의미하며,
Figure 112020003827017-pat00016
는 상기 대상 차량의 상기 자세에 대응하는 회전 매트릭스를 의미하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 수식에 대응하는 최적화 문제를 해결함으로써 상기 최적화 대상 좌표를 검출하되, 상기 프로세서가, (i) (i-1) 상기 대상 차량의 적어도 하나의 자이로 센서를 통해 획득된 상기 자세에 대한 정보를 참조로 하여, 상기 회전 매트릭스를 초기화하는 프로세스를 수행하여, 초기화된 회전 매트릭스를 생성하고, (i-2) 상기 대상 차량의 GPS를 통해 획득된 초기 대상 좌표를 참조로 하여, 상기 최적화 대상 좌표를 획득하는 데 사용될 대상 좌표 매트릭스를 초기화함으로써, 초기화된 대상 좌표 매트릭스를 생성하는 프로세스를 수행한 다음, (ii) 상기 초기화된 회전 매트릭스 및 상기 초기화된 대상 좌표 매트릭스가 제공된 상태에서, 상기 수식을 최소화하는 초기화된 대각 매트릭스를 찾아서 상기 대각 매트릭스를 초기화하는 프로세스를 수행하고, 이후 (iii) 상기 초기화된 회전 매트릭스, 상기 초기화된 대상 좌표 매트릭스 및 상기 초기화된 대각 매트릭스의 값들을 조정함으로써, 상기 수식을 최소화하는, 최적화 회전 매트릭스, 최적화 대상 좌표 매트릭스 및 최적화 대각 매트릭스를 찾는 프로세스를 수행함으로써, 상기 최적화 문제를 푼 후, 상기 최적화된 대상 좌표 매트릭스를 참조로 하여 상기 최적화된 대상 좌표를 검출하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스는, 상기 프로세서가, (i) 특정 레퍼런스 객체에 대응하는
Figure 112020003827017-pat00017
의 크기를 가지는 복수 개의 특정 레퍼런스 특징 맵 및 (ii)
Figure 112020003827017-pat00018
의 크기를 가지는 상기 라이브 특징 맵이 병렬적으로 채널 단위로 컨캐터네이팅됨으로써 생성된 특정 통합 특징 맵이 획득되면, 제1 CNN으로 하여금, 상기 특정 통합 특징 맵에 적어도 하나의 제1 CNN 연산을 적용하도록 함으로써, 상기 라이브 특징 맵의 부분 라이브 특징 맵 중에서, 특정 부분 라이브 특징 맵을 찾되, 상기 특정 부분 라이브 특징 맵은 상기 특정 레퍼런스 특징 맵과 관련하여 유사성 점수가 임계값 보다 큰 것을 특징으로 하며, 상기 라이브 특징 맵에 있는 상기 특정 부분 라이브 특징 맵의 상대적인 위치에 대한 정보를 참조로 하여, 상기 특징 맵 좌표 중에서 특정 특징 맵 좌표를 검출하도록 하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 제1 CNN은, 상기 특정 통합 특징 맵에 상기 제1 CNN 연산을 적용하기 이전에 학습이 완료되되, 상기 제1 CNN은, (i) 학습용 통합 특징 맵에 상기 제1 CNN 연산을 적용하여, 학습용 상기 라이브 특징 맵의 하나 이상의 각각의 학습용 부분 라이브 특징 맵 및 학습용 레퍼런스 특징 맵 사이의 하나 이상의 예측 유사도 점수 각각을 생성하는 프로세스를 수행한 후, (ii) 상기 예측 유사도 점수 및 이에 대응하는 GT 유사도 점수를 참조로 하여 제1 로스를 생성하고, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료된 상태인 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스는, 상기 프로세서가, (i) (i-1) 상기 특정 특징 맵 좌표에 대응하는 특정 부분 라이브 특징 맵 및 (i-2) 이에 대응하는 특정 레퍼런스 특징 맵을 통합함으로써 생성된, 특정 부분 통합 특징 맵을 참조로 하여, 상기 라이브 이미지에서 특정 특징 맵 좌표에 대응되는, 특정 서브 영역 상의 특정 레퍼런스 객체의 특정 서브 영역 좌표를 검출하고, (ii) 상기 특정 서브 영역 좌표 및 상기 특정 특징 맵 좌표를 참조로 하여, 상기 이미지 좌표들 중에서 특정 이미지 좌표를 검출하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스는, 상기 프로세서가, 제2 CNN으로 하여금, 상기 특정 부분 통합 특징 맵에, 탄젠트 하이퍼볼릭(tangent hyperbolic) 연산을 액티베이션 함수(activation function)로 사용하는 적어도 하나의 제2 CNN 연산을 적용하여, 상기 특정 서브 영역 좌표를 검출하도록 하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 제2 CNN은, 상기 특정 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하기 이전에 학습이 완료되되, 상기 제2 CNN은, (i) 학습용 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하여, 상기 학습용 부분 통합 특징 맵에 대응하는 학습용 레퍼런스 객체의 학습용 예측 서브 영역 좌표를 생성하는 프로세스를 수행한 후, (ii) 상기 예측 서브 영역 좌표 및 이에 대응하는 GT 서브 영역 좌표를 참조로 하여, 제2 로스를 생성하고, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료되는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스는, 상기 라이브 이미지가 상기 대상 차량에 탑재된 상기 카메라를 통해 획득된 후, 자율 주행 모듈이 상기 대상 차량의 자율 주행을 수행하는 동안, 상기 라이브 이미지는, 상기 자율 주행 모듈에 전달되어 상기 라이브 특징 맵이 생성되고, 이후 상기 라이브 특징 맵이 상기 컴퓨팅 장치에 전달되는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스는, 상기 프로세서가, 상기 대상 차량에 탑재된 GPS를 통해 획득된 초기 대상 좌표 및 상기 대상 차량의 상기 자세에 대한 정보를 이용하여, 쿼리를 HD(High-Density) 맵으로 전송함으로써, 상기 레퍼런스 특징 맵을 포함하는 상기 대상 데이터 영역에 대한 정보를 획득하는 것을 특징으로 하는 장치가 제공된다.
본 발명은 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를, 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하는 방법을 제공함으로써, 더욱 정확한 자율 주행이 이루어질 수 있도록 하는 효과가 있다.
또한, 본 발명은 라이브 이미지 상에서 레퍼런스 객체의 위치 정보와 실제 세계에서 레퍼런스 객체의 다른 위치 정보를 참조로 하여, 자율 주행 차량의 위치 정보를 검출해낼 수 있도록 하는 효과가 있다.
또한, 본 발명은 라이브 이미지에 대응하는 라이브 특징 맵 상에서 레퍼런스 객체의 위치 정보를 검출해낼 수 있도록 하는 CNN(Convolutional Neural Network)을 제공하는 효과가 있다.
또한, 본 발명은 라이브 이미지 상에서 레퍼런스 객체의 위치 정보를 검출해낼 수 있도록 하는 다른 CNN을 제공하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하기 위해 사용되는 레퍼런스 객체에 대한 예시를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하기 위해 통합 특징 맵을 생성하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시에에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하기 위해 생성된 특정 서브 영역 좌표를 이용하여 특정 기준 이미지 좌표에 대한 정보를 도출하는 방식을 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 컴퓨팅 장치(100)는 추후 자세히 설명할 제1 CNN (130) 및 제2 CNN(140)을 포함할 수 있다. 제1 CNN(130) 및 제2 CNN(140)의 입출력 및 연산 과정은 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 프로세서(110)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 컴퓨팅 장치(100)가 묘사되었다고 하여, 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같은 컴퓨팅 장치(100)을 사용하여 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법에 대해 이하 설명하도록 한다. 대략적으로 설명하기 위해 도 2를 참조하기로 한다.
도 2는 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 나타낸 흐름도이다.
도 2를 참조로 하면, 컴퓨팅 장치(100)는, 추후 자세히 설명할 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 라이브 특징 맵을 참조로 하여, 하나 이상의 각각의 레퍼런스 객체별로 적어도 하나의 라이브 특징 맵 상의 하나 이상의 각각의 특징 맵 좌표를 검출할 수 있다(S01). 그리고, 컴퓨팅 장치(100)는, 각각의 특징 맵 좌표를 참조로 하여, 라이브 이미지 상에서의 레퍼런스 객체 각각의 이미지 좌표 각각을 검출할 수 있다(S02). 이후, 컴퓨팅 장치(100)는, 실제 세계에서의 레퍼런스 객체의 하나 이상의 3차원 좌표, 이미지 좌표, 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 대상 차량의 자세에 대한 정보를 참조로 하여, 대상 차량의 최적화 대상 좌표를 검출할 수 있다(S03). 기본적인 프로세스는 상기와 같고, 이하 이에 대해 더욱 구체적으로 설명하도록 한다.
먼저, 컴퓨팅 장치(100)는, 라이브 특징 맵을 획득할 수 있다. 라이브 특징 맵은, 컴퓨팅 장치(100)와 연동하여 동작하는 대상 차량의 주변 상황에 대응하는 라이브 이미지를 처리하여 생성될 수 있다. 일례로, 라이브 이미지는, 대상 차량에 탑재된 카메라에 의해 획득된 후 먼저 대상 차량의 자율 주행을 수행하는 자율 주행 모듈에 전달될 수 있다. 자율 주행 모듈은 이미지 처리에 기초하여 자율 주행을 수행하기 위하여, 라이브 이미지를 이용하여 이미지 세그멘테이션 또는 객체 디텍션을 수행할 수 있다. 이러한 자율 주행의 부산물로서, 자율 주행 모듈에 의해 라이브 특징 맵이 생성될 수 있다. 라이브 특징 맵이 생성되면, 컴퓨팅 장치(100)로 전달될 수 있다. 이와 같은 방식을 채택할 경우, 자율 주행 모듈의 연산에 의해 생성된 부산물인 라이브 특징 맵을 활용하게 되므로 컴퓨팅 리소스 사용 측면에서 경제적인 장점이 있다.
또한, 컴퓨팅 장치(100)는, 레퍼런스 객체에 대응하는 레퍼런스 특징 맵들을 획득할 수 있다. 여기서 레퍼런스 객체는, 추후 설명할 대상 차량의 위치 결정 과정을 수행하기 위하여 사용되는 마커 역할을 하며, 라이브 이미지 상에 포함된 특정 객체일 수 있다. 라이브 이미지에 포함된 일반적인 객체 중에서 레퍼런스 객체를 선택하기 위해, 컴퓨팅 장치(100)는, (i) 대상 차량에 탑재된 GPS(Global Positioning System)를 통해 획득된 대상 차량의 대략적인 위치를 나타내는 초기 대상 좌표 및 (ii) 대상 차량에 탑재된 자이로 센서를 통해 획득된 대상 차량의 자세에 대한 정보를 이용하여, 대상 데이터 지역, 즉 라이브 이미지가 담고 있는 장면에 대응하는 지역을 특정하게 된다. 이후, 컴퓨팅 장치(100)는, 특정된 대상 데이터 지역에 대한 정보를 이용하여 HD(High-Density) 맵에 쿼리를 발신하고, HD 맵으로부터의 응답으로서 레퍼런스 객체 및 이에 대응하는 레퍼런스 특징 맵에 대한 정보를 획득할 수 있다. 이에 대해 예시를 들어 설명하기 위해 도 3을 참조하도록 한다.
도 3은 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하기 위해 사용되는 레퍼런스 객체에 대한 예시를 나타낸 도면이다.
도 3을 참조로 하면, 라이브 이미지(200)에 포함된 제1 레퍼런스 객체(210) 및 제2 레퍼런스 객체(220)를 확인할 수 있다. 이들에 대한 정보를 획득하기 위해, 컴퓨팅 장치(100)는, 초기 대상 좌표 및 대상 차량의 자세에 대한 정보를 참조로 하여, 예시 지도(300)에 나타난 대상 데이터 지역(310)을 특정하고, 이에 포함된 제1 레퍼런스 객체(210) 및 제2 레퍼런스 객체(220)에 대한 정보를 획득하게 되는 것이다.
이와 같이 라이브 특징 맵 및 레퍼런스 특징 맵들이 획득된 후, 컴퓨팅 장치(100)는, 라이브 특징 맵 상에서의 레퍼런스 객체의 위치를 나타내는 특징 맵 좌표들을 검출하게 된다. 구체적으로는, 컴퓨팅 장치(100)가 (i) 특정 레퍼런스 객체에 대응하는
Figure 112020003827017-pat00019
의 크기를 가지는 복수 개의 특정 레퍼런스 특징 맵 및 (ii)
Figure 112020003827017-pat00020
의 크기를 가지는 상기 라이브 특징 맵이 병렬적으로 채널 단위로 컨캐터네이팅됨으로써 특정 통합 특징 맵이 생성될 수 있는데, 이는 특정 레퍼런스 객체에 대응하는 특정 통합 특징 맵 좌표를 검출하는데 사용될 수 있다. 일례로,
Figure 112020003827017-pat00021
및
Figure 112020003827017-pat00022
는 모두 1일 수 있다. 이 경우에는 특정 레퍼런스 특징 맵을
Figure 112020003827017-pat00023
번 라이브 특징 맵에 채널 단위로 컨캐터네이팅 될 수 있다. 이에 대해 설명하기 위해 도 4를 참조하도록 한다.
도 4는 본 발명의 일 실시예에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하기 위해 통합 특징 맵을 생성하는 과정을 나타낸 도면이다.
도 4를 참조로 하면, 특정 통합 특징 맵(400)은 특정 레퍼런스 특징 맵(402)을 라이브 특징 맵(401)에
Figure 112020003827017-pat00024
횟수만큼 채널 단위로 컨캐터네이팅됨으로써 생성된 것을 알 수 있다. 도 4는 특정 레퍼런스 특징 맵(402)의 크기가
Figure 112020003827017-pat00025
인 경우에 대응한다. 특정 레퍼런스 특징 맵(402)의 크기가
Figure 112020003827017-pat00026
가 아닌 경우에는, 특정 통합 특징 맵을 생성하기 위해 더 적은 개수의 특정 레퍼런스 특징 맵(402)이 사용될 것이다.
특정 통합 특징 맵이 생성된 후, 컴퓨팅 장치(100)는, 일 예로, 제1 CNN(130)으로 하여금, 상기 특정 통합 특징 맵에 적어도 하나의 제1 CNN 연산을 적용하도록 함으로써, 상기 라이브 특징 맵의 부분 라이브 특징 맵 중에서, 특정 부분 라이브 특징 맵을 찾되, 특정 레퍼런스 특징 맵과 관련하여 유사성 점수가 임계값 보다 큰 특정 부분 라이브 특징 맵을 찾을 수 있다. 여기서, 부분 라이브 특징 맵의 크기는 라이브 특징 맵 보다 작을 수 있다. 일 예로, 그 크기가
Figure 112020003827017-pat00027
일 수 있다. 특정 부분 라이브 특징 맵은, 특정 레퍼런스 객체와 대응하는 특징 맵인데, 라이브 특징 맵 상에서 특정 부분 라이브 특징 맵의 상대적인 위치를 사용함으로써 라이브 이미지 상에서의 특정 레퍼런스 객체의 위치를 예측할 수 있다. 즉, 특정 부분 라이브 특징 맵의 상대적인 위치를 사용함으로써, 특징 맵 좌표 중에서 특정 특징 맵 좌표를 검출할 수 있다. 여기서, 라이브 이미지에서 레퍼런스 객체의 위치를 정확하게 검출하기 위해 추후 설명할 세밀한 조정 과정을 거치게 된다.
상기 제1 CNN 연산을 수행하는 제1 CNN(130)은, 적어도 하나의 컨벌루션 레이어 및 적어도 하나의 출력 레이어를 포함할 수 있다. 여기서, 출력 레이어는 FC(Fully-Connected) 네트워크의 형태로 구현될 수 있을 것이다. 또한, 이와 같은 제1 CNN(130)은, 특정 통합 특징 맵에 제1 CNN 연산을 적용하기 이전에 학습이 완료된 상태일 수 있다. 구체적으로, 제1 CNN(130)은, (i) 학습용 통합 특징 맵에 상기 제1 CNN 연산을 적용하여, 학습용 상기 라이브 특징 맵의 하나 이상의 각각의 학습용 부분 라이브 특징 맵 및 학습용 레퍼런스 특징 맵 사이의 하나 이상의 예측 유사도 점수 각각을 생성하는 프로세스를 수행한 후, (ii) 상기 예측 유사도 점수 및 이에 대응하는 GT 유사도 점수를 참조로 하여 제1 로스를 생성하고, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습을 완료할 수 있다. 상기의 학습 과정은 일반적인 피드 포워드 뉴럴 네트워크(Feed-Forward Neural Network)의 학습 과정과 유사하므로 통상의 기술자가 쉽게 이해할 수 있을 것이다.
다른 예로서, 특징 맵 좌표는 규칙 기반(Rule-based) 알고리즘을 사용하여 검출될 수도 있을 것이다. 즉, 뉴럴 네트워크를 사용한 연산을 특정 부분 라이브 특징 맵에 가하는 것이 아니라, 부분 라이브 특징 맵들과 특정 레퍼런스 특징 맵 간의 유사도를 직접 구함으로써 특정 부분 라이브 특징 맵의 상대적인 위치를 검출할 수 있다는 것이다.
특징 맵 좌표들이 획득된 후, 컴퓨팅 장치(100)는, 특정 특징 맵 좌표에 대응하는 라이브 이미지 상의 특정 서브 영역을 검출할 수 있다. 여기서, 특정 부분 라이브 특징 맵을 포함하는 라이브 특징 맵은, 라이브 이미지에 컨벌루션을 여러 번 적용하여 다운샘플링한 것이므로, 라이브 특징 맵 상의 특정 특징 맵 "좌표"는 라이브 이미지 상에서 특정 서브"영역"에 대응하게 된다. 특정 서브 영역이 검출된 후, 컴퓨팅 장치(100)는, (i) 특정 부분 라이브 특징 맵 및 (ii) 이에 대응하는 특정 레퍼런스 특징 맵을 포함하는 특정 부분 통합 특징 맵을 참조로 하여, 특정 서브 영역 내부의 특정 레퍼런스 객체의 특정 서브 영역 좌표를 검출할 수 있다.
특정 서브 영역 좌표를 검출하기 위해, 컴퓨팅 장치(100)는, 제2 CNN(140)으로 하여금, 상기 특정 부분 통합 특징 맵에, 탄젠트 하이퍼볼릭(tangent hyperbolic) 연산을 액티베이션 함수(activation function)로 사용하는 적어도 하나의 제2 CNN 연산을 적용하여, 상기 특정 서브 영역 좌표를 검출하도록 할 수 있다. 탄젠트 하이퍼볼릭 연산을 액티베이션 함수로 사용하는 것은, 특정 서브 영역 좌표의 범위를 -1 이상 1 이하로 제한하기 위함이다. 특정 서브 영역 좌표의 범위를 상기와 같이 제한하는 이유는 추후 자세히 설명할 것이다. 여기서, 제2 CNN(140)은 적어도 하나의 컨벌루션 레이어 및 적어도 하나의 출력 레이어를 포함할 수 있다. 여기서, 출력 레이어는 FC(Fully-Connected) 네트워크의 형태로 구현될 수 있을 것이다. 또한, 제2 CNN(140)은 특정 부분 통합 특징 맵에 제2 CNN 연산을 적용하기 이전에 학습이 완료된 상태일 수 있다. 즉, 제2 CNN(140)은, (i) 학습용 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하여, 상기 학습용 부분 통합 특징 맵에 대응하는 학습용 레퍼런스 객체의 학습용 예측 서브 영역 좌표를 생성하는 프로세스를 수행한 후, (ii) 상기 예측 서브 영역 좌표 및 이에 대응하는 GT 서브 영역 좌표를 참조로 하여, 제2 로스를 생성하고, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료된 상태일 수 있다.
이와 같은 특정 서브 영역 좌표가 획득된 후, 컴퓨팅 장치(100)는, 특정 서브 영역 좌표 및 특정 특징 맵 좌표를 참조로 하여, 이미지 좌표들 중 하나인 특정 이미지 좌표를 검출할 수 있다. 이와 같은 프로세스에 대해 설명하기 위해 도 5를 참조하도록 한다.
도 5는 본 발명의 일 실시에에 따라 경로 플래닝을 위해 사용될 수 있는 자율 주행 차량의 위치를 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 정확하게 검출하는 방법을 수행하기 위해 생성된 특정 서브 영역 좌표를 이용하여 특정 기준 이미지 좌표에 대한 정보를 도출하는 방식을 나타낸 도면이다.
도 5를 참조로 하면, 특정 서브 영역(500)에 포함된 특정 서브 영역의 중심 포인트(501) 및 이의 좌표
Figure 112020003827017-pat00028
를 확인할 수 있다. 이와 같은 좌표는,
Figure 112020003827017-pat00029
의 크기를 가지는 라이브 특징 맵 상에서의 특정 특징 맵 좌표
Figure 112020003827017-pat00030
가
Figure 112020003827017-pat00031
의 크기를 가지는 라이브 이미지 상에서 어디에 위치할지를 계산함으로써 획득된 것이다. 보다 구체적으로, 특정 특징 맵에서의 각각의 포인트는 크기가
Figure 112020003827017-pat00032
인 서브 영역이 된다. 따라서, 중심 포인트(501)는 24를 특정 특징 맵 좌표에 곱한 다음 좌표에서 12를 빼서 계산될 수 있다. 또한, 탄젠트 하이퍼볼릭 연산에 대응하는 범위에 포함된 것으로 계산된 특정 서브 영역 포인트(502)가
Figure 112020003827017-pat00033
로 계산된 것을 확인할 수 있다. 여기서, 특정 이미지 좌표는,
Figure 112020003827017-pat00034
으로 계산될 수 있을 것이다. 특정 서브 영역 좌표는 도면에 도시된 바와 같이, 특정 레퍼런스 객체가 중심 포인트(501)로부터 특정 서브 영역 상에서 어느 방향에 위치하는지 여부를 나타내는 벡터이므로 상기와 같이 계산되는 것이다. 이와 같은 계산 과정을 일반화하면 다음과 같다.
Figure 112020003827017-pat00035
상기 수식에서,
Figure 112020003827017-pat00036
은 특정 특징 맵 좌표를 의미할 수 있고,
Figure 112020003827017-pat00037
는 특정 서브 영역 좌표를 의미할 수 있으며,
Figure 112020003827017-pat00038
는 특정 서브 영역의 크기를 의미할 수 있다. 또한, 특정 서브 영역의 크기는, 라이브 이미지 및 라이브 특징 맵 간의 크기의 비율에 대응되는 라이브 특징 맵을 생성하는데 사용되는 스트라이드(stride)를 참조하여 결정될 수 있을 것이다.
상기 좌표들의 예시를 든 것은 모두 라이브 이미지 및 라이브 특징 맵의 최좌측 최하단의 지점을 원점으로 가정하였는데, 실시예에 따라 원점을 라이브 이미지 및 라이브 특징 맵의 중심 지점으로 가정할 수도 있을 것이다.
이상의 프로세스에 따라 각각의 이미지 좌표들이 획득된 후, 컴퓨팅 장치(100)는, 이들과 함께 다른 정보를 사용하여, 대상 차량의 실제 세계에서의 최적화 대상 좌표를 검출할 수 있다. 상기 다른 정보는, 레퍼런스 객체의 실제 세계에서의 3차원 좌표, 라이브 이미지를 획득하는 데 사용된 카메라의 파라미터에 대한 정보 및 대상 차량의 자세에 대한 정보를 포함할 수 있다. 여기서, 3차원 좌표는 레퍼런스 특징 맵들을 획득하는 과정에서 HD 맵으로부터 함께 획득될 수도 있을 것이다. 이하 이에 대해 수식과 함께 더욱 구체적으로 설명하도록 한다.
즉, 컴퓨팅 장치(100)는, 상기 이미지 좌표, 상기 3차원 좌표, 상기 파라미터에 대한 정보 및 상기 자세에 대한 정보와 더불어 하기 수식을 사용하여, 상기 최적화 대상 좌표를 검출하되,
Figure 112020003827017-pat00039
상기 수식에서,
Figure 112020003827017-pat00040
는 제j 레퍼런스 객체에 대한 제j 이미지 좌표의 제k축 성분을 의미하고,
Figure 112020003827017-pat00041
는 상기 제j 레퍼런스 객체에 대한 제j 3차원 좌표의 제k 축 성분을 의미하며,
Figure 112020003827017-pat00042
는 상기 최적화 대상 좌표의 제k 축 성분을 의미하고,
Figure 112020003827017-pat00043
는 임의의 수를 그 대각 성분으로 가지는 대각 매트릭스(diagonal matrix)의 제k 대각 성분을 의미하며,
Figure 112020003827017-pat00044
는 상기 카메라의 상기 파라미터에 대응하는 카메라 매트릭스를 의미하며,
Figure 112020003827017-pat00045
는 상기 대상 차량의 상기 자세에 대응하는 회전 매트릭스를 의미할 수 있다. 회전 매트릭스는 널리 알려진 로드리게스 회전 공식(Rodrigues Rotation Formula)에서 사용되는 매트릭스일 수 있다. 또한, 카메라 매트릭스는 이미지 프로세싱 분야에서 널리 알려진 2D 이미지 상의 좌표를 3D 공간 상의 좌표로 변환하여 주는 매트릭스일 수 있다. 예를들어, 3차원 좌표 중 하나의 구성요소 각각은 대응하는 레퍼런스 객체의 위도, 경도 및 고도를 각각 나타낼 수 있다.
더욱 구체적으로는, 상기 수식은 최적화 문제를 의미하는데, 컴퓨팅 장치(100)는 이를 해결함으로써 최적화 대상 좌표를 검출할 수 있다. 다만, 랜덤한 초기 값에서 시작하여 최적화 문제를 푸는 경우 제대로 해결되지 않을 수 있다. 즉, 컴퓨팅 장치(100)는 로컬 최소 값만을 찾을 수 있거나, 컴퓨팅 리소스에 대한 너무 많은 요구로 인해 해결하지 못할 수 있다. 이러한 위험을 방지하려면 적절한 초기화 프로세스가 필요하다. 이하에서 보다 구체적으로 설명하도록 한다.
즉, 컴퓨팅 장치(100)는, (i) 상기 대상 차량의 적어도 하나의 자이로 센서를 통해 획득된 상기 자세에 대한 정보를 참조로 하여, 상기 회전 매트릭스를 초기화하는 프로세스를 수행하여, 초기화된 회전 매트릭스를 생성하고, (ii) 상기 대상 차량의 GPS를 통해 획득된 초기 대상 좌표를 참조로 하여, 상기 최적화 대상 좌표를 획득하는 데 사용될 대상 좌표 매트릭스를 초기화함으로써, 초기화된 대상 좌표 매트릭스를 생성하는 프로세스를 수행한다. 회전 매트릭스는 자이로 센서를 통해 획득된 자세에 대한 정보가 매우 정확하다는 가정하에 위와 같이 초기화 될 수 있다. 또한, 대상 좌표 매트릭스는 GPS로부터 획득된 위치 정보를 조정하기 위해 위와 같이 초기화 될 수 있으며, 이는 약간 부정확 할 수 있다.
상기 초기화된 회전 매트릭스 및 상기 초기화된 대상 좌표 매트릭스가 제공된 상태에서, 컴퓨팅 장치(100)는, 상기 수식을 최소화하는 초기화된 대각 매트릭스를 찾아서 상기 대각 매트릭스를 초기화하는 프로세스를 수행할 수 있다. 이후 상기 초기화된 회전 매트릭스, 상기 초기화된 대상 좌표 매트릭스 및 상기 초기화된 대각 매트릭스의 값들을 조정함으로써, 상기 수식을 최소화하는, 최적화 회전 매트릭스, 최적화 대상 좌표 매트릭스 및 최적화 대각 매트릭스를 찾는 프로세스를 최종적으로 수행할 수 있다. 이에 따라, 상기 최적화 문제를 푼 후, 상기 최적화된 대상 좌표 매트릭스를 참조로 하여 상기 최적화된 대상 좌표를 검출할 수 있을 것이다.
요약하면, 상기 수식의 최적화 문제는, 라이브 이미지를 기반으로 하여 획득된 레퍼런스 객체의 이미지 좌표를 이용하여 GPS를 통해 획득된 GPS 기반 대상 차량의 초기 대상 좌표를 조정하는 방법에 관한 것이다. 통상의 기술자는 상기 설명을 통해 상기 수식을 잘 이해할 수 있을 것이다.
이와 같이 최적화 대상 좌표가 획득된 후, 대상 차량은 더욱 정확한 자기 자신의 위치 정보를 이용해 자율 주행을 수행할 수 있게 될 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (c) 단계는,
    상기 컴퓨팅 장치가, 상기 이미지 좌표, 상기 3차원 좌표, 상기 파라미터에 대한 정보 및 상기 자세에 대한 정보와 더불어 하기 수식을 사용하여, 상기 최적화 대상 좌표를 검출하되,
    Figure 112021020698866-pat00069

    상기 수식에서,
    Figure 112021020698866-pat00070
    는 제j 레퍼런스 객체에 대한 제j 이미지 좌표의 제k축 성분을 의미하고,
    Figure 112021020698866-pat00071
    는 상기 제j 레퍼런스 객체에 대한 제j 3차원 좌표의 제k 축 성분을 의미하며,
    Figure 112021020698866-pat00072
    는 상기 최적화 대상 좌표의 제k 축 성분을 의미하고,
    Figure 112021020698866-pat00073
    는 임의의 수를 그 대각 성분으로 가지는 대각 매트릭스(diagonal matrix)의 제k 대각 성분을 의미하며,
    Figure 112021020698866-pat00074
    는 상기 카메라의 상기 파라미터에 대응하는 카메라 매트릭스를 의미하며,
    Figure 112021020698866-pat00075
    는 상기 대상 차량의 상기 자세에 대응하는 회전 매트릭스를 의미하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 (c) 단계는,
    상기 컴퓨팅 장치가, 상기 수식에 대응하는 최적화 문제를 해결함으로써 상기 최적화 대상 좌표를 검출하되,
    상기 컴퓨팅 장치가, (i) (i-1) 상기 대상 차량의 적어도 하나의 자이로 센서를 통해 획득된 상기 자세에 대한 정보를 참조로 하여, 상기 회전 매트릭스를 초기화하는 프로세스를 수행하여, 초기화된 회전 매트릭스를 생성하고, (i-2) 상기 대상 차량의 GPS를 통해 획득된 초기 대상 좌표를 참조로 하여, 상기 최적화 대상 좌표를 획득하는 데 사용될 대상 좌표 매트릭스를 초기화함으로써, 초기화된 대상 좌표 매트릭스를 생성하는 프로세스를 수행한 다음, (ii) 상기 초기화된 회전 매트릭스 및 상기 초기화된 대상 좌표 매트릭스가 제공된 상태에서, 상기 수식을 최소화하는 초기화된 대각 매트릭스를 찾아서 상기 대각 매트릭스를 초기화하는 프로세스를 수행하고, 이후 (iii) 상기 초기화된 회전 매트릭스, 상기 초기화된 대상 좌표 매트릭스 및 상기 초기화된 대각 매트릭스의 값들을 조정함으로써, 상기 수식을 최소화하는, 최적화 회전 매트릭스, 최적화 대상 좌표 매트릭스 및 최적화 대각 매트릭스를 찾는 프로세스를 수행함으로써, 상기 최적화 문제를 푼 후, 상기 최적화된 대상 좌표 매트릭스를 참조로 하여 상기 최적화된 대상 좌표를 검출하는 것을 특징으로 하는 방법.
  4. 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (a) 단계는,
    상기 컴퓨팅 장치가, (i) 특정 레퍼런스 객체에 대응하는
    Figure 112021020698866-pat00076
    의 크기를 가지는 복수 개의 특정 레퍼런스 특징 맵 및 (ii)
    Figure 112021020698866-pat00077
    의 크기를 가지는 상기 라이브 특징 맵이 병렬적으로 채널 단위로 컨캐터네이팅됨으로써 생성된 특정 통합 특징 맵이 획득되면, 제1 CNN으로 하여금, 상기 특정 통합 특징 맵에 적어도 하나의 제1 CNN 연산을 적용하도록 함으로써, 상기 라이브 특징 맵의 부분 라이브 특징 맵 중에서, 특정 부분 라이브 특징 맵을 찾되, 상기 특정 부분 라이브 특징 맵은 상기 특정 레퍼런스 특징 맵과 관련하여 유사성 점수가 임계값 보다 큰 것을 특징으로 하며, 상기 라이브 특징 맵에 있는 상기 특정 부분 라이브 특징 맵의 상대적인 위치에 대한 정보를 참조로 하여, 상기 특징 맵 좌표 중에서 특정 특징 맵 좌표를 검출하도록 하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서,
    상기 제1 CNN은, 상기 특정 통합 특징 맵에 상기 제1 CNN 연산을 적용하기 이전에 학습이 완료되되,
    상기 제1 CNN은, (i) 학습용 통합 특징 맵에 상기 제1 CNN 연산을 적용하여, 학습용 상기 라이브 특징 맵의 하나 이상의 각각의 학습용 부분 라이브 특징 맵 및 학습용 레퍼런스 특징 맵 사이의 하나 이상의 예측 유사도 점수 각각을 생성하는 프로세스를 수행한 후, (ii) 상기 예측 유사도 점수 및 이에 대응하는 GT 유사도 점수를 참조로 하여 제1 로스를 생성하고, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료된 상태인 것을 특징으로 하는 방법.
  6. 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (b) 단계는,
    상기 컴퓨팅 장치가, (i) (i-1) 상기 특정 특징 맵 좌표에 대응하는 특정 부분 라이브 특징 맵 및 (i-2) 이에 대응하는 특정 레퍼런스 특징 맵을 통합함으로써 생성된, 특정 부분 통합 특징 맵을 참조로 하여, 상기 라이브 이미지에서 특정 특징 맵 좌표에 대응되는, 특정 서브 영역 상의 특정 레퍼런스 객체의 특정 서브 영역 좌표를 검출하고, (ii) 상기 특정 서브 영역 좌표 및 상기 특정 특징 맵 좌표를 참조로 하여, 상기 이미지 좌표들 중에서 특정 이미지 좌표를 검출하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 (b) 단계는,
    상기 컴퓨팅 장치가, 제2 CNN으로 하여금, 상기 특정 부분 통합 특징 맵에, 탄젠트 하이퍼볼릭(tangent hyperbolic) 연산을 액티베이션 함수 (activation function)로 사용하는 적어도 하나의 제2 CNN 연산을 적용하여, 상기 특정 서브 영역 좌표를 검출하도록 하는 것을 특징으로 하는 방법.
  8. 제 7항에 있어서,
    상기 제2 CNN은, 상기 특정 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하기 이전에 학습이 완료되되,
    상기 제2 CNN은, (i) 학습용 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하여, 상기 학습용 부분 통합 특징 맵에 대응하는 학습용 레퍼런스 객체의 학습용 예측 서브 영역 좌표를 생성하는 프로세스를 수행한 후, (ii) 상기 예측 서브 영역 좌표 및 이에 대응하는 GT 서브 영역 좌표를 참조로 하여, 제2 로스를 생성하고, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료되는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 라이브 이미지가 상기 대상 차량에 탑재된 상기 카메라를 통해 획득된 후, 자율 주행 모듈이 상기 대상 차량의 자율 주행을 수행하는 동안, 상기 라이브 이미지는, 상기 자율 주행 모듈에 전달되어 상기 라이브 특징 맵이 생성되고, 이후 상기 라이브 특징 맵이 상기 컴퓨팅 장치에 전달되는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 컴퓨팅 장치가, 상기 대상 차량에 탑재된 GPS를 통해 획득된 초기 대상 좌표 및 상기 대상 차량의 상기 자세에 대한 정보를 이용하여, 쿼리를 HD(High-Density) 맵으로 전송함으로써, 상기 레퍼런스 특징 맵을 포함하는 상기 대상 데이터 영역에 대한 정보를 획득하는 것을 특징으로 하는 방법.
  11. 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 컴퓨팅 장치에 있어서,
    적어도 하나의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (I) 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 프로세스; (II) 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 프로세스; 및 (III) 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 프로세스;를 수행하되,
    상기 (III) 프로세스는,
    상기 프로세서가, 상기 이미지 좌표, 상기 3차원 좌표, 상기 파라미터에 대한 정보 및 상기 자세에 대한 정보와 더불어 하기 수식을 사용하여, 상기 최적화 대상 좌표를 검출하되,
    Figure 112021020698866-pat00078

    상기 수식에서,
    Figure 112021020698866-pat00079
    는 제j 레퍼런스 객체에 대한 제j 이미지 좌표의 제k축 성분을 의미하고,
    Figure 112021020698866-pat00080
    는 상기 제j 레퍼런스 객체에 대한 제j 3차원 좌표의 제k 축 성분을 의미하며,
    Figure 112021020698866-pat00081
    는 상기 최적화 대상 좌표의 제k 축 성분을 의미하고,
    Figure 112021020698866-pat00082
    는 임의의 수를 그 대각 성분으로 가지는 대각 매트릭스(diagonal matrix)의 제k 대각 성분을 의미하며,
    Figure 112021020698866-pat00083
    는 상기 카메라의 상기 파라미터에 대응하는 카메라 매트릭스를 의미하며,
    Figure 112021020698866-pat00084
    는 상기 대상 차량의 상기 자세에 대응하는 회전 매트릭스를 의미하는 것을 특징으로 하는 장치.
  12. 삭제
  13. 제 11항에 있어서,
    상기 (III) 프로세스는,
    상기 프로세서가, 상기 수식에 대응하는 최적화 문제를 해결함으로써 상기 최적화 대상 좌표를 검출하되,
    상기 프로세서가, (i) (i-1) 상기 대상 차량의 적어도 하나의 자이로 센서를 통해 획득된 상기 자세에 대한 정보를 참조로 하여, 상기 회전 매트릭스를 초기화하는 프로세스를 수행하여, 초기화된 회전 매트릭스를 생성하고, (i-2) 상기 대상 차량의 GPS를 통해 획득된 초기 대상 좌표를 참조로 하여, 상기 최적화 대상 좌표를 획득하는 데 사용될 대상 좌표 매트릭스를 초기화함으로써, 초기화된 대상 좌표 매트릭스를 생성하는 프로세스를 수행한 다음, (ii) 상기 초기화된 회전 매트릭스 및 상기 초기화된 대상 좌표 매트릭스가 제공된 상태에서, 상기 수식을 최소화하는 초기화된 대각 매트릭스를 찾아서 상기 대각 매트릭스를 초기화하는 프로세스를 수행하고, 이후 (iii) 상기 초기화된 회전 매트릭스, 상기 초기화된 대상 좌표 매트릭스 및 상기 초기화된 대각 매트릭스의 값들을 조정함으로써, 상기 수식을 최소화하는, 최적화 회전 매트릭스, 최적화 대상 좌표 매트릭스 및 최적화 대각 매트릭스를 찾는 프로세스를 수행함으로써, 상기 최적화 문제를 푼 후, 상기 최적화된 대상 좌표 매트릭스를 참조로 하여 상기 최적화된 대상 좌표를 검출하는 것을 특징으로 하는 장치.
  14. 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 컴퓨팅 장치에 있어서,
    적어도 하나의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (I) 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 프로세스; (II) 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 프로세스; 및 (III) 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 프로세스;를 수행하되,
    상기 (I) 프로세스는,
    상기 프로세서가, (i) 특정 레퍼런스 객체에 대응하는
    Figure 112021020698866-pat00085
    의 크기를 가지는 복수 개의 특정 레퍼런스 특징 맵 및 (ii)
    Figure 112021020698866-pat00086
    의 크기를 가지는 상기 라이브 특징 맵이 병렬적으로 채널 단위로 컨캐터네이팅됨으로써 생성된 특정 통합 특징 맵이 획득되면, 제1 CNN으로 하여금, 상기 특정 통합 특징 맵에 적어도 하나의 제1 CNN 연산을 적용하도록 함으로써, 상기 라이브 특징 맵의 부분 라이브 특징 맵 중에서, 특정 부분 라이브 특징 맵을 찾되, 상기 특정 부분 라이브 특징 맵은 상기 특정 레퍼런스 특징 맵과 관련하여 유사성 점수가 임계값 보다 큰 것을 특징으로 하며, 상기 라이브 특징 맵에 있는 상기 특정 부분 라이브 특징 맵의 상대적인 위치에 대한 정보를 참조로 하여, 상기 특징 맵 좌표 중에서 특정 특징 맵 좌표를 검출하도록 하는 것을 특징으로 하는 장치.
  15. 제 14항에 있어서,
    상기 제1 CNN은, 상기 특정 통합 특징 맵에 상기 제1 CNN 연산을 적용하기 이전에 학습이 완료되되,
    상기 제1 CNN은, (i) 학습용 통합 특징 맵에 상기 제1 CNN 연산을 적용하여, 학습용 상기 라이브 특징 맵의 하나 이상의 각각의 학습용 부분 라이브 특징 맵 및 학습용 레퍼런스 특징 맵 사이의 하나 이상의 예측 유사도 점수 각각을 생성하는 프로세스를 수행한 후, (ii) 상기 예측 유사도 점수 및 이에 대응하는 GT 유사도 점수를 참조로 하여 제1 로스를 생성하고, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료된 상태인 것을 특징으로 하는 장치.
  16. 랜드마크 검출을 사용하여 자율 주행이 가능한 대상 차량의 위치를 검출하는 컴퓨팅 장치에 있어서,
    적어도 하나의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (I) 컴퓨팅 장치와 연동하는 대상 차량의 상황에 대응하는 적어도 하나의 라이브 이미지를 처리함으로써 생성된 하나 이상의 라이브 특징 맵을 획득한 경우, (i) 각각의 레퍼런스 객체에 대응하는 하나 이상의 각각의 레퍼런스 특징 맵 및 (ii) 상기 라이브 특징 맵을 참조로 하여, 상기 라이브 특징 맵이 획득된 상기 대상 차량의 적어도 하나의 위치 및 적어도 하나의 자세에 대응하는 대상 데이터 영역에 포함된 하나 이상의 레퍼런스 객체 별로 상기 라이브 특징 맵의 각각의 특징 맵 좌표를 검출하는 프로세스; (II) 상기 특징 맵 좌표 각각을 참조로 하여, 상기 라이브 이미지 상의 상기 각각의 레퍼런스 객체의 이미지 좌표 각각을 검출하는 프로세스; 및 (III) 실제 세계에서의 상기 레퍼런스 객체의 하나 이상의 3차원 좌표, 상기 이미지 좌표, 상기 라이브 이미지를 획득한 카메라의 파라미터에 대한 정보 및 상기 대상 차량의 상기 자세에 대한 정보를 참조로 하여, 상기 대상 차량의 적어도 하나의 최적화 대상 좌표를 검출하는 프로세스;를 수행하되,
    상기 (II) 프로세스는,
    상기 프로세서가, (i) (i-1) 상기 특정 특징 맵 좌표에 대응하는 특정 부분 라이브 특징 맵 및 (i-2) 이에 대응하는 특정 레퍼런스 특징 맵을 통합함으로써 생성된, 특정 부분 통합 특징 맵을 참조로 하여, 상기 라이브 이미지에서 특정 특징 맵 좌표에 대응되는, 특정 서브 영역 상의 특정 레퍼런스 객체의 특정 서브 영역 좌표를 검출하고, (ii) 상기 특정 서브 영역 좌표 및 상기 특정 특징 맵 좌표를 참조로 하여, 상기 이미지 좌표들 중에서 특정 이미지 좌표를 검출하는 것을 특징으로 하는 장치.
  17. 제 16항에 있어서,
    상기 (II) 프로세스는,
    상기 프로세서가, 제2 CNN으로 하여금, 상기 특정 부분 통합 특징 맵에, 탄젠트 하이퍼볼릭(tangent hyperbolic) 연산을 액티베이션 함수(activation function)로 사용하는 적어도 하나의 제2 CNN 연산을 적용하여, 상기 특정 서브 영역 좌표를 검출하도록 하는 것을 특징으로 하는 장치.
  18. 제 17항에 있어서,
    상기 제2 CNN은, 상기 특정 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하기 이전에 학습이 완료되되,
    상기 제2 CNN은, (i) 학습용 부분 통합 특징 맵에 상기 제2 CNN 연산을 적용하여, 상기 학습용 부분 통합 특징 맵에 대응하는 학습용 레퍼런스 객체의 학습용 예측 서브 영역 좌표를 생성하는 프로세스를 수행한 후, (ii) 상기 예측 서브 영역 좌표 및 이에 대응하는 GT 서브 영역 좌표를 참조로 하여, 제2 로스를 생성하고, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행하는 프로세스를 수행하여 학습이 완료되는 것을 특징으로 하는 장치.
  19. 제 11항에 있어서,
    상기 (I) 프로세스는,
    상기 라이브 이미지가 상기 대상 차량에 탑재된 상기 카메라를 통해 획득된 후, 자율 주행 모듈이 상기 대상 차량의 자율 주행을 수행하는 동안, 상기 라이브 이미지는, 상기 자율 주행 모듈에 전달되어 상기 라이브 특징 맵이 생성되고, 이후 상기 라이브 특징 맵이 상기 컴퓨팅 장치에 전달되는 것을 특징으로 하는 장치.
  20. 제 11항에 있어서,
    상기 (I) 프로세스는,
    상기 프로세서가, 상기 대상 차량에 탑재된 GPS를 통해 획득된 초기 대상 좌표 및 상기 대상 차량의 상기 자세에 대한 정보를 이용하여, 쿼리를 HD(High-Density) 맵으로 전송함으로써, 상기 레퍼런스 특징 맵을 포함하는 상기 대상 데이터 영역에 대한 정보를 획득하는 것을 특징으로 하는 장치.
KR1020200004516A 2019-01-30 2020-01-13 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치 KR102296493B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798574P 2019-01-30 2019-01-30
US62/798,574 2019-01-30
US16/731,093 2019-12-31
US16/731,093 US10650548B1 (en) 2019-01-30 2019-12-31 Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection

Publications (2)

Publication Number Publication Date
KR20200094654A KR20200094654A (ko) 2020-08-07
KR102296493B1 true KR102296493B1 (ko) 2021-09-02

Family

ID=70612951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200004516A KR102296493B1 (ko) 2019-01-30 2020-01-13 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10650548B1 (ko)
EP (1) EP3690397B1 (ko)
JP (1) JP6986769B2 (ko)
KR (1) KR102296493B1 (ko)
CN (1) CN111736586B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693049B (zh) * 2020-05-20 2022-02-11 五邑大学 一种无人船覆盖投食的动态路径规划方法及设备
DE102020120934A1 (de) 2020-08-07 2022-02-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
CN112002112B (zh) * 2020-08-25 2021-11-02 中国铁道科学研究院集团有限公司电子计算技术研究所 一种高速铁路周界入侵报警系统安防效能评估方法及系统
JP6830561B1 (ja) * 2020-09-17 2021-02-17 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
KR102289752B1 (ko) * 2020-10-13 2021-08-13 주식회사 스페이스소프트인더스트리 Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552773B1 (ko) * 2013-12-10 2015-09-11 고려대학교 산학협력단 인공 표식을 이용한 이동 로봇의 위치 추정 방법
KR101804471B1 (ko) * 2016-06-30 2017-12-04 주식회사 이누씨 영상 분석 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP5225542B2 (ja) * 2004-09-22 2013-07-03 三菱電機株式会社 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム
CN103154666B (zh) * 2011-06-14 2015-03-18 日产自动车株式会社 距离测量装置以及环境地图生成装置
US10395126B2 (en) * 2015-08-11 2019-08-27 Honda Motor Co., Ltd. Sign based localization
US9446730B1 (en) * 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
KR101878685B1 (ko) * 2016-02-12 2018-07-16 서울과학기술대학교 산학협력단 지도 정보를 이용한 차량 측위 시스템 및 방법
WO2017168472A1 (ja) * 2016-03-30 2017-10-05 パナソニックＩｐマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US20180074494A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger tracking systems and methods
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
KR101955506B1 (ko) * 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
DE112017006904T5 (de) * 2017-01-24 2019-10-02 Fujitsu Limited Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren
JP6760114B2 (ja) * 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
CN109061703B (zh) * 2018-06-11 2021-12-28 阿波罗智能技术(北京)有限公司 用于定位的方法、装置、设备和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552773B1 (ko) * 2013-12-10 2015-09-11 고려대학교 산학협력단 인공 표식을 이용한 이동 로봇의 위치 추정 방법
KR101804471B1 (ko) * 2016-06-30 2017-12-04 주식회사 이누씨 영상 분석 방법 및 장치

Also Published As

Publication number Publication date
EP3690397A1 (en) 2020-08-05
KR20200094654A (ko) 2020-08-07
EP3690397C0 (en) 2024-06-19
JP2020122784A (ja) 2020-08-13
EP3690397B1 (en) 2024-06-19
US10650548B1 (en) 2020-05-12
CN111736586B (zh) 2023-10-03
JP6986769B2 (ja) 2021-12-22
CN111736586A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
KR102296493B1 (ko) 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
US10408939B1 (en) Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
KR102373466B1 (ko) 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
KR102373487B1 (ko) 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치
KR102627453B1 (ko) 위치 추정 장치 및 방법
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
EP3707466A1 (en) Method of computer vision based localisation and navigation and system for performing the same
KR102338763B1 (ko) V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
KR102373472B1 (ko) 각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR102296496B1 (ko) V2v 통신을 통해 획득한 정보와 카메라를 통해 획득한 정보를 융합하여 카메라의 피치 캘리브레이션을 더욱 정교하게 수행함으로써 카메라 기반 로버스트 객체 거리 예측을 제공하는 방법 및 이를 이용한 장치
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
KR102373493B1 (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN114636414A (zh) 高清晰度城市地图绘制
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
Praczyk et al. Concept and first results of optical navigational system
CN114830185A (zh) 借助于神经网络的位置确定
CN113625764B (zh) 基于边界驱动的无人机自主探索方法、导航系统及无人机
KR20220084910A (ko) 벡터 맵을 이용한 이동체의 맵 매칭 위치 추정 방법
Spears et al. Sonar and video fusion for vehicle trajectory estimation in under-ice environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right