KR102373472B1 - 각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치 - Google Patents

각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR102373472B1
KR102373472B1 KR1020200004517A KR20200004517A KR102373472B1 KR 102373472 B1 KR102373472 B1 KR 102373472B1 KR 1020200004517 A KR1020200004517 A KR 1020200004517A KR 20200004517 A KR20200004517 A KR 20200004517A KR 102373472 B1 KR102373472 B1 KR 102373472B1
Authority
KR
South Korea
Prior art keywords
cnn
autonomous driving
target vehicle
learning
information
Prior art date
Application number
KR1020200004517A
Other languages
English (en)
Other versions
KR20200094655A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094655A publication Critical patent/KR20200094655A/ko
Application granted granted Critical
Publication of KR102373472B1 publication Critical patent/KR102373472B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system

Abstract

위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터 변경을 수행함으로써 최적화된 자율 주행을 수행할 수 있도록 하는 학습 방법에 있어서, (a) 학습 장치가 제K 컨벌루션 레이어로 하여금, 제K 트레이닝 이미지에 제K 컨벌루션 연산을 가하여 제K 특징 맵을 생성하도록 하는 단계; (b) 상기 학습 장치가 제K 출력 레이어로 하여금, 상기 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 제K 예측 자율 주행 소스 정보를 생성하도록 하는 단계; (c) 상기 학습 장치가 제K 로스 레이어로 하여금, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 제K GT(ground truth)를 참조로 하여 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 단계; 및 (d) 상기 학습 장치가, 제K 위치 정보를 상기 제K CNN에 태깅(tagging)하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치{METHOD AND DEVICE FOR SEAMLESS PARAMETER SWITCH BY USING LOCATION-SPECIFIC ALGORITHM SELECTION TO ACHIEVE OPTIMIZED AUTONOMOUS DRIVING IN EACH OF REGIONS}
본 발명은 자율 주행 차량에 사용하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는; 각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터 변경을 수행하는 방법 및 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Network; Deep CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 최근에 들어서야 기계 학습(Machine learning)에 널리 쓰이게 되었다. 예를 들어, 이러한 CNN은 매년 열리는 소프트웨어 시합인 이미지넷 이미지 분류 시합(ImageNet Large Scale Visual Recognition Challenge)에서 다른 경쟁자들을 이기고 2012년 우승을 차지했다. 그 후, CNN은 기계 학습 분야에서 매우 유용한 툴이 되었다.
이와 같은 CNN는 자율 주행 분야에서도 널리 사용되고 있다. 자율 주행 분야에서, CNN은 객체 검출, 자유 공간(free space) 검출 및 시맨틱 세그멘테이션(semantic segmentation)을 수행할 수 있다.
이와 같이 자율 주행 분야에서 CNN을 사용하는 데에 있어서의 문제는, 수많은 컨벌루션 연산을 처리해야 하다 보니 컴퓨팅 파워가 많이 소요된다는 점이다. 특히 자율 주행 차량에서 사용할 때에는, 차량의 컴퓨팅 파워가 한정된 이상 CNN이 적절히 작동하지 않을 수 있다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터 변경을 수행하는 방법을 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터 변경을 수행하는 상기 방법을 제공하여, CNN(Convolutional Neural Network)이 컴퓨팅 자원을 덜 소모하도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터 변경을 수행하는 상기 방법을 제공하여, CNN이 더욱 정확하게 수행할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행할 수 있도록 시간 기반 알고리즘 선택을 통해 상기 심리스 파라미터 변경을 수행하는 방법을 제공하여, 각각의 시간 범위 별 각각의 최적화된 CNN을 사용할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터 변경을 수행함으로써 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 학습 방법에 있어서, (a) 학습 장치가, 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 제K 특징 맵을 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 제K 예측 자율 주행 소스 정보를 생성하도록 하는 단계; (c) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT(ground truth)를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 단계; 및 (d) 상기 학습 장치가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅(tagging)하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, (e) 상기 학습 장치가, (i) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 영역으로부터의 거리가 제1 임계치 미만인 제K_1 영역 내지 제K_N 영역 - N은 0보다 큰 임의의 정수임 - 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (ii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하는 단계; 및 (f) 상기 학습 장치가, 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제2 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 영역을 포함하는 제K 광역 영역에 대응하는 제K 대표 CNN을 생성하는 단계;를 더 포함한다.
일 실시예에서, 상기 (e) 단계에서, 상기 학습 장치가, 하기 수식에 따라 상기 제K_1 유사도 내지 상기 제K_N 유사도를 계산하되,
Figure 112020003827163-pat00001
상기 수식에서,
Figure 112020003827163-pat00002
는 상기 제K_1 유사도 내지 상기 제K_N 유사도 중 하나인 제K_Q 유사도 - Q는 1 이상 N 이하의 정수임 - 를 의미하고,
Figure 112020003827163-pat00003
는 상기 제K 파라미터의 l번째 구성 파라미터를 의미하며,
Figure 112020003827163-pat00004
는 상기 제K_Q 유사도에 대응하는 제K_Q CNN의 제K_Q 파라미터의 l번째 구성 파라미터를 의미한다.
일 실시예에서, 상기 (f) 단계에서, 상기 학습 장치가, 상기 특정 CNN 및 상기 제K CNN 각각의 모든 파라미터 중, 각각의 상대적 동일 위치에 대응하는 각각의 구성 파라미터에 대한 평균을 각각 계산하여, 상기 평균을 파라미터로서 포함하는 상기 제K 대표 CNN을 생성한다.
일 실시예에서, 지형적 특성, 기상적 특성 및 건물 배치 특성 중 적어도 일부를 포함하는 공통 특성을, 상기 제K 광역 영역 내 각 영역 간에 하나 이상 가진다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 제K 컨벌루션 레이어에 포함된 하나 이상의 제K 컨벌루션 뉴런 각각으로 하여금, 자신에게 입력된 값에 적어도 하나의 컨벌루션 연산을 가하여 출력된 값을 자신의 다음 제K 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하도록 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 상기 제K 컨벌루션 레이어에 대응하는 제K 디컨벌루션 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K 디컨벌루션 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 세그멘테이션 이미지에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 제K FC(Fully-Connected) 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K FC 네트워크 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 객체 검출 결과에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
일 실시예에서, 상기 (d) 단계에서, 상기 학습 장치가, (i) 상기 제K 트레이닝 이미지가 획득된 제K 시점에 대응하는 제K 시간 정보와 함께 상기 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 상기 데이터베이스에 저장하며, (ii) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 시점과의 차이가 제3 임계치 이하인 제K_1 시점 내지 제K_N 시점 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (iii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하고, (iv) 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제4 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 시점을 포함하는 제K 시간 범위에 대응하는 제K 대표 CNN을 생성한다.
본 발명의 다른 태양에 따르면, 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행함으로써 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 테스트 방법에 있어서, (a) (1) 학습 장치가, 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 학습용 제K 특징 맵을 생성하도록 하는 프로세스, (2) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 학습용 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 학습용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (3) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 학습용 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (4) 상기 학습 장치가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 프로세스를 수행한 상태에서, 테스트 장치가, 제K 시점에 상기 대상 차량이 위치한 상기 제K 영역에 대응하는 상기 제K CNN으로 하여금, 제K 테스트 이미지를 사용하여 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 단계; 및 (b) 상기 테스트 장치가, 자율 주행 모듈로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 참조로 하여 상기 대상 차량의 자율 주행을 수행하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스트 장치가, 상기 제K 영역을 포함하는 제K 광역 영역에 대한 제K 대표 CNN을 획득하고, 상기 제K 대표 CNN으로 하여금 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
일 실시예에서, 상기 (a) 단계에서 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하는 프로세스 이전에, (a1) 상기 테스트 장치가, 상기 제K 시점보다 이전의 시점인 제K-1 시점에 상기 제K 영역에 인접한 제K-1 영역 내에 상기 대상 차량이 위치한 상태에서, 상기 대상 차량에 탑재된 GPS(Global Positioning System)로부터 획득된 대상 위치 정보를 참조로 하여, 상기 대상 차량이 상기 제K-1 영역 내 제(K-1)_1 세부 영역에서 상기 제K-1 영역 내 제(K-1)_2 세부 영역으로 이동했는지 여부를 모니터링하는 단계; 및 (a2) 상기 테스트 장치가, 상기 대상 차량이 상기 제(K-1)_1 세부 영역에서 상기 제(K-1)_2 세부 영역으로 이동한 것이 감지된 경우, 상기 대상 차량의 예상 이동 경로를 참조로 하여, 상기 제K 시점에 상기 대상 차량이 위치할 상기 제K 영역에 대응하는 상기 제K CNN을 획득하는 단계;를 더 포함한다.
일 실시예에서, 상기 (a2) 단계에서, (i) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 자율 주행 모드로 동작한 상태인 경우, 상기 테스트 장치가, 상기 자율 주행 모듈로부터 상기 예상 이동 경로에 대한 정보를 획득하고, (ii) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 반자율 주행 모드로 동작하였으며 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS(Advanced Driving Assistance System)에 입력된 상태인 경우, 상기 테스트 장치가, 상기 ADAS로부터 획득된 상기 목적지 정보를 참조로 하여 상기 예상 이동 경로에 대한 정보를 획득한다.
일 실시예에서, 상기 (a2) 단계에서, 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 수동 주행 모드로 동작한 상태이거나, 상기 대상 차량이 반자율 주행 모드로 동작하였지만 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS에 입력되지 않은 상태인 경우, 상기 테스트 장치가, 제K-P 시점 - P는 1 이상 T-1 이하의 정수임 - 내지 상기 제K-1 시점의 시간 범위 동안 상기 대상 차량이 주행한 과거 이동 경로에 대한 정보를 참조로 하여 역 강화 학습(Inverse Reinforcement Learning) 알고리즘을 수행함으로써, 상기 예상 이동 경로를 획득한다.
일 실시예에서, 상기 (a) 단계에서, 각각의 상기 제1 CNN 내지 제M CNN이, 그에 대응하는 트레이닝 이미지가 획득된 각각의 획득 위치 및 각각의 획득 시점에 대한 정보가 태깅되어 함께 상기 데이터베이스에 저장된 경우, 상기 테스트 장치가, 상기 제K 영역에 대응할 뿐만 아니라 상기 제K 시점을 포함하는 제K 시간 범위에도 대응하는 상기 제K CNN으로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
본 발명의 또 다른 태양에 따르면, 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행함으로써 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 학습 장치에 있어서, 하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 제K 특징 맵을 생성하도록 하는 프로세스, (II) 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (III) 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (IV) 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅(tagging)하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 장치가 개시된다.
일 실시예에서, 상기 프로세서가, (V) (i) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 영역으로부터의 거리가 제1 임계치 미만인 제K_1 영역 내지 제K_N 영역 - N은 0보다 큰 임의의 정수임 - 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (ii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하는 프로세스, 및 (VI) 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제2 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 영역을 포함하는 제K 광역 영역에 대응하는 제K 대표 CNN을 생성하는 프로세스를 더 수행한다.
일 실시예에서, 상기 (V) 프로세스에서, 상기 프로세서가, 하기 수식에 따라 상기 제K_1 유사도 내지 상기 제K_N 유사도를 계산하되,
Figure 112020003827163-pat00005
상기 수식에서,
Figure 112020003827163-pat00006
는 상기 제K_1 유사도 내지 상기 제K_N 유사도 중 하나인 제K_Q 유사도 - Q는 1 이상 N 이하의 정수임 - 를 의미하고,
Figure 112020003827163-pat00007
는 상기 제K 파라미터의 l번째 구성 파라미터를 의미하며,
Figure 112020003827163-pat00008
는 상기 제K_Q 유사도에 대응하는 제K_Q CNN의 제K_Q 파라미터의 l번째 구성 파라미터를 의미한다.
일 실시예에서, 상기 (VI) 프로세스에서, 상기 프로세서가, 상기 특정 CNN 및 상기 제K CNN 각각의 모든 파라미터 중, 각각의 상대적 동일 위치에 대응하는 각각의 구성 파라미터에 대한 평균을 각각 계산하여, 상기 평균을 파라미터로서 포함하는 상기 제K 대표 CNN을 생성한다.
일 실시예에서, 지형적 특성, 기상적 특성 및 건물 배치 특성 중 적어도 일부를 포함하는 공통 특성을, 상기 제K 광역 영역 내 각 영역 간에 하나 이상 가진다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 제K 컨벌루션 레이어에 포함된 하나 이상의 제K 컨벌루션 뉴런 각각으로 하여금, 자신에게 입력된 값에 적어도 하나의 컨벌루션 연산을 가하여 출력된 값을 자신의 다음 제K 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 제K 컨벌루션 레이어에 대응하는 제K 디컨벌루션 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K 디컨벌루션 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 세그멘테이션 이미지에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 제K FC 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K FC 네트워크 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 객체 검출 결과에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
일 실시예에서, 상기 (IV) 프로세스에서, 상기 프로세서가, (i) 상기 제K 트레이닝 이미지가 획득된 제K 시점에 대응하는 제K 시간 정보와 함께 상기 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 상기 데이터베이스에 저장하며, (ii) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 시점과의 차이가 제3 임계치 이하인 제K_1 시점 내지 제K_N 시점 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (iii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하고, (iv) 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제4 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 시점을 포함하는 제K 시간 범위에 대응하는 제K 대표 CNN을 생성한다.
본 발명의 또 다른 태양에 따르면, 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행함으로써 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 테스트 장치에 있어서, 하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 학습용 제K 특징 맵을 생성하도록 하는 프로세스, (2) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 학습용 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 학습용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (3) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 학습용 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (4) 상기 학습 장치가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 프로세스를 수행한 상태에서, 제K 시점에 상기 대상 차량이 위치한 상기 제K 영역에 대응하는 상기 제K CNN으로 하여금, 제K 테스트 이미지를 사용하여 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, 및 (II) 자율 주행 모듈로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 참조로 하여 상기 대상 차량의 자율 주행을 수행하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 장치가 개시된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 제K 영역을 포함하는 제K 광역 영역에 대한 제K 대표 CNN을 획득하고, 상기 제K 대표 CNN으로 하여금 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
일 실시예에서, 상기 (I) 프로세스에서 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하는 프로세스 이전에, 상기 프로세서가, (I-1) 상기 제K 시점보다 이전의 시점인 제K-1 시점에 상기 제K 영역에 인접한 제K-1 영역 내에 상기 대상 차량이 위치한 상태에서, 상기 대상 차량에 탑재된 GPS로부터 획득된 대상 위치 정보를 참조로 하여, 상기 대상 차량이 상기 제K-1 영역 내 제(K-1)_1 세부 영역에서 상기 제K-1 영역 내 제(K-1)_2 세부 영역으로 이동했는지 여부를 모니터링하는 프로세스, 및 (I-2) 상기 대상 차량이 상기 제(K-1)_1 세부 영역에서 상기 제(K-1)_2 세부 영역으로 이동한 것이 감지된 경우, 상기 대상 차량의 예상 이동 경로를 참조로 하여, 상기 제K 시점에 상기 대상 차량이 위치할 상기 제K 영역에 대응하는 상기 제K CNN을 획득하는 프로세스를 더 수행한다.
일 실시예에서, 상기 (I-2) 프로세스에서, (i) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 자율 주행 모드로 동작한 상태인 경우, 상기 프로세서가, 상기 자율 주행 모듈로부터 상기 예상 이동 경로에 대한 정보를 획득하고, (ii) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 반자율 주행 모드로 동작하였으며 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS에 입력된 상태인 경우, 상기 프로세서가, 상기 ADAS로부터 획득된 상기 목적지 정보를 참조로 하여 상기 예상 이동 경로에 대한 정보를 획득한다.
일 실시예에서, 상기 (I-2) 프로세스에서, 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 수동 주행 모드로 동작한 상태이거나, 상기 대상 차량이 반자율 주행 모드로 동작하였지만 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS에 입력되지 않은 상태인 경우, 상기 프로세서가, 제K-P 시점 - P는 1 이상 T-1 이하의 정수임 - 내지 상기 제K-1 시점의 시간 범위 동안 상기 대상 차량이 주행한 과거 이동 경로에 대한 정보를 참조로 하여 역 강화 학습(Inverse Reinforcement Learning) 알고리즘을 수행함으로써, 상기 예상 이동 경로를 획득한다.
일 실시예에서, 상기 (I) 프로세스에서, 각각의 상기 제1 CNN 내지 제M CNN이, 그에 대응하는 트레이닝 이미지가 획득된 각각의 획득 위치 및 각각의 획득 시점에 대한 정보가 태깅되어 함께 상기 데이터베이스에 저장된 경우, 상기 프로세서가, 상기 제K 영역에 대응할 뿐만 아니라 상기 제K 시점을 포함하는 제K 시간 범위에도 대응하는 상기 제K CNN으로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터 변경을 수행하는 방법을 제공할 수 있는 효과가 있다.
또한 본 발명에 의하면, 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터 변경을 수행하는 상기 방법을 제공하여, CNN(Convolutional Neural Network)이 컴퓨팅 자원을 덜 소모하도록 하는 효과가 있다.
또한 본 발명에 의하면, 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터 변경을 수행하는 상기 방법을 제공하여, CNN이 더욱 정확하게 수행할 수 있도록 하는 효과가 있다.
또한 본 발명에 의하면, 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행할 수 있도록 시간 기반 알고리즘 선택을 통해 상기 심리스 파라미터 변경을 수행하는 방법을 제공하여, 각각의 시간 범위 별 각각의 최적화된 CNN을 사용할 수 있도록 하는 효과가 있다.
본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 각각의 위치에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터를 변경하는 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 수행하기 위해 사용되는 제K CNN의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 개략적으로 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 수행하기 위해 사용되는, 제K 트레이닝 이미지 중 하나, 및 상기 제K 트레이닝 이미지의 영역과 유사한 적어도 하나의 영역에서 촬영되었으나 상기 제K 트레이닝 이미지와는 다른 트레이닝 이미지의 일 예시를 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 수행하기 위해 사용되는, 제(K-1)_1 세부 영역 및 제(K-1)_2 세부 영역을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 각각의 위치에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스(seamless) 파라미터를 변경하는 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 학습 장치(100)는, 추후 자세히 설명할 구성요소들인 제1 CNN 내지 제M CNN을 저장하고 있는 데이터베이스(200)를 포함할 수 있다. 상기 데이터베이스(200)의 입출력 및 연산 과정은 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 상기 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 상기 인스트럭션들을 실행하도록 설정되되, 상기 인스트럭션을 실행함으로써 추후 설명할 본 발명의 프로세스를 수행할 수 있다. 이와 같이 상기 학습 장치(100)가 묘사되었다고 하여, 상기 학습 장치(100)가 본 발명을 실시하기 위한 프로세서, 메모리, 매체(medium) 또는 기타 컴퓨팅 요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이상 본 발명의 실시예에 따라 각각의 상기 영역에서 상기 최적화된 자율 주행을 수행하도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 방법을 수행하는 상기 학습 장치(100)의 구성에 대해 알아보았다. 이하 심리스 파라미터 변경을 수행하는 학습 방법에 대해 설명하기 위해, 도 2를 참조로 하여 제K CNN(210)의 구성을 알아보도록 한다.
도 2는 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 수행하기 위해 사용되는 상기 제K CNN의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조로 하면, 상기 제K CNN(210)은 적어도 하나의 제K 컨벌루션 레이어(211), 적어도 하나의 제K 출력 레이어(212) 및 적어도 하나의 제K 로스 레이어(213)를 포함할 수 있다. 추후 설명할 하나 이상의 제K 트레이닝 이미지가 상기 제K CNN(210)에 입력되면, 상기 제K 컨벌루션 레이어(211) 및 상기 제K 출력 레이어(212)에 의해 처리(processing)될 수 있다. 여기서 상기 제K 컨벌루션 레이어(211)는 제K 컨벌루션 연산을 수행할 수 있는데, 구체적으로는, 상기 학습 장치(100)가, 상기 제K 컨벌루션 레이어에 포함된 하나 이상의 제K 컨벌루션 뉴런 각각으로 하여금, 자신에게 입력된 값에 적어도 하나의 컨벌루션 연산을 가하여 출력된 값을 자신의 다음 제K 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하도록 할 수 있다. 상기 제K 컨벌루션 연산의 결과로, 하나 이상의 제K 특징 맵이 생성될 수 있다.
상기 제K 특징 맵은 상기 제K 출력 레이어(212)에 입력될 수 있는데, 상기 제K 출력 레이어(212)는 이를 실시예에 따라 다른 방식으로 처리할 수 있다. 구체적으로는, 추후 설명할 상기 제K CNN(210)의 출력인 제K 예측 자율 주행 소스 정보에 상기 제K 트레이닝 이미지의 세그멘테이션 정보를 포함시키고자 하는 경우, 상기 제K 출력 레이어(212)는, 상기 제K 컨벌루션 레이어에 대응하는 제K 디컨벌루션 레이어의 형태로 구현될 수 있다. 이 경우, 상기 제K 출력 레이어(212)는, 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 세그멘테이션 이미지에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성할 수 있다.
또는, 상기 제K 예측 자율 주행 소스 정보에 상기 제K 트레이닝 이미지 내 객체에 대한 정보를 포함시키고자 하는 경우, 상기 제K 출력 레이어(212)는 제K FC(Fully-Connected) 레이어의 형태로 구현될 수 있다. 이 경우, 상기 제K 출력 레이어(212)는, 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대한 제K 예측 객체 검출 결과에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성할 수 있다.
이와 같이 제K 예측 자율 주행 소스 정보가 획득되면, 상기 제K 로스 레이어(213)는, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT(ground truth)를 참조로 하여 적어도 하나의 제K 로스를 생성하고, 상기 제K 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제K CNN(210)의 제K 파라미터 중 적어도 일부를 학습할 수 있다. 이와 같은 상기 제K CNN(210)은, 상기 제K 컨벌루션 레이어(211), 상기 제K 출력 레이어(212) 및 상기 제K 로스 레이어(213)에 의해 수행되는 상술한 프로세스를 통해, 상기 제K CNN에 대응하는 상기 제K 영역에서 자율 주행을 수행하는 데에 사용될 정보를 생성하기 위해 최적화된 상태일 수 있다.
이하, 도 3을 참조하여, 상기 제K CNN(210)의 상기 학습 방법에 대해 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 개략적으로 나타낸 흐름도이다.
도 3을 참조로 하면, 상기 학습 장치(100)는, 상기 제K 영역에 대응하는 상기 제K 트레이닝 이미지가 획득되면, 상기 제K CNN(210)의 상기 제K 컨벌루션 레이어(211)로 하여금, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하여 상기 제K 특징 맵을 생성하도록 할 수 있다(S01). 그리고, 상기 학습 장치(100)는, 상기 제K CNN(210)의 상기 제K 출력 레이어(212)로 하여금, 상기 제K 특징 맵에 상기 제K 출력 연산을 가하여 상기 제K 예측 자율 주행 소스 정보를 생성하도록 할 수 있다(S02). 이후, 상기 학습 장치(100)는, 상기 제K CNN(210)의 상기 제K 로스 레이어(213)로 하여금, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 상기 제K GT를 참조로 하여 상기 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 상기 제K 파라미터들 중 적어도 일부를 학습하도록 할 수 있다(S03). 이후, 상기 학습 장치(100)는, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN(210)에 태깅(tagging)하고 상기 태깅된 제K CNN을 상기 데이터베이스에 저장할 수 있다(S04).
이상의 단계들은 본 발명의 상기 학습 방법의 기본적인 단계들이고, 상기 학습 방법의 추가적인 단계를 이하 설명하도록 한다. 상기 학습 장치(100)는, 상기 제K 위치에 근접한 위치에 대응하는 근접CNN을 획득할 수 있으며, 상기 근접 CNN의 일부는 상기 제K CNN(210)과 통합될 수 있다. 구체적으로는, 상기 학습 장치(100)는, 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 영역으로부터의 거리가 제1 임계치 미만인 제K_1 영역 내지 제K_N 영역(N은 0보다 큰 임의의 정수임) 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득할 수 있다. 여기서, 두 영역 간의 상기 거리는, 각각의 상기 두 영역의 중심 점을 비교함으로써 또는 각각의 상기 두 영역 내에서 통계적으로 차량이 주로 위치하는 특정 지점을 비교함으로써 계산될 수 있지만, 이에 한정되는 것은 아니다. 상기 제K_1 CNN 내지 상기 제K_N CNN에 대한 정보가 획득되면, 상기 학습 장치(100)은, 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산할 수 있다. 이후, 상기 학습 장치(100)는, 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제2 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN(210) 중 적어도 일부를 참조로 하여, 상기 제K 영역 및 이에 인접하는 영역 중 적어도 일부를 포함하는 제K 광역 영역에 대응하는 제K 대표 CNN을 생성할 수 있다.
일 예로, 상기 제K_1 유사도 내지 상기 제K_N 유사도는 하기 수식에 따라 계산될 수 있다.
Figure 112020003827163-pat00009
상기 수식에서,
Figure 112020003827163-pat00010
는 상기 제K_1 유사도 내지 상기 제K_N 유사도 중 하나인 제K_Q 유사도(Q는 1 이상 N 이하의 정수임)를 의미하고,
Figure 112020003827163-pat00011
는 상기 제K 파라미터의 l번째 구성 파라미터를 의미하며,
Figure 112020003827163-pat00012
는 상기 제K_Q 유사도에 대응하는 제K_Q CNN의 제K_Q 파라미터의 l번째 구성 파라미터를 의미할 수 있다. 즉, 상기 K_Q CNN 및 상기 K CNN 각각의 모든 파라미터 중, 각각의 상대적 동일 위치에 대응하는 각각의 구성 파라미터 간의 차이 값을 구하고, 이를 제곱하여 합함으로써 상기 제K_Q 유사도가 생성될 수 있다.
이와 같이 계산된 상기 제K_1 유사도 내지 상기 제K_N 유사도를 이용해 상기 특정 CNN이 결정되면, 상기 학습 장치(100)은, 상기 특정 CNN 및 상기 제K CNN(210) 각각의 모든 파라미터 중, 각각의 상대적 동일 위치에 대응하는 각각의 구성 파라미터의 평균을 각각 계산할 수 있다.
이하, 이와 같은 과정이 왜 필요한지에 대해 간명하게 설명하도록 한다. 먼저, 상기 학습 장치(100)가 획득한 상기 제K_1 CNN 내지 상기 제K_N CNN는, 상기 제K CNN(210)을 학습하기 위해 상기 제K 트레이닝 이미지가 획득된 곳인 상기 제K 영역과 가까운 곳에서 획득된 이미지를 사용하여 학습된 상태일 수 있다. 이러한 CNN에 대한 정보를 상기 학습 장치(100)가 획득하는 이유는, 상기 제K 영역 및 이에 인접한 영역 중 적어도 일부를 포함하는 상기 제K 광역 영역에 대상 차량이 위치할 때 사용될 최적의 CNN, 즉 상기 제K 대표 CNN을 생성하고자 하기 위함이다. 이후, 상기 학습 장치(100)는, 상기 제K_1 CNN 내지 상기 K_N CNN 중에서, 파라미터가 상기 제K CNN의 파라미터와 유사한 상기 특정 CNN을 선택할 수 있다. 여기서, 상기 특정 CNN의 파라미터와 상기 제K CNN의 파라미터 간의 차이의 합이 임계치 미만이거나 상기 차이의 제곱들의 합이 다른 임계치 미만이면, 상기 특정 CNN의 파라미터는 상기 제K CNN의 파라미터와 유사할 것이다. 상기 근접 CNN의 모두가 상기 제K CNN에 통합되기에 적합한 것은 아니지만, 상기 근접 CNN 중, 상기 제K CNN과 유사한 적어도 하나의 CNN 즉, 상기 적어도 하나의 특정 CNN은 상기 제K CNN과 통합되기 적합하기 때문에, 상기 특정 CNN이 상기 근접 CNN 중에서 추가로 더 선택되어야 한다. 즉, 상기 제K 영역과 가까운 곳에서 획득된 이미지 중 일부는, 상기 이미지 중 일부가 촬영된 시점의 상황 또는 촬영된 방향에 따라 상이한 장면을 포함할 수 있으며, 이는 상기 이미지 중 일부에 대응하는 근접 CNN과 상기 제K CNN 간의 차이를 유발할 수 있다. 이 경우, 상이한 이미지의 사용으로 상기 제K CNN(210)과 차이가 큰, 상기 근접 CNN 중 일부가 상기 제K CNN와 통합된 CNN, 즉 상기 제K 대표 CNN이 적절히 기능하지 않을 것이므로, 상기 특정 CNN이 선택 되어야 한다. 이러한 상이한 장면의 일 예시를 도 4를 참조로 하여 살피도록 한다.
도 4는 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 수행하기 위해 사용되는, 상기 제K 트레이닝 이미지 중 하나, 및 상기 제K 트레이닝 이미지의 영역과 유사한 적어도 하나의 영역에서 촬영되었으나 상기 제K 트레이닝 이미지와는 다른 트레이닝 이미지의 일 예시를 개략적으로 나타낸 도면이다.
도 4를 참조로 하면, 상기 제 K 트레이닝 이미지 중 하나인 특정 제K 트레이닝 이미지(410), 및 상기 제K_1 CNN 내지 상기 제K_N CNN 중 상기 특정 CNN이 아닌 하나의 CNN을 학습하는 데에 사용된 예시 이미지(420)를 확인할 수 있다. 상기 특정 제K 트레이닝 이미지(410)는, 강을 우측으로 두고 강변 도로를 주행하는 차량에서 촬영된 이미지이고, 상기 예시 이미지(420)는, 같은 강변 도로를 반대 방향으로 즉, 상기 강을 좌측으로 두고 주행하는 차량에서 촬영된 이미지이다. 여기서, 상기 특정 제K 트레이닝 이미지(410)와 유사한 상기 제K 트레이닝 이미지를 사용하여 학습된 상태의 상기 제K CNN(210)은, 이에 입력된 이미지의 우측 영역에 대해서는 상대적으로 작은 파라미터를, 좌측 영역 및 중앙 영역에 대해서는 상대적으로 큰 파라미터를 포함할 것이다. 이에 비하여, 상기 예시 이미지(420)와 유사한 적어도 하나의 이미지를 사용해 학습된, 상기 특정 CNN이 아닌 CNN은, 이에 입력된 이미지의 좌측 영역에 대해 작은 파라미터를, 우측 영역 및 중앙 영역에 대해서 큰 파라미터를 포함하도록 학습된 상태일 수 있다. 상기 특정 제K 트레이닝 이미지(410)를 참조하여 학습된 CNN과 상기 예시 이미지(420)를 참조하여 학습된 CNN 모두 제K 영역에 대응하지만 두 CNN의 특성이 다르므로, 이들을 분리할 필요가 있다. 상기 제 K_1 유사도 내지 상기 제 K_N 유사도를 생성하는 전술한 과정은 유사한 관계의 CNN을 상기 두 CNN으로 분리하기 위함이다.
이와 같은 과정에 따라 선택된 상기 특정 CNN 및 상기 제K CNN(210)을 이용해 생성된 상기 제K 대표 CNN이 커버하는 영역인 상기 제K 광역 영역 내 각 영역은, 이들 간에 하나 이상의 공통 특성을 가질 수 있으되, 상기 공통 특성은, 지형적 특성, 기상적 특성 및 건물 배치 특성 중 적어도 일부를 포함한다. 일 예시로, 상기 제K 광역 영역 내 각 영역은, 상기 강을 좌측으로 둔 강변 도로에 대응할 수 있고, 상기 제K 대표 CNN은, 이에 입력된 이미지의 중앙 영역 및 우측 영역에 대한 정보를 추출할 수 있다. 다른 예시로는, 상기 제K 광역 영역 내 각 영역은 안개가 자주 끼는 계곡에 대응할 수 있고, 상기 제K 대표 CNN은, 이에 입력된 이미지 상에서 희미하게 나타나는 객체를 검출하도록 최적화된 상태일 수 있다.
이상의 과정은 위치 기반으로 최적화된 CNN을 생성하는 방법에 대한 기본적인 실시예이다. 이하, 별도의 실시예로서, 위치 기반 및 시간 기반으로 최적화된 CNN을 생성하는 방법에 대해 설명하도록 한다.
즉, 도 3을 다시 참조로 하면, 상기 기본적인 실시예에 따른 상기 S04 단계에서, 상기 제K 위치 정보가 상기 제K CNN(210)에 태깅되어 상기 데이터베이스(200)에 저장되는데, 상기 별도의 실시예의 경우, 상기 제K 트레이닝 이미지가 획득된 제K 시점에 대응하는 제K 시간 정보가 상기 제K 위치 정보와 함께, 상기 제K CNN(210)에 태깅될 수 있다. 이후, 상기 학습 장치(100)는, 상기 제1 CNN 내지 제M CNN 중에서 선택되는, 상기 제K 시점과의 차이가 제3 임계치 이하인 제K_1 시점 내지 제K_N 시점 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득할 수 있다. 이후, 상기 학습 장치(100)는, 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제 K 파라미터 간의 제K_N 유사도를 계산할 수 있다. 그리고, 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제4 임계치 이상인 하나 이상의 다른 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 시점을 포함하는 제K 시간 범위에 대응하는 제K 대표 CNN을 생성할 수 있다. 이때, 상기 제K 시간 범위는, 상기 제K 시점의 x초 전 시점부터 상기 제K 시점의 y초 후 시점까지의 시간 범위일 수 있다. 같은 지역이라 할지라도 밤과 낮에 따라 그 이미지가 다를 것이므로, 이와 같은 실시예가 효율적일 수 있다. 여기서, 상기 제K_1 CNN 내지 상기 제K_N CNN 및 상기 유사도와 같은 표기 중 일부는 상기 기본적인 실시예와 동일하지만, 상기 표기의 의미는 서로 상이 할 수 있다.
이하 본 발명의 테스트 방법에 대해 살피도록 한다.
먼저, 테스트 장치는, 대상 차량과 연동하는 컴퓨팅 장치일 수 있다. 이 때, (1) 상기 학습 장치(100)가, 상기 제K 영역에 대응하는 상기 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 상기 제1 CNN 내지 상기 제M CNN 중 하나인 상기 제K CNN(210)(M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임)의 상기 제K 컨벌루션 레이어(211)로 하여금, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하여 하나 이상의 학습용 제K 특징 맵을 생성하도록 하는 프로세스, (2) 상기 학습 장치(100)가, 상기 제K CNN(210)의 상기 제K 출력 레이어(212)로 하여금, 상기 학습용 제K 특징 맵에 상기 제K 출력 연산을 가하여 하나 이상의 학습용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (3) 상기 학습 장치(100)가, 상기 제K CNN(210)의 상기 제K 로스 레이어(213)로 하여금, 상기 학습용 제K 예측 자율 주행 소스 정보 및 이에 대응하는 상기 제K GT를 참조로 하여 상기 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 상기 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (4) 상기 학습 장치(100)가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 상기 데이터베이스(200)에 저장하는 프로세스를 수행한 상태에서, 상기 테스트 장치가, 테스트용 제K 시점에 상기 대상 차량이 위치한 상기 제K 영역에 대응하는 상기 제K CNN(210)으로 하여금, 제K 테스트 이미지를 사용하여 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 할 수 있다.
그리고, 상기 테스트 장치가, 자율 주행 모듈로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 참조로 하여 상기 대상 차량의 자율 주행을 수행하도록 할 수 있다.
상기 제K 대표 CNN이 생성된 상태의 일 실시예에서, 상기 테스트 장치는, 상기 제K CNN(210)이 아닌 상기 제K 대표 CNN으로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 할 수 있다.
이와 같은 제K CNN(210) 또는 제K 대표 CNN은, 상기 대상 차량이 상기 제K 영역 또는 상기 제K 광역 영역에 진입하기 전에, 상기 데이터베이스(200)으로부터 획득된 것일 수 있다. 이하, 어떻게 상기 제K CNN(210) 또는 상기 제K 대표 CNN이 획득되는 지에 대해 설명할 것인데, 설명의 편의를 위해, 이하의 설명은 상기 제K CNN(210)을 획득하는 경우에 대응한다.
우선, 상기 제K 시점보다 이전의 시점인 제K-1 시점에 상기 제K 영역에 인접한 제K-1 영역 내에 상기 대상 차량이 위치한 상태에서, 상기 테스트 장치가, 상기 대상 차량에 탑재된 GPS(Global Positioning System)로부터 획득된 대상 위치 정보를 참조로 하여, 상기 대상 차량이 상기 제K-1 영역 내 제(K-1)_1 세부 영역에서 상기 제K-1 영역 내 제(K-1)_2 세부 영역으로 이동했는지 여부를 모니터링할 수 있다.
이러한 과정에 대해 설명하기 위해 도 5를 참조하도록 한다.
도 5는 본 발명의 일 실시예에 따라 각각의 상기 위치에서 상기 최적화된 자율 주행을 수행할 수 있도록 상기 위치 기반 알고리즘 선택을 통해 상기 심리스 파라미터를 변경하는 상기 방법을 수행하기 위해 사용되는, 상기 제(K-1)_1 세부 영역 및 상기 제(K-1)_2 세부 영역을 개략적으로 나타낸 도면이다.
도 5를 참조로 하면, 상기 제(K-1)_1 세부 영역은 상기 제K-1 영역의 중심에 위치한 것일 수 있고, 상기 제(K-1)_2 세부 영역은 상기 제K-1 영역의 가장자리에 위치한 것일 수 있음을 확인할 수 있다. 상기 대상 차량이 상기 제(K-1)_1 세부 영역에서 상기 제(K-1)_2 세부 영역으로 이동하는 경우, 상기 대상 차량이, 다른 CNN에 대응하는 다른 세부 영역으로 이동하려는 것으로 볼 수 있는 바, 이러한 이동이 모니터링되어야 하는 것이다.
상기 대상 차량이 상기 제(K-1)_1 세부 영역에서 상기 제(K-1)_2 세부 영역으로 이동한 것이 감지된 경우, 상기 테스트 장치는, 상기 대상 차량의 예상 이동 경로를 참조로 하여, 상기 제K 시점에 상기 대상 차량이 위치할 상기 제K 영역에 대응하는 상기 제K CNN(210)을 획득할 수 있다. 이하, 상기 예상 이동 경로의 획득 방식에 대해 설명한다.
만일 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 자율 주행 모드로 동작한 상태인 경우, 상기 테스트 장치는, 상기 자율 주행 모듈로부터 상기 예상 이동 경로에 대한 정보를 획득할 수 있을 것이다. 또는, 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 반자율 주행 모드로 동작하였으며 상기 대상 차량의 목적지 정보가 ADAS(Advanced Driving Assistance System)에 입력된 상태인 경우, 상기 테스트 장치는, 상기 ADAS로부터 상기 예상 이동 경로에 대한 정보를 획득할 수 있을 것이다.
이와 달리, 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 수동 주행 모드로 동작한 상태이거나, 상기 대상 차량이 상기 반자율 주행 모드로 동작하였지만 상기 대상 차량의 목적지 정보가 상기 대상 차량의 상기 ADAS에 입력되지 않은 경우, 상기 테스트 장치는, 제K-P 시점 내지 상기 제K-1 시점의 시간 범위 동안 상기 대상 차량이 주행한 과거 이동 경로에 대한 정보를 참조로 하여 역 강화 학습(Inverse Reinforcement Learning) 알고리즘을 수행함으로써, 상기 예상 이동 경로를 수행할 수 있다. 이때, P는 P는 1 이상 T-1 이하의 정수이다. 상기 예상 이동 경로를 생성하기 위해 상기 역 강화 학습 알고리즘을 상기 과거 이동 경로에 대한 정보에 적용하는 이러한 과정은, 지바트(Ziebart) 등이 발표한 "Maximum Entropy Inverse Reinforcement Learning" 논문을 통해 제시한 바 있으므로, 통상의 기술자는 상기 설명을 쉽게 이해할 수 있을 것이다.
한편, 시간 기반으로 최적화된 CNN에 대한 전술한 별도의 실시예가 상기 테스트 방법에 적용된 경우, 시간에 대한 정보에 따라 상기 제K CNN가 획득될 수 있을 것이다. 즉, 각각의 상기 제1 CNN 내지 제M CNN이, 그에 대응하는 트레이닝 이미지가 획득된 각각의 획득 위치 및 각각의 획득 시점에 대한 정보가 태깅되어 함께 상기 데이터베이스에 저장된 경우, 상기 테스트 장치는, 테스트용 제K 위치 정보 및 테스트용 제K 시간 정보를 참조하여 쿼리(query)를 발신함으로써 상기 제K CNN을 획득할 수 있고, 상기 제 K 시점을 포함하는 상기 제K 시간 범위 및 상기 제K 영역에 대응하는 상기 제K CNN으로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 할 수 있을 것이다. 이 경우, 일 예로서, 상기 강을 자동차의 좌측으로 둔 강변 도로의 아침 시간대에 대해 최적화된 상기 제K CNN이 자율 주행을 수행하기 위해 사용될 수 있다는 것이다.
이와 같은 방법을 사용하면, 각각의 상황 별로 최적화된 각각의 CNN을 활용할 수 있게 되므로, 자율 주행을 더욱 효율적으로 수행할 수 있게 될 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (30)

  1. 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 학습 방법에 있어서,
    (a) 학습 장치가, 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 제K 특징 맵을 생성하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 제K 예측 자율 주행 소스 정보를 생성하도록 하는 단계;
    (c) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT(ground truth)를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 단계; 및
    (d) 상기 학습 장치가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅(tagging)하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    (e) 상기 학습 장치가, (i) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 영역으로부터의 거리가 제1 임계치 미만인 제K_1 영역 내지 제K_N 영역 - N은 0보다 큰 임의의 정수임 - 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (ii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하는 단계; 및
    (f) 상기 학습 장치가, 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제2 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 영역을 포함하는 제K 광역 영역에 대응하는 제K 대표 CNN을 생성하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 (e) 단계에서,
    상기 학습 장치가, 하기 수식에 따라 상기 제K_1 유사도 내지 상기 제K_N 유사도를 계산하되,
    Figure 112020003827163-pat00013

    상기 수식에서,
    Figure 112020003827163-pat00014
    는 상기 제K_1 유사도 내지 상기 제K_N 유사도 중 하나인 제K_Q 유사도 - Q는 1 이상 N 이하의 정수임 - 를 의미하고,
    Figure 112020003827163-pat00015
    는 상기 제K 파라미터의 l번째 구성 파라미터를 의미하며,
    Figure 112020003827163-pat00016
    는 상기 제K_Q 유사도에 대응하는 제K_Q CNN의 제K_Q 파라미터의 l번째 구성 파라미터를 의미하는 것을 특징으로 하는 방법.
  4. 제 2항에 있어서,
    상기 (f) 단계에서,
    상기 학습 장치가, 상기 특정 CNN 및 상기 제K CNN 각각의 모든 파라미터 중, 각각의 상대적 동일 위치에 대응하는 각각의 구성 파라미터에 대한 평균을 각각 계산하여, 상기 평균을 파라미터로서 포함하는 상기 제K 대표 CNN을 생성하는 것을 특징으로 하는 방법.
  5. 제 2항에 있어서,
    지형적 특성, 기상적 특성 및 건물 배치 특성 중 적어도 일부를 포함하는 공통 특성을, 상기 제K 광역 영역 내 각 영역 간에 하나 이상 가지는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 학습 장치가, 상기 제K 컨벌루션 레이어에 포함된 하나 이상의 제K 컨벌루션 뉴런 각각으로 하여금, 자신에게 입력된 값에 적어도 하나의 컨벌루션 연산을 가하여 출력된 값을 자신의 다음 제K 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하도록 하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, 상기 제K 컨벌루션 레이어에 대응하는 제K 디컨벌루션 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K 디컨벌루션 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 세그멘테이션 이미지에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, 제K FC(Fully-Connected) 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K FC 네트워크 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 객체 검출 결과에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 (d) 단계에서,
    상기 학습 장치가, (i) 상기 제K 트레이닝 이미지가 획득된 제K 시점에 대응하는 제K 시간 정보와 함께 상기 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 상기 데이터베이스에 저장하며, (ii) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 시점과의 차이가 제3 임계치 이하인 제K_1 시점 내지 제K_N 시점 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (iii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하고, (iv) 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제4 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 시점을 포함하는 제K 시간 범위에 대응하는 제K 대표 CNN을 생성하는 것을 특징으로 하는 방법.
  10. 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 테스트 방법에 있어서,
    (a) (1) 학습 장치가, 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 학습용 제K 특징 맵을 생성하도록 하는 프로세스, (2) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 학습용 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 학습용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (3) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 학습용 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (4) 상기 학습 장치가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 프로세스를 수행한 상태에서, 테스트 장치가, 제K 시점에 상기 대상 차량이 위치한 상기 제K 영역에 대응하는 상기 제K CNN으로 하여금, 제K 테스트 이미지를 사용하여 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 단계; 및
    (b) 상기 테스트 장치가, 자율 주행 모듈로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 참조로 하여 상기 대상 차량의 자율 주행을 수행하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    상기 (a) 단계에서,
    상기 테스트 장치가, 상기 제K 영역을 포함하는 제K 광역 영역에 대한 제K 대표 CNN을 획득하고, 상기 제K 대표 CNN으로 하여금 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  12. 제 10항에 있어서,
    상기 (a) 단계에서 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하는 프로세스 이전에,
    (a1) 상기 테스트 장치가, 상기 제K 시점보다 이전의 시점인 제K-1 시점에 상기 제K 영역에 인접한 제K-1 영역 내에 상기 대상 차량이 위치한 상태에서, 상기 대상 차량에 탑재된 GPS(Global Positioning System)로부터 획득된 대상 위치 정보를 참조로 하여, 상기 대상 차량이 상기 제K-1 영역 내 제(K-1)_1 세부 영역에서 상기 제K-1 영역 내 제(K-1)_2 세부 영역으로 이동했는지 여부를 모니터링하는 단계; 및
    (a2) 상기 테스트 장치가, 상기 대상 차량이 상기 제(K-1)_1 세부 영역에서 상기 제(K-1)_2 세부 영역으로 이동한 것이 감지된 경우, 상기 대상 차량의 예상 이동 경로를 참조로 하여, 상기 제K 시점에 상기 대상 차량이 위치할 상기 제K 영역에 대응하는 상기 제K CNN을 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 (a2) 단계에서,
    (i) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 자율 주행 모드로 동작한 상태인 경우, 상기 테스트 장치가, 상기 자율 주행 모듈로부터 상기 예상 이동 경로에 대한 정보를 획득하고, (ii) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 반자율 주행 모드로 동작하였으며 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS(Advanced Driving Assistance System)에 입력된 상태인 경우, 상기 테스트 장치가, 상기 ADAS로부터 획득된 상기 목적지 정보를 참조로 하여 상기 예상 이동 경로에 대한 정보를 획득하는 것을 특징으로 하는 방법.
  14. 제 12항에 있어서,
    상기 (a2) 단계에서,
    상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 수동 주행 모드로 동작한 상태이거나, 상기 대상 차량이 반자율 주행 모드로 동작하였지만 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS에 입력되지 않은 상태인 경우, 상기 테스트 장치가, 제K-P 시점 - P는 1 이상 T-1 이하의 정수임 - 내지 상기 제K-1 시점의 시간 범위 동안 상기 대상 차량이 주행한 과거 이동 경로에 대한 정보를 참조로 하여 역 강화 학습(Inverse Reinforcement Learning) 알고리즘을 수행함으로써, 상기 예상 이동 경로를 획득하는 것을 특징으로 하는 방법.
  15. 제 10항에 있어서,
    상기 (a) 단계에서,
    각각의 상기 제1 CNN 내지 제M CNN이, 그에 대응하는 트레이닝 이미지가 획득된 각각의 획득 위치 및 각각의 획득 시점에 대한 정보가 태깅되어 함께 상기 데이터베이스에 저장된 경우, 상기 테스트 장치가, 상기 제K 영역에 대응할 뿐만 아니라 상기 제K 시점을 포함하는 제K 시간 범위에도 대응하는 상기 제K CNN으로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  16. 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 학습 장치에 있어서,
    하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 제K 특징 맵을 생성하도록 하는 프로세스, (II) 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (III) 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (IV) 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅(tagging)하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 장치.
  17. 제 16항에 있어서,
    상기 프로세서가, (V) (i) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 영역으로부터의 거리가 제1 임계치 미만인 제K_1 영역 내지 제K_N 영역 - N은 0보다 큰 임의의 정수임 - 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (ii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하는 프로세스, 및 (VI) 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제2 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 영역을 포함하는 제K 광역 영역에 대응하는 제K 대표 CNN을 생성하는 프로세스를 더 수행하는 것을 특징으로 하는 장치.
  18. 제 17항에 있어서,
    상기 (V) 프로세스에서,
    상기 프로세서가, 하기 수식에 따라 상기 제K_1 유사도 내지 상기 제K_N 유사도를 계산하되,
    Figure 112020003827163-pat00017

    상기 수식에서,
    Figure 112020003827163-pat00018
    는 상기 제K_1 유사도 내지 상기 제K_N 유사도 중 하나인 제K_Q 유사도 - Q는 1 이상 N 이하의 정수임 - 를 의미하고,
    Figure 112020003827163-pat00019
    는 상기 제K 파라미터의 l번째 구성 파라미터를 의미하며,
    Figure 112020003827163-pat00020
    는 상기 제K_Q 유사도에 대응하는 제K_Q CNN의 제K_Q 파라미터의 l번째 구성 파라미터를 의미하는 것을 특징으로 하는 장치.
  19. 제 17항에 있어서,
    상기 (VI) 프로세스에서,
    상기 프로세서가, 상기 특정 CNN 및 상기 제K CNN 각각의 모든 파라미터 중, 각각의 상대적 동일 위치에 대응하는 각각의 구성 파라미터에 대한 평균을 각각 계산하여, 상기 평균을 파라미터로서 포함하는 상기 제K 대표 CNN을 생성하는 것을 특징으로 하는 장치.
  20. 제 17항에 있어서,
    지형적 특성, 기상적 특성 및 건물 배치 특성 중 적어도 일부를 포함하는 공통 특성을, 상기 제K 광역 영역 내 각 영역 간에 하나 이상 가지는 것을 특징으로 하는 장치.
  21. 제 16항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 제K 컨벌루션 레이어에 포함된 하나 이상의 제K 컨벌루션 뉴런 각각으로 하여금, 자신에게 입력된 값에 적어도 하나의 컨벌루션 연산을 가하여 출력된 값을 자신의 다음 제K 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써, 상기 제K 트레이닝 이미지에 상기 제K 컨벌루션 연산을 가하도록 하는 것을 특징으로 하는 장치.
  22. 제 16항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 제K 컨벌루션 레이어에 대응하는 제K 디컨벌루션 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K 디컨벌루션 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 세그멘테이션 이미지에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 장치.
  23. 제 16항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 제K FC 레이어로 구현된 상기 제K 출력 레이어로 하여금, 제K FC 네트워크 연산에 대응되는 상기 제K 출력 연산을 상기 제K 특징 맵에 가하여, 상기 제K 트레이닝 이미지에 대응하는 제K 예측 객체 검출 결과에 대한 정보를 포함하는 상기 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 장치.
  24. 제 16항에 있어서,
    상기 (IV) 프로세스에서,
    상기 프로세서가, (i) 상기 제K 트레이닝 이미지가 획득된 제K 시점에 대응하는 제K 시간 정보와 함께 상기 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 상기 데이터베이스에 저장하며, (ii) 상기 제1 CNN 내지 상기 제M CNN 중에서 선택되는, 상기 제K 시점과의 차이가 제3 임계치 이하인 제K_1 시점 내지 제K_N 시점 각각에 대응하는 제K_1 CNN 내지 제K_N CNN 각각에 대한 정보를 획득하고, (iii) 상기 제K_1 CNN의 제K_1 파라미터와 상기 제K 파라미터 간의 제K_1 유사도 내지 상기 제K_N CNN의 제K_N 파라미터와 상기 제K 파라미터 간의 제K_N 유사도를 계산하고, (iv) 상기 제K_1 CNN 내지 상기 제K_N CNN 중에서 유사도가 제4 임계치 이상인 하나 이상의 특정 CNN 및 상기 제K CNN 중 적어도 일부를 참조로 하여, 상기 제K 시점을 포함하는 제K 시간 범위에 대응하는 제K 대표 CNN을 생성하는 것을 특징으로 하는 장치.
  25. 대상 차량으로 하여금 각각의 영역에서 최적화된 자율 주행을 수행할 수 있도록 하는 테스트 장치에 있어서,
    하나 이상의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) (1) 학습 장치가, 적어도 하나의 제K 영역에 대응하는 하나 이상 제K 트레이닝 이미지가 획득되면, 상기 학습 장치에 포함된, 제1 CNN(Convolutional Neural Network) 내지 제M CNN 중 하나인 제K CNN - M은 1보다 큰 임의의 정수이며, K는 1 이상 M 이하의 정수임 - 의 적어도 하나의 제K 컨벌루션 레이어로 하여금, 상기 제K 트레이닝 이미지에 적어도 하나의 제K 컨벌루션 연산을 가하여 하나 이상의 학습용 제K 특징 맵을 생성하도록 하는 프로세스, (2) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 출력 레이어로 하여금, 상기 학습용 제K 특징 맵에 적어도 하나의 제K 출력 연산을 가하여 하나 이상의 학습용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, (3) 상기 학습 장치가, 상기 제K CNN의 적어도 하나의 제K 로스 레이어로 하여금, 상기 학습용 제K 예측 자율 주행 소스 정보 및 이에 대응하는 하나 이상의 제K GT를 참조로 하여 적어도 하나의 제K 로스를 생성하도록 하고, 상기 제K 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제K CNN의 제K 파라미터 중 적어도 일부를 학습하도록 하는 프로세스, 및 (4) 상기 학습 장치가, 상기 제K 영역의 제K 위치 정보를 상기 제K CNN에 태깅하고 상기 태깅된 제K CNN을 데이터베이스에 저장하는 프로세스를 수행한 상태에서, 제K 시점에 상기 대상 차량이 위치한 상기 제K 영역에 대응하는 상기 제K CNN으로 하여금, 제K 테스트 이미지를 사용하여 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 프로세스, 및 (II) 자율 주행 모듈로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 참조로 하여 상기 대상 차량의 자율 주행을 수행하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 장치.
  26. 제 25항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 제K 영역을 포함하는 제K 광역 영역에 대한 제K 대표 CNN을 획득하고, 상기 제K 대표 CNN으로 하여금 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 장치.
  27. 제 25항에 있어서,
    상기 (I) 프로세스에서 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하는 프로세스 이전에,
    상기 프로세서가, (I-1) 상기 제K 시점보다 이전의 시점인 제K-1 시점에 상기 제K 영역에 인접한 제K-1 영역 내에 상기 대상 차량이 위치한 상태에서, 상기 대상 차량에 탑재된 GPS로부터 획득된 대상 위치 정보를 참조로 하여, 상기 대상 차량이 상기 제K-1 영역 내 제(K-1)_1 세부 영역에서 상기 제K-1 영역 내 제(K-1)_2 세부 영역으로 이동했는지 여부를 모니터링하는 프로세스, 및 (I-2) 상기 대상 차량이 상기 제(K-1)_1 세부 영역에서 상기 제(K-1)_2 세부 영역으로 이동한 것이 감지된 경우, 상기 대상 차량의 예상 이동 경로를 참조로 하여, 상기 제K 시점에 상기 대상 차량이 위치할 상기 제K 영역에 대응하는 상기 제K CNN을 획득하는 프로세스를 더 수행하는 것을 특징으로 하는 장치.
  28. 제 27항에 있어서,
    상기 (I-2) 프로세스에서,
    (i) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 자율 주행 모드로 동작한 상태인 경우, 상기 프로세서가, 상기 자율 주행 모듈로부터 상기 예상 이동 경로에 대한 정보를 획득하고, (ii) 상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 반자율 주행 모드로 동작하였으며 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS에 입력된 상태인 경우, 상기 프로세서가, 상기 ADAS로부터 획득된 상기 목적지 정보를 참조로 하여 상기 예상 이동 경로에 대한 정보를 획득하는 것을 특징으로 하는 장치.
  29. 제 27항에 있어서,
    상기 (I-2) 프로세스에서,
    상기 대상 차량이 상기 제(K-1)_2 세부 영역으로 이동한 시점에 수동 주행 모드로 동작한 상태이거나, 상기 대상 차량이 반자율 주행 모드로 동작하였지만 상기 대상 차량의 목적지 정보가 상기 대상 차량의 ADAS에 입력되지 않은 상태인 경우, 상기 프로세서가, 제K-P 시점 - P는 1 이상 T-1 이하의 정수임 - 내지 상기 제K-1 시점의 시간 범위 동안 상기 대상 차량이 주행한 과거 이동 경로에 대한 정보를 참조로 하여 역 강화 학습(Inverse Reinforcement Learning) 알고리즘을 수행함으로써, 상기 예상 이동 경로를 획득하는 것을 특징으로 하는 장치.
  30. 제 25항에 있어서,
    상기 (I) 프로세스에서,
    각각의 상기 제1 CNN 내지 제M CNN이, 그에 대응하는 트레이닝 이미지가 획득된 각각의 획득 위치 및 각각의 획득 시점에 대한 정보가 태깅되어 함께 상기 데이터베이스에 저장된 경우, 상기 프로세서가, 상기 제K 영역에 대응할 뿐만 아니라 상기 제K 시점을 포함하는 제K 시간 범위에도 대응하는 상기 제K CNN으로 하여금, 상기 테스트용 제K 예측 자율 주행 소스 정보를 생성하도록 하는 것을 특징으로 하는 장치.
KR1020200004517A 2019-01-30 2020-01-13 각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치 KR102373472B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798821P 2019-01-30 2019-01-30
US62/798,821 2019-01-30
US16/731,083 2019-12-31
US16/731,083 US10890916B2 (en) 2019-01-30 2019-12-31 Location-specific algorithm selection for optimized autonomous driving

Publications (2)

Publication Number Publication Date
KR20200094655A KR20200094655A (ko) 2020-08-07
KR102373472B1 true KR102373472B1 (ko) 2022-03-14

Family

ID=69187573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200004517A KR102373472B1 (ko) 2019-01-30 2020-01-13 각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10890916B2 (ko)
EP (1) EP3690725A1 (ko)
JP (1) JP7092383B2 (ko)
KR (1) KR102373472B1 (ko)
CN (1) CN111507373B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598402B1 (ko) * 2018-07-24 2023-11-06 현대자동차 주식회사 기어 검사장치 및 이를 이용한 기어 검사방법
US11880997B2 (en) 2020-08-28 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus with pose estimation
US11938941B2 (en) 2020-08-31 2024-03-26 Denso International America, Inc. Mode selection according to system conditions
KR102345267B1 (ko) * 2020-10-12 2021-12-31 서울대학교산학협력단 목표 지향적 강화학습 방법 및 이를 수행하기 위한 장치
KR102588450B1 (ko) * 2021-11-02 2023-10-13 주식회사 오비고 특정 사용자의 자율주행 경험 만족도 제고를 위한 자율주행 알고리즘 개인화 방법 및 장치
KR102421289B1 (ko) * 2022-01-03 2022-07-18 주식회사 아라종합기술 패러렐 디시전 보팅 알고리즘에 따른 영상기반 시정 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN117593686B (zh) * 2024-01-19 2024-04-09 福思(杭州)智能科技有限公司 基于车况真值数据的模型评测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010049323A1 (en) * 2000-02-10 2001-12-06 Fox Gary T. Treadmill
US10019652B2 (en) * 2016-02-23 2018-07-10 Xerox Corporation Generating a virtual world to assess real-world video analysis performance
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
US10390003B1 (en) * 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US20180239969A1 (en) 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
US10108850B1 (en) * 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10474160B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US10192113B1 (en) * 2017-07-05 2019-01-29 PerceptIn, Inc. Quadocular sensor design in autonomous platforms
US10496104B1 (en) * 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
US10049323B1 (en) * 2017-10-13 2018-08-14 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US10902615B2 (en) * 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking
US11080886B2 (en) * 2017-11-15 2021-08-03 Qualcomm Incorporated Learning disentangled invariant representations for one shot instance recognition
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10324467B1 (en) * 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
JP7011472B2 (ja) * 2018-01-15 2022-01-26 キヤノン株式会社 情報処理装置、情報処理方法
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation

Also Published As

Publication number Publication date
EP3690725A1 (en) 2020-08-05
CN111507373B (zh) 2023-09-08
JP7092383B2 (ja) 2022-06-28
US10890916B2 (en) 2021-01-12
KR20200094655A (ko) 2020-08-07
CN111507373A (zh) 2020-08-07
US20200241544A1 (en) 2020-07-30
JP2020123346A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
KR102373472B1 (ko) 각 영역에서 최적화된 자율 주행을 수행할 수 있도록 위치 기반 알고리즘 선택을 통해 심리스 파라미터 변경을 수행하는 방법 및 장치
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
US11393216B2 (en) Method of computer vision based localisation and navigation and system for performing the same
JP7109091B2 (ja) 物体検出器の学習方法及びテスト方法、それを利用した学習装置及びテスト装置
US20190147610A1 (en) End-to-End Tracking of Objects
US11427210B2 (en) Systems and methods for predicting the trajectory of an object with the aid of a location-specific latent map
US10466361B2 (en) Systems and methods for multi-sensor fusion using permutation matrix track association
CN112000754A (zh) 地图构建方法、装置、存储介质及计算机设备
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
US20210096576A1 (en) Deep learning based motion control of a vehicle
CN111507369B (zh) 自动行驶车辆空间学习方法及装置、测试方法及装置
KR102296493B1 (ko) 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
EP3690756B1 (en) Learning method and learning device for updating hd map by reconstructing 3d space by using depth estimation information and class information on each object, which have been acquired through v2x information integration technique, and testing method and testing device using the same
KR20160048530A (ko) 자율 이동 차량의 경로 생성 방법 및 경로 생성 장치
US20230243658A1 (en) Systems, Methods and Devices for Map-Based Object's Localization Deep Learning and Object's Motion Trajectories on Geospatial Maps Using Neural Network
CN111505690A (zh) 实时检测应急车辆并规划行驶路径的方法及装置
US11200679B1 (en) System and method for generating a probability distribution of a location of an object
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
DE102021114724A1 (de) Verbesserter fahrzeugbetrieb
Xu et al. Trajectory prediction for autonomous driving with topometric map
US20230085296A1 (en) Systems and methods for predicting trajectories of multiple vehicles
CN111507151A (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
US11878684B2 (en) System and method for trajectory prediction using a predicted endpoint conditioned network
EP3913530B1 (en) Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
US20220300851A1 (en) System and method for training a multi-task model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant