KR102373430B1 - 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치 - Google Patents
자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102373430B1 KR102373430B1 KR1020200007634A KR20200007634A KR102373430B1 KR 102373430 B1 KR102373430 B1 KR 102373430B1 KR 1020200007634 A KR1020200007634 A KR 1020200007634A KR 20200007634 A KR20200007634 A KR 20200007634A KR 102373430 B1 KR102373430 B1 KR 102373430B1
- Authority
- KR
- South Korea
- Prior art keywords
- deep learning
- learning model
- specific
- autonomous driving
- image data
- Prior art date
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims description 67
- 238000012795 verification Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000002265 prevention Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
본 발명은 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 관한 것으로, 자율 주행 차량과 연동하는 관리 장치가, (a) 미세 조정(fine-tuning) 시스템으로 하여금, 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계; (b) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및 (c) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;에 관한 것이다.
Description
본 발명은 자율 주행 차량에 이용하기 위한 방법 및 장치에 관한 것으로; 보다 상세하게는, 적어도 하나의 자율 주행 차량의 적어도 하나의 사용자에게 적어도 하나의 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치에 관한 것이다.
최근, 딥러닝은 자동 식별뿐만 아니라 자율 주행 차량을 제어하는데 있어서 깊은 관심을 받아왔다.
이러한 딥러닝은 뉴럴 네트워크를 사용하고 이미지 인식 및 분류 분야에 적극적으로 적용되고 있으며, 강화학습과 결합되어 특정분야에서 인간의 능력을 넘어서는 높은 성과를 보여주고 있다. 향상된 학습 능력을 바탕으로, 상기 딥러닝은 센서를 전처리하지 않은 상태로 자율 주행 차량과 같은 다양한 분야에 적용되고 있다.
특히, 상기 자율 주행 차량은, 국가별 또는 지역별로 수집한 데이터를 이용하여 학습된 딥러닝 모델을 사용한다.
그러나, 이러한 자율 주행 차량은 동일한 딥러닝 모델을 적용하고 있어 서로 다른 성향을 가진 운전자를 모두 만족시키는 데는 한계가 있다.
이에 따라, 본 발명은 자율 주행 차량을 이용하는 모든 사용자를 각각 만족시키는 자율 주행 차량의 맞춤형 딥러닝 모델을 제공하는 방안을 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 하나 이상의 자율 주행 차량의 하나 이상의 개별 사용자에게 하나 이상의 캘리브레이션된 맞춤형 딥러닝 모델을 제공하는 것을 다른 목적으로 한다.
본 발명은 자율 주행 차량의 개별 사용자에게 대응하는 하나 이상의 맞춤형 딥러닝 모델을 제공하는 것을 또 다른 목적으로 한다.
본 발명은 자율 주행 차량의 개별 사용자에게 최적화된 하나 이상의 최적 딥러닝 모델을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 있어서, (a) 자율 주행 차량과 연동하는 관리 장치가, 상기 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계; (b) 상기 관리 장치가, 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및 (c) 상기 관리 장치가, 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (b) 단계에서, 상기 미세 조정 시스템이, (i) 상기 특정 딥러닝 모델 내 적어도 하나의 컨벌루션 레이어로 하여금, 상기 영상 데이터에 적어도 하나의 컨벌루션 연산을 적용하여 특징 맵을 생성하도록 하고, (ii) 상기 특정 딥러닝 모델 내 적어도 하나의 출력 레이어로 하여금, 상기 특징 맵에 적어도 하나의 출력 연산을 적용하여 예측 데이터를 생성하도록 하며, (iii) 적어도 하나의 로스 레이어로 하여금, 상기 예측 데이터 및 상기 라벨링된 데이터를 참조로 하여 로스를 생성하고, 상기 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 특정 딥러닝 모델의 파라미터를 미세 조정하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 관리 장치가, 상기 특정 딥러닝 모델의 상기 파라미터를 미세 조정하여 상기 특정 딥러닝 모델을 업데이트함으로써, 상기 특정 딥러닝 모델로 하여금, 상기 영상 데이터에 대응하는 상기 특정 자율 주행 차량에 대한 맞춤형 최적 정책 및 기설정된 최적 정책을 참조로 하여 상기 자율 주행을 수행하도록 지원하는 것을 특징으로 한다.
일 실시예에서, 상기 관리 장치는, 상기 영상 데이터를 오토 라벨링 시스템 및 매뉴얼 라벨링 시스템 중 적어도 하나에 입력함으로써 상기 라벨링된 데이터를 획득하되, 상기 오토 라벨링 시스템은, 상기 딥러닝 모델 라이브러리로부터 획득된 라벨링용 소정 딥러닝 모델을 이용한 오토 라벨링 연산을 상기 영상 데이터에 적용함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하고, 상기 매뉴얼 라벨링 시스템은, 분배 알고리즘을 이용하여 상기 영상 데이터를 각각의 라벨러(labeler)에 분배하고, 상기 영상 데이터에 대응하는 상기 라벨러의 출력값을 획득함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 관리 장치는, (i) 라벨 검증 시스템으로 하여금, 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템 각각에 의해 생성된, 상기 라벨링된 데이터 중 일부 각각을 비교하여 교차 검증(cross-validation)을 수행함으로써, 피드백 정보를 생성하도록 하고, (ii) 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템으로 하여금, 상기 피드백 정보를 이용하여 상기 라벨링된 데이터 중 상기 일부를 조정할지를 결정하도록 하고, 상기 피드백 정보가 조정 필요성을 나타내는 경우 상기 라벨링된 데이터 중 상기 일부를 조정하도록 하며, (iii) 상기 라벨 검증 시스템으로 하여금, 상기 라벨 검증 시스템에 의해 검증된 상태의 상기 라벨링된 데이터를 상기 미세 조정 시스템에 전달하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 매뉴얼 라벨링 시스템은, 작업량 정보 및 효율성 정보 중 적어도 일부를 포함하는, 각각의 상기 라벨러의 특성 중 적어도 일부 각각을 참조로 하여 상기 분배 알고리즘을 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 영상 저장 시스템은, 상기 영상 데이터에 적어도 하나의 방지 연산을 적용하여, 상기 영상 데이터에 포함된, 사람의 초상 정보 및 차량의 ID 정보 중 적어도 일부를 포함하는 개인 정보를 제거하고, 상기 개인 정보가 제거된 영상 데이터를 암호화한 후 저장하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계는, 상기 관리 장치가, 상기 딥러닝 모델 라이브러리로 하여금, 상기 딥러닝 모델 중, 상기 영상 데이터와의 관계 스코어가 임계치 이상인 적어도 하나의 딥러닝 모델을 찾아 상기 특정 딥러닝 모델로서 상기 미세 조정 시스템에 전달하도록 하되, 상기 관계 스코어는, 상기 딥러닝 모델의 영상 대상 차량 정보, 영상 대상 시간 정보, 영상 대상 위치 정보 및 영상 대상 운전자 정보 중 적어도 일부를 사용하여 계산되는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 관리 장치가, 상기 특정 자율 주행 차량과 연동하여 상기 특정 자율 주행 차량의 상황 정보를 획득하고, 상기 상황 정보가 주행 우선 상황에 대응하는 제1 상태인지 또는 관리 우선 상황에 대응하는 제2 상태인지를 판단하고, 상기 상황 정보가 상기 제2 상태인 경우 상기 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 프로세스, (II) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 프로세스, (III) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 장치가 개시된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 미세 조정 시스템이, (i) 상기 특정 딥러닝 모델 내 적어도 하나의 컨벌루션 레이어로 하여금, 상기 영상 데이터에 적어도 하나의 컨벌루션 연산을 적용하여 특징 맵을 생성하도록 하고, (ii) 상기 특정 딥러닝 모델 내 적어도 하나의 출력 레이어로 하여금, 상기 특징 맵에 적어도 하나의 출력 연산을 적용하여 예측 데이터를 생성하도록 하며, (iii) 적어도 하나의 로스 레이어로 하여금, 상기 예측 데이터 및 상기 라벨링된 데이터를 참조로 하여 로스를 생성하고, 상기 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 특정 딥러닝 모델의 파라미터를 미세 조정하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 특정 딥러닝 모델의 상기 파라미터를 미세 조정하여 상기 특정 딥러닝 모델을 업데이트함으로써, 상기 특정 딥러닝 모델로 하여금, 상기 영상 데이터에 대응하는 상기 특정 자율 주행 차량에 대한 맞춤형 최적 정책 및 기설정된 최적 정책을 참조로 하여 상기 자율 주행을 수행하도록 지원하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 영상 데이터를 오토 라벨링 시스템 및 매뉴얼 라벨링 시스템 중 적어도 하나에 입력함으로써 상기 라벨링된 데이터를 획득하되, 상기 오토 라벨링 시스템은, 상기 딥러닝 모델 라이브러리로부터 획득된 라벨링용 소정 딥러닝 모델을 이용한 오토 라벨링 연산을 상기 영상 데이터에 적용함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하고, 상기 매뉴얼 라벨링 시스템은, 분배 알고리즘을 이용하여 상기 영상 데이터를 각각의 라벨러(labeler)에 분배하고, 상기 영상 데이터에 대응하는 상기 라벨러의 출력값을 획득함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, (i) 라벨 검증 시스템으로 하여금, 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템 각각에 의해 생성된, 상기 라벨링된 데이터 중 일부 각각을 비교하여 교차 검증(cross-validation)을 수행함으로써, 피드백 정보를 생성하도록 하고, (ii) 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템으로 하여금, 상기 피드백 정보를 이용하여 상기 라벨링된 데이터 중 상기 일부를 조정할지를 결정하도록 하고, 상기 피드백 정보가 조정 필요성을 나타내는 경우 상기 라벨링된 데이터 중 상기 일부를 조정하도록 하며, (iii) 상기 라벨 검증 시스템으로 하여금, 상기 라벨 검증 시스템에 의해 검증된 상태의 상기 라벨링된 데이터를 상기 미세 조정 시스템에 전달하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 매뉴얼 라벨링 시스템은, 작업량 정보 및 효율성 정보 중 적어도 일부를 포함하는, 각각의 상기 라벨러의 특성 중 적어도 일부 각각을 참조로 하여 상기 분배 알고리즘을 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 영상 저장 시스템은, 상기 영상 데이터에 적어도 하나의 방지 연산을 적용하여, 상기 영상 데이터에 포함된, 사람의 초상 정보 및 차량의 ID 정보 중 적어도 일부를 포함하는 개인 정보를 제거하고, 상기 개인 정보가 제거된 영상 데이터를 암호화한 후 저장하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스는, 상기 프로세서가, 상기 딥러닝 모델 라이브러리로 하여금, 상기 딥러닝 모델 중, 상기 영상 데이터와의 관계 스코어가 임계치 이상인 적어도 하나의 딥러닝 모델을 찾아 상기 특정 딥러닝 모델로서 상기 미세 조정 시스템에 전달하도록 하되, 상기 관계 스코어는, 상기 딥러닝 모델의 영상 대상 차량 정보, 영상 대상 시간 정보, 영상 대상 위치 정보 및 영상 대상 운전자 정보 중 적어도 일부를 사용하여 계산되는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 특정 자율 주행 차량과 연동하여 상기 특정 자율 주행 차량의 상황 정보를 획득하고, 상기 상황 정보가 주행 우선 상황에 대응하는 제1 상태인지 또는 관리 우선 상황에 대응하는 제2 상태인지를 판단하고, 상기 상황 정보가 상기 제2 상태인 경우 상기 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 자율 주행 차량 사용자에게 캘리브레이션된 맞춤형 딥러닝 모델을 제공함으로써 상기 자율 주행 차량 사용자의 만족도를 향상하는 효과가 있다.
본 발명은 자율 주행 차량 사용자에게 캘리브레이션된 맞춤형 딥러닝 모델을 제공함으로써 상기 사용자의 성향에 따른 최적의 자율 주행을 가능하게 하는 효과가 있다.
본 발명은 자율 주행 차량 사용자에게 캘리브레이션된 맞춤형 딥러닝 모델을 제공함으로써 상기 자율 주행 차량 사용자를 위한 안전성 및 편의성을 향상시키는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 하나 이상의 자율 주행 차량의 하나 이상의 사용자에게 캘리브레이션된 맞춤형 및 적응형 학습 시스템을 제공하는 관리 장치(100)를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 상기 자율 주행 차량의 상기 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 상기 자율 주행 차량의 상기 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는데 사용될 특정 딥러닝 모델의 미세 조정 파라미터의 과정을 개략적으로 나타낸 도면이다.
도 1은 본 발명의 일 실시예에 따른 하나 이상의 자율 주행 차량의 하나 이상의 사용자에게 캘리브레이션된 맞춤형 및 적응형 학습 시스템을 제공하는 관리 장치(100)를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 상기 자율 주행 차량의 상기 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 상기 자율 주행 차량의 상기 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는데 사용될 특정 딥러닝 모델의 미세 조정 파라미터의 과정을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 하나 이상의 자율 주행 차량의 하나 이상의 사용자에게 캘리브레이션된 맞춤형 및 적응형 학습 시스템을 제공하는 관리 장치(100)를 개략적으로 나타낸 도면이다. 도 1을 참조로 하면, 상기 관리 장치(100)는 상기 자율 주행 차량의 사용자에게 상기 캘리브레이션된 맞춤형 및 적응형 학습 시스템을 제공하는 인스트럭션들을 저장하는 메모리(110)와 상기 메모리(110)에 저장된 상기 인스트럭션들에 대응하는 상기 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 학습 시스템을 제공하는 프로세서(120)를 포함할 수 있다.
구체적으로, 상기 관리 장치(100)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다. 또한, 관리 장치(100)는 하나 또는 2 이상의 컴퓨팅 시스템으로 이루어진 서버를 포함할 수 있다.
그리고, 상기 관리 장치는 하나 이상의 컴퓨팅 시스템을 포함하는 적어도 하나의 서버를 포함할 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 상기 관리 장치(100)를 이용하여 상기 자율 주행 차량의 사용자에게 상기 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법을 도 2를 참조하여 설명하면 다음과 같다.
특정 자율 주행 차량(200)이 하나 이상의 영상 입력 장치(210)를 통해 획득된 하나 이상의 영상 이미지를 레거시(legacy) 딥러닝 모델에 입력하고, 상기 레거시 딥러닝 모델로 하여금 비전 인식을 이용하여 적어도 하나의 플랜을 결정하도록 한 후, 상기 결정된 플랜에 따라 상기 특정 자율 주행 차량(200)을 주행할 수 있다. 상기 레거시 딥러닝 모델은, 본 발명의 방법이 수행될 때까지 상기 자율 주행을 수행할 수 있고, 상기 본 발명의 방법이 수행된 후에는 상기 관리 장치(100)에 의해 획득된 추후 설명할 특정 딥러닝 모델로 대체될 수 있다.
이때, 상기 영상 입력 장치(210)는 적어도 하나의 차량용 카메라, 적어도 하나의 전방 및 적어도 하나의 후방 카메라, 및 적어도 하나의 AVM(Around View Monitoring) 카메라 중 적어도 일부를 포함할 수 있다.
한편, 상기 특정 자율 주행 차량(200)은 상기 영상 입력 장치(210)로부터 획득된 상기 영상 이미지를 영상 저장 장치(220)에 저장할 수 있다.
그리고, 상기 특정 자율 주행 차량(200)은 상기 영상 저장 장치(220)에 저장된 소정의 시간 동안의 상기 영상 이미지의 묶음인 영상 데이터를 영상 전송 장치(230)를 통해 상기 관리 장치(100)로 전송한다. 이때, 상기 영상 전송 장치(230)는 무선 통신 네트워크 또는 유무선 통신 네트워크를 통해 상기 영상 데이터를 전송할 수 있다.
즉, 상기 특정 자율 주행 차량(200)은 상기 영상 입력 장치(210)로부터 획득된 상기 영상 데이터를 상기 영상 저장 장치(220)에 임시로 저장하며, 기설정된 시간대 또는 기설정된 용량의 상기 영상 데이터가 저장되면 상기 영상 데이터는 상기 영상 전송 장치(230)를 통해 상기 관리 장치(100)로 전송할 수 있다.
이후, 상기 관리 장치(100)는 영상 저장 시스템(130)으로 하여금 상기 특정 자율 주행 차량(200)으로부터 획득된 상기 영상 데이터를 저장할 수 있다.
이때, 상기 영상 저장 시스템(130)은 상기 영상 데이터 각각이 상기 개별 자율 주행 차량의 상기 사용자 각각에 대응되도록, 상기 개별 자율 주행 차량으로부터 획득된 영상 데이터를 저장할 수 있다. 이와 같이, 상기 관리 장치는 상기 다수의 개별 자율 주행 차량으로부터 상기 영상 데이터를 획득할 수 있지만, 편리성을 위해 후술할 상기 영상 데이터는 상기 한 개의 자율 주행 차량, 즉 상기 특정 자율 주행 차량(200)에 대응할 수 있다.
또한, 상기 영상 저장 시스템(130)은 상기 특정 자율 주행 차량(200)으로부터 획득된 상기 영상 데이터에서 개인 정보, 예를 들어 인물의 초상 정보 및 주변 차량의 ID 정보를 제거하여, 상기 개인 정보가 제거된 영상 데이터를 암호화한 후 저장할 수 있다.
즉, 상기 영상 저장 시스템(130)은 상기 영상 데이터에 포함된 상기 영상 이미지에서 상기 개인 정보를 제거하여 상기 개인 정보가 공개되지 않도록 예방할 수 있다.
다음으로, 상기 관리 장치(100)는, 라벨링 시스템(140)으로 하여금, 상기 영상 저장 시스템(130)에 저장되고 상기 특정 자율 주행 차량(200)에 대응하는 상기 영상 데이터를 라벨링함으로써 라벨링된 데이터를 생성하도록 할 수 있다. 즉, 상기 라벨링 시스템(140)은 상기 영상 데이터에 대해 GT(ground truth) 로서 기능하는 상기 라벨링된 데이터를 생성함으로써 상기 영상 데이터 및 상기 라벨링된 데이터가 트레이닝 데이터로서 사용 가능하도록 할 수 있다.
상기 라벨링 시스템(140)은 다양한 방법을 이용해 상기 영상 데이터를 라벨링할 수 있으며, 상기 영상 데이터를 라벨링하는 방법에 대한 본 발명의 방법은 이에 한정되지 않는다.
일 예로, 오토 라벨링 시스템(141)과 매뉴얼 라벨링 시스템(142)을 이용하여 상기 영상 데이터를 라벨링하는 과정을 설명한다.
상기 관리 장치(100)는, 상기 오토 라벨링 시스템(141)으로 하여금, 상기 영상 저장 시스템(130)에 저장되고 상기 특정 자율 주행 차량(200)에 대응하는 상기 암호화된 영상 데이터를 오토 라벨링하여 오토 라벨링된 데이터를 생성하도록 할 수 있다. 이때, 상기 오토 라벨링 시스템(141)은, 먼저 딥러닝 모델 라이브러리(160)로부터 소정 라벨링용 딥러닝 모델을 획득한 후, 상기 라벨링용 소정 딥러닝 모델을 사용하여 상기 영상 데이터에 오토 라벨링 연산을 적용하여 상기 오토 라벨링된 데이터를 생성할 수 있다. 상기 라벨링용 소정 딥러닝 모델은 업데이트될 상기 특정 딥러닝 모델과 동일할 수 있지만, 본 발명의 범위는 이에 한정되지 않는다.
또한, 상기 관리 장치(100)는, 상기 매뉴얼 라벨링 시스템(142)으로 하여금, 상기 영상 저장 시스템(130)에 저장되고 상기 특정 자율 주행 차량(200)에 대응하는 상기 암호화된 영상 데이터를, 분배 알고리즘을 이용하여 개별 라벨러(labeller)에 분배함으로써, 상기 개별 라벨러에 의해 매뉴얼 라벨링된 매뉴얼 라벨링된 데이터를 획득하도록 한다.
이때, 상기 매뉴얼 라벨링 시스템(142)은 상기 개별 라벨러 각각의 작업량 정보 및 효율성 정보를 획득한 후 이를 이용해 상기 분배 알고리즘을 수행함으로써 상기 라벨러 각각에 대한 작업량 및 라벨링 난이도에 따라 상기 개별 라벨러에 분배되는 상기 영상 데이터를 관리할 수 있다.
이후, 상기 관리 장치(100)는 라벨 검증 시스템(150)으로 하여금 상기 오토 라벨링 시스템(141)에 의해 오토 라벨링된 상기 오토 라벨링된 데이터와 상기 매뉴얼 라벨링 시스템(142)에 의해 매뉴얼 라벨링된 상기 매뉴얼 라벨링된 데이터를 비교하여 교차 검증함으로써 라벨링 오류가 의심되는 상기 오토 라벨링된 데이터 또는 상기 매뉴얼 라벨링된 데이터를 확인하도록 한다.
구체적으로, 상기 관리 장치(100)는 상기 오토 라벨링된 데이터 및 상기 매뉴얼 라벨링된 데이터를 비교하여, 라벨링 정보의 유사성 점수가 임계치 이하인 적어도 일부를 찾고, 해당 적어도 일부에 대한 정보를 포함하는 피드백 정보를 생성할 수 있다. 이후, 상기 관리 장치(100)는 상기 피드백 정보를 상기 오토 라벨링 시스템(141) 및 상기 매뉴얼 라벨링 시스템(142) 각각에 전송함으로써 라벨링 오류가 의심되는 상기 오토 라벨링된 데이터 또는 상기 매뉴얼 라벨링된 데이터 중 상기 적어도 일부를 다시 라벨링하도록 한다. 이후, 다시 라벨링한 오토 라벨링된 데이터 및 다시 라벨링한 매뉴얼 라벨링된 데이터의 상기 적어도 일부 각각은 최종 라벨링된 데이터로서 통합한 후, 상기 최종 라벨링된 데이터는 상기 트레이닝 데이터 중 일부로서 미세 조정 시스템(170)에 전송하게 된다. 이때, 상기 두 개의 다시 라벨링된 데이터는 관리자에 의해 통합될 수 있다. 그러나 상기 두 개의 다시 라벨링된 데이터 중 보다 신뢰할만한 데이터가 있다면, 상기 관리자는 상기 최종 라벨링된 데이터 중 일부를 생성하는데 사용될 보다 신뢰할만한 데이터를 선택할 수 있다.
그리고, 상기 관리 장치(100)는 상기 딥러닝 모델 라이브러리(160)에서 상기 트레이닝 데이터에 적합한 상기 특정 딥러닝 모델을 확인하고, 이를 상기 미세 조정 시스템(170)에 전송할 수 있다.
이때, 상기 딥러닝 모델 라이브러리(160)는 상기 딥러닝 모델 각각을 학습하는데 사용된 트레이닝 데이터에 대응하는 장소, 날짜, 시간, 기간 및 상기 자율 주행 차량의 종류 등의 정보를 기반으로 상기 딥러닝 모델을 분류하고 관리하거나, 각각의 상기 딥러닝 모델이 상기 개별 자율 주행 차량에 대응할 수 있도록 상기 개별 자율 주행 차량에 의해 현재 사용된 상기 딥러닝 모델을 분류 및 관리할 수 있다. 이에 따라, 상기 관리 장치(100)가, 상기 딥러닝 모델 라이브러리로 하여금, 상기 딥러닝 모델 중, 상기 영상 데이터와의 관계 스코어가 임계치 이상인 적어도 하나의 딥러닝 모델을 찾아 이를 상기 특정 딥러닝 모델로서 상기 미세 조정 시스템(170)에 전달하도록 할 수 있다. 이때, 관계 스코어는, 상기 딥러닝 모델의 영상 대상 차량 정보, 영상 대상 시간 정보, 영상 대상 위치 정보 및 영상 대상 운전자 정보 중 적어도 일부를 사용하여 계산될 수 있다. 일 예로, 상기 영상 대상 차량 정보는 대상 차량을 의미할 수 있는데, 이 경우 상기 영상 데이터를 촬영했던 상기 특정 자율 주행 차량일 수 있다. 상기 영상 대상 시간 정보는 상기 영상 데이터가 촬영되었던 시간을 의미할 수 있다. 상기 영상 대상 위치 정보는 상기 영상 데이터가 촬영된 장소를 의미할 수 있다. 상기 영상 대상 운전자 정보는 상기 대상 차량의 운전자를 의미할 수 있다. 상기 딥러닝 모델은 이에 대응하는 상황에 사용될 태깅된 데이터로서 상기에서 언급한 바와 같은 정보를 가질 수 있다.
이후, 상기 관리 장치(100)가 상기 딥러닝 모델 라이브러리(160)로부터 추출된 상기 특정 딥러닝 모델을 상기 미세 조정 시스템(170)에 전송하면, 상기 미세 조정 시스템(170)은, 상기 영상 데이터 및 상기 라벨링된 데이터를 포함한 상기 트레이닝 데이터를 사용하여 상기 특정 딥러닝 모델의 파라미터를 미세 조정할 수 있다.
즉, 상기 미세 조정 시스템(170)은, 상기 특정 자율 주행 차량(200)으로부터 획득된 상기 영상 데이터 및 이에 대응되는 라벨링된 데이터를 포함한 상기 트레이닝 데이터를 사용하여, 상기 특정 딥러닝 모델 중, 이전 학습 과정에 의해 결정된 상기 파라미터 중 적어도 일부를 재 학습함으로써, 상기 기결정된 파라미터를 업데이트하여 상기 파라미터를 미세 조정할 수 있다. 이후, 상기 특정 딥러닝 모델은 상기 특정 자율 주행 차량(200)의 상기 영상 데이터에 적응할 수 있다.
이에 대해 더욱 구체적으로 설명하기 위해 도 3을 참조하도록 한다.
도 3은 본 발명의 일 실시예에 따른 상기 자율 주행 차량의 상기 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는데 사용될 특정 딥러닝 모델의 미세 조정 파라미터의 과정을 개략적으로 나타낸 도면이다.
도 3을 참조로 하면, 상기 미세 조정 시스템(170)이, (i) 상기 특정 딥러닝 모델 내 적어도 하나의 컨벌루션 레이어로 하여금, 상기 영상 데이터에 적어도 하나의 컨벌루션 연산을 적용하여 특징 맵을 생성하도록 하고, (ii) 상기 특정 딥러닝 모델 내 적어도 하나의 출력 레이어로 하여금, 상기 특징 맵에 적어도 하나의 출력 연산을 적용하여 예측 데이터를 생성하도록 하며, (iii) 적어도 하나의 로스 레이어로 하여금, 상기 예측 데이터 및 상기 라벨링된 데이터를 참조로 하여 로스를 생성하고, 상기 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 특정 딥러닝 모델의 파라미터를 미세 조정할 수 있다.
상기 특정 딥러닝 모델의 파라미터가 처음부터 학습되는 것이 아니라 미세 조정되면, 상기 특정 딥러닝 모델은, 상기 영상 데이터에 대응하는 상기 특정 자율 주행 차량에 대한 기설정된 최적 정책 및 맞춤형 최적 정책을 참조로 하여 상기 자율 주행을 수행할 수 있게 된다. 이때, 상기 기설정된 최적 정책은 통계상으로 상당한 수의 사용자에게 만족스러운 일반화된 최적 정책을 의미할 수 있다.
다음으로, 상기 관리 장치(100)는, 상기 딥러닝 모델 라이브러리(160)에, 상기 미세 조정 시스템(170)에 의해 조정된, 상기 미세 조정된 파라미터를 가지는 특정 딥러닝 모델을 등록, 일 예로 업데이트할 수 있다.
이후, 상기 관리 장치(100)는 자동 업데이트 시스템(180)으로 하여금 상기 딥러닝 모델 라이브러리(160)로부터 상기 미세 조정된 파라미터를 가지는 특정 딥러닝 모델을 추출하고 이를 상기 특정 자율 주행 차량(200)에 전송하여, 상기 특정 자율 주행 차량(200)의 상기 레거시 딥러닝 모델을, 상기 미세 조정된 파라미터를 가지는 특정 딥러닝 모델로 업데이트할 수 있다.
이때, 상기 자동 업데이트 시스템(180)은 상기 자율 주행 차량(200)의 상태에 대한 조건이 적어도 하나의 기설정된 조건을 만족할 경우, 상기 딥러닝 모델의 업데이트가 이루어지도록 할 수 있다. 일 예로, 상기 관리 장치(100)는, 상기 특정 자율 주행 차량(200)과 연동하여 상기 특정 자율 주행 차량의 상황 정보를 획득하고, 상기 상황 정보가 주행 우선 상황에 대응하는 제1 상태인지 또는 관리 우선 상황에 대응하는 제2 상태인지를 판단하고, 상기 상황 정보가 상기 제2 상태인 경우 상기 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (18)
- 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 있어서,
(a) 자율 주행 차량과 연동하는 관리 장치가, 상기 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계;
(b) 상기 관리 장치가, 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및
(c) 상기 관리 장치가, 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;
를 포함하되,
상기 (b) 단계에서,
상기 미세 조정 시스템이, (i) 상기 특정 딥러닝 모델 내 적어도 하나의 컨벌루션 레이어로 하여금, 상기 영상 데이터에 적어도 하나의 컨벌루션 연산을 적용하여 특징 맵을 생성하도록 하고, (ii) 상기 특정 딥러닝 모델 내 적어도 하나의 출력 레이어로 하여금, 상기 특징 맵에 적어도 하나의 출력 연산을 적용하여 예측 데이터를 생성하도록 하며, (iii) 적어도 하나의 로스 레이어로 하여금, 상기 예측 데이터 및 상기 라벨링된 데이터를 참조로 하여 로스를 생성하고, 상기 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 특정 딥러닝 모델의 파라미터를 미세 조정하도록 하는 것을 특징으로 하는 방법. - 삭제
- 제 1항에 있어서,
상기 관리 장치가, 상기 특정 딥러닝 모델의 상기 파라미터를 미세 조정하여 상기 특정 딥러닝 모델을 업데이트함으로써, 상기 특정 딥러닝 모델로 하여금, 상기 영상 데이터에 대응하는 상기 특정 자율 주행 차량에 대한 맞춤형 최적 정책 및 기설정된 최적 정책을 참조로 하여 상기 자율 주행을 수행하도록 지원하는 것을 특징으로 하는 방법. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 있어서,
(a) 자율 주행 차량과 연동하는 관리 장치가, 상기 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계;
(b) 상기 관리 장치가, 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및
(c) 상기 관리 장치가, 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;
를 포함하되,
상기 관리 장치는, 상기 영상 데이터를 오토 라벨링 시스템 및 매뉴얼 라벨링 시스템 중 적어도 하나에 입력함으로써 상기 라벨링된 데이터를 획득하되,
상기 오토 라벨링 시스템은, 상기 딥러닝 모델 라이브러리로부터 획득된 라벨링용 소정 딥러닝 모델을 이용한 오토 라벨링 연산을 상기 영상 데이터에 적용함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하고, 상기 매뉴얼 라벨링 시스템은, 분배 알고리즘을 이용하여 상기 영상 데이터를 각각의 라벨러(labeler)에 분배하고, 상기 영상 데이터에 대응하는 상기 라벨러의 출력값을 획득함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하는 것을 특징으로 하는 방법. - 제 4항에 있어서,
상기 관리 장치는, (i) 라벨 검증 시스템으로 하여금, 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템 각각에 의해 생성된, 상기 라벨링된 데이터 중 일부 각각을 비교하여 교차 검증(cross-validation)을 수행함으로써, 피드백 정보를 생성하도록 하고, (ii) 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템으로 하여금, 상기 피드백 정보를 이용하여 상기 라벨링된 데이터 중 상기 일부를 조정할지를 결정하도록 하고, 상기 피드백 정보가 조정 필요성을 나타내는 경우 상기 라벨링된 데이터 중 상기 일부를 조정하도록 하며, (iii) 상기 라벨 검증 시스템으로 하여금, 상기 라벨 검증 시스템에 의해 검증된 상태의 상기 라벨링된 데이터를 상기 미세 조정 시스템에 전달하도록 하는 것을 특징으로 하는 방법. - 제 4항에 있어서,
상기 매뉴얼 라벨링 시스템은, 작업량 정보 및 효율성 정보 중 적어도 일부를 포함하는, 각각의 상기 라벨러의 특성 중 적어도 일부 각각을 참조로 하여 상기 분배 알고리즘을 수행하는 것을 특징으로 하는 방법. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 있어서,
(a) 자율 주행 차량과 연동하는 관리 장치가, 상기 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계;
(b) 상기 관리 장치가, 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및
(c) 상기 관리 장치가, 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;
를 포함하되,
상기 영상 저장 시스템은, 상기 영상 데이터에 적어도 하나의 방지 연산을 적용하여, 상기 영상 데이터에 포함된, 사람의 초상 정보 및 차량의 ID 정보 중 적어도 일부를 포함하는 개인 정보를 제거하고, 상기 개인 정보가 제거된 영상 데이터를 암호화한 후 저장하는 것을 특징으로 하는 방법. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 있어서,
(a) 자율 주행 차량과 연동하는 관리 장치가, 상기 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계;
(b) 상기 관리 장치가, 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및
(c) 상기 관리 장치가, 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;
를 포함하되,
상기 (a) 단계는,
상기 관리 장치가, 상기 딥러닝 모델 라이브러리로 하여금, 상기 딥러닝 모델 중, 상기 영상 데이터와의 관계 스코어가 임계치 이상인 적어도 하나의 딥러닝 모델을 찾아 상기 특정 딥러닝 모델로서 상기 미세 조정 시스템에 전달하도록 하되, 상기 관계 스코어는, 상기 딥러닝 모델의 영상 대상 차량 정보, 영상 대상 시간 정보, 영상 대상 위치 정보 및 영상 대상 운전자 정보 중 적어도 일부를 사용하여 계산되는 것을 특징으로 하는 방법. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 방법에 있어서,
(a) 자율 주행 차량과 연동하는 관리 장치가, 상기 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 단계;
(b) 상기 관리 장치가, 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 단계; 및
(c) 상기 관리 장치가, 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 단계;
를 포함하되,
상기 (c) 단계에서,
상기 관리 장치가, 상기 특정 자율 주행 차량과 연동하여 상기 특정 자율 주행 차량의 상황 정보를 획득하고, 상기 상황 정보가 주행 우선 상황에 대응하는 제1 상태인지 또는 관리 우선 상황에 대응하는 제2 상태인지를 판단하고, 상기 상황 정보가 상기 제2 상태인 경우 상기 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하는 것을 특징으로 하는 방법. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 프로세스, (II) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 프로세스, (III) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하되,
상기 (II) 프로세스에서,
상기 미세 조정 시스템이, (i) 상기 특정 딥러닝 모델 내 적어도 하나의 컨벌루션 레이어로 하여금, 상기 영상 데이터에 적어도 하나의 컨벌루션 연산을 적용하여 특징 맵을 생성하도록 하고, (ii) 상기 특정 딥러닝 모델 내 적어도 하나의 출력 레이어로 하여금, 상기 특징 맵에 적어도 하나의 출력 연산을 적용하여 예측 데이터를 생성하도록 하며, (iii) 적어도 하나의 로스 레이어로 하여금, 상기 예측 데이터 및 상기 라벨링된 데이터를 참조로 하여 로스를 생성하고, 상기 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 특정 딥러닝 모델의 파라미터를 미세 조정하도록 하는 것을 특징으로 하는 장치. - 삭제
- 제 10항에 있어서,
상기 프로세서가, 상기 특정 딥러닝 모델의 상기 파라미터를 미세 조정하여 상기 특정 딥러닝 모델을 업데이트함으로써, 상기 특정 딥러닝 모델로 하여금, 상기 영상 데이터에 대응하는 상기 특정 자율 주행 차량에 대한 맞춤형 최적 정책 및 기설정된 최적 정책을 참조로 하여 상기 자율 주행을 수행하도록 지원하는 것을 특징으로 하는 장치. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 프로세스, (II) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 프로세스, (III) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하되,
상기 프로세서는, 상기 영상 데이터를 오토 라벨링 시스템 및 매뉴얼 라벨링 시스템 중 적어도 하나에 입력함으로써 상기 라벨링된 데이터를 획득하되,
상기 오토 라벨링 시스템은, 상기 딥러닝 모델 라이브러리로부터 획득된 라벨링용 소정 딥러닝 모델을 이용한 오토 라벨링 연산을 상기 영상 데이터에 적용함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하고, 상기 매뉴얼 라벨링 시스템은, 분배 알고리즘을 이용하여 상기 영상 데이터를 각각의 라벨러(labeler)에 분배하고, 상기 영상 데이터에 대응하는 상기 라벨러의 출력값을 획득함으로써, 상기 라벨링된 데이터 중 적어도 일부를 생성하는 것을 특징으로 하는 장치. - 제 13항에 있어서,
상기 프로세서는, (i) 라벨 검증 시스템으로 하여금, 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템 각각에 의해 생성된, 상기 라벨링된 데이터 중 일부 각각을 비교하여 교차 검증(cross-validation)을 수행함으로써, 피드백 정보를 생성하도록 하고, (ii) 상기 오토 라벨링 시스템 및 상기 매뉴얼 라벨링 시스템으로 하여금, 상기 피드백 정보를 이용하여 상기 라벨링된 데이터 중 상기 일부를 조정할지를 결정하도록 하고, 상기 피드백 정보가 조정 필요성을 나타내는 경우 상기 라벨링된 데이터 중 상기 일부를 조정하도록 하며, (iii) 상기 라벨 검증 시스템으로 하여금, 상기 라벨 검증 시스템에 의해 검증된 상태의 상기 라벨링된 데이터를 상기 미세 조정 시스템에 전달하도록 하는 것을 특징으로 하는 장치. - 제 13항에 있어서,
상기 매뉴얼 라벨링 시스템은, 작업량 정보 및 효율성 정보 중 적어도 일부를 포함하는, 각각의 상기 라벨러의 특성 중 적어도 일부 각각을 참조로 하여 상기 분배 알고리즘을 수행하는 것을 특징으로 하는 장치. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 프로세스, (II) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 프로세스, (III) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하되,
상기 영상 저장 시스템은, 상기 영상 데이터에 적어도 하나의 방지 연산을 적용하여, 상기 영상 데이터에 포함된, 사람의 초상 정보 및 차량의 ID 정보 중 적어도 일부를 포함하는 개인 정보를 제거하고, 상기 개인 정보가 제거된 영상 데이터를 암호화한 후 저장하는 것을 특징으로 하는 장치. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 프로세스, (II) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 프로세스, (III) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하되,
상기 (I) 프로세스는,
상기 프로세서가, 상기 딥러닝 모델 라이브러리로 하여금, 상기 딥러닝 모델 중, 상기 영상 데이터와의 관계 스코어가 임계치 이상인 적어도 하나의 딥러닝 모델을 찾아 상기 특정 딥러닝 모델로서 상기 미세 조정 시스템에 전달하도록 하되, 상기 관계 스코어는, 상기 딥러닝 모델의 영상 대상 차량 정보, 영상 대상 시간 정보, 영상 대상 위치 정보 및 영상 대상 운전자 정보 중 적어도 일부를 사용하여 계산되는 것을 특징으로 하는 장치. - 고정된 딥러닝 모델이 아닌 동적 적응형 딥러닝 모델을 제공하여 적어도 하나의 특정 자율 주행 차량이 주변 상황에 따라 적절한 자율 주행을 수행하도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 자율 주행 차량 중 상기 특정 자율 주행 차량으로부터 전송된 영상 데이터가 영상 저장 시스템을 통해 획득되면, 미세 조정(fine-tuning) 시스템으로 하여금, 하나 이상의 딥러닝 모델이 저장되는 딥러닝 모델 라이브러리로부터의 상기 영상 데이터를 사용하여 업데이트될 특정 딥러닝 모델을 획득하도록 하는 프로세스, (II) 상기 영상 데이터 및 이에 대응하는 라벨링(labeling)된 데이터를 트레이닝 데이터로서 상기 미세 조정 시스템에 입력함으로써 상기 특정 딥러닝 모델을 업데이트하는 프로세스, (III) 자동 업데이트 시스템으로 하여금, 상기 업데이트된 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하도록 함으로써, 상기 특정 자율 주행 차량이, 레거시(legacy) 딥러닝 모델 대신 상기 업데이트된 특정 딥러닝 모델을 사용하여 상기 자율 주행을 수행하도록 지원하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하되,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 특정 자율 주행 차량과 연동하여 상기 특정 자율 주행 차량의 상황 정보를 획득하고, 상기 상황 정보가 주행 우선 상황에 대응하는 제1 상태인지 또는 관리 우선 상황에 대응하는 제2 상태인지를 판단하고, 상기 상황 정보가 상기 제2 상태인 경우 상기 특정 딥러닝 모델을 상기 특정 자율 주행 차량에 전송하는 것을 특징으로 하는 장치.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962799161P | 2019-01-31 | 2019-01-31 | |
| US62/799,161 | 2019-01-31 | ||
| US16/738,320 US10824151B2 (en) | 2019-01-31 | 2020-01-09 | Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle |
| US16/738,320 | 2020-01-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200095381A KR20200095381A (ko) | 2020-08-10 |
| KR102373430B1 true KR102373430B1 (ko) | 2022-03-14 |
Family
ID=69187609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200007634A KR102373430B1 (ko) | 2019-01-31 | 2020-01-20 | 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10824151B2 (ko) |
| EP (1) | EP3690761A1 (ko) |
| JP (1) | JP7005038B2 (ko) |
| KR (1) | KR102373430B1 (ko) |
| CN (1) | CN111507458B (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11386229B2 (en) * | 2019-07-04 | 2022-07-12 | Blackberry Limited | Filtering personally identifiable information from vehicle data |
| CN113508065B (zh) * | 2020-01-23 | 2023-08-04 | 百度时代网络技术（北京）有限公司 | 用于自主车辆控制的跨平台控制剖析 |
| GB2598338A (en) * | 2020-08-27 | 2022-03-02 | Daimler Ag | An autonomous driving behavior tuning system, and a method for operating an autonomous motor vehicle by an autonomous driving behavior tuning system |
| CN112051780B (zh) * | 2020-09-16 | 2022-05-17 | 北京理工大学 | 一种基于脑机接口的移动机器人编队控制系统及方法 |
| CN112598819B (zh) * | 2020-12-17 | 2022-07-01 | 北京百度网讯科技有限公司 | 自动驾驶系统的测试方法、装置、电子设备及存储介质 |
| KR102260246B1 (ko) * | 2020-12-22 | 2021-06-04 | 주식회사 모빌린트 | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 |
| KR102340902B1 (ko) * | 2020-12-23 | 2021-12-20 | 주식회사 글로벌브릿지 | 스쿨존을 모니터링하는 장치 및 방법 |
| KR102519715B1 (ko) * | 2021-03-24 | 2023-04-17 | 주식회사 에어플 | 도로 정보 제공 시스템 및 도로 정보 제공 방법 |
| AU2021204756A1 (en) * | 2021-05-21 | 2022-12-08 | Soul Machines | Transfer learning in image recognition systems |
| KR102648935B1 (ko) | 2021-10-27 | 2024-03-19 | 한국자동차연구원 | 자동차 동작 테스트 장치 및 그 방법 |
| CN115439278B (zh) * | 2022-08-05 | 2023-07-25 | 火焰蓝(浙江)信息科技有限公司 | 适用于非机动车驾驶员的线上学习方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018120292A (ja) * | 2017-01-23 | 2018-08-02 | パナソニックＩｐマネジメント株式会社 | イベント予測システム、イベント予測方法、プログラム、及び移動体 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11043307B2 (en) * | 2013-03-15 | 2021-06-22 | James Paul Smurro | Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams |
| US10733525B2 (en) * | 2014-09-29 | 2020-08-04 | The Government Of The United States, As Represented By The Secretary Of The Army | Technical performance data trained learning system |
| US20170032245A1 (en) * | 2015-07-01 | 2017-02-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Providing Reinforcement Learning in a Deep Learning System |
| US10839302B2 (en) * | 2015-11-24 | 2020-11-17 | The Research Foundation For The State University Of New York | Approximate value iteration with complex returns by bounding |
| US9892344B1 (en) * | 2015-11-30 | 2018-02-13 | A9.Com, Inc. | Activation layers for deep learning networks |
| US10181195B2 (en) * | 2015-12-28 | 2019-01-15 | Facebook, Inc. | Systems and methods for determining optical flow |
| US10061316B2 (en) * | 2016-07-08 | 2018-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Control policy learning and vehicle control method based on reinforcement learning without active exploration |
| US10611379B2 (en) * | 2016-08-16 | 2020-04-07 | Toyota Jidosha Kabushiki Kaisha | Integrative cognition of driver behavior |
| US20180053102A1 (en) | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
| JP2018081545A (ja) * | 2016-11-17 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像データ抽出装置及び画像データ抽出方法 |
| US11042155B2 (en) * | 2017-06-06 | 2021-06-22 | Plusai Limited | Method and system for closed loop perception in autonomous driving vehicles |
| US11573573B2 (en) * | 2017-06-06 | 2023-02-07 | Plusai, Inc. | Method and system for distributed learning and adaptation in autonomous driving vehicles |
| US10007269B1 (en) * | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
| US20180370502A1 (en) * | 2017-06-27 | 2018-12-27 | Dura Operating, Llc | Method and system for autonomous emergency self-learning braking for a vehicle |
| AU2018365091B2 (en) * | 2017-11-13 | 2021-03-04 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| US11195079B2 (en) * | 2017-11-22 | 2021-12-07 | Intel Corporation | Reconfigurable neuro-synaptic cores for spiking neural network |
| US11886988B2 (en) * | 2017-11-22 | 2024-01-30 | International Business Machines Corporation | Method for adaptive exploration to accelerate deep reinforcement learning |
| US10983524B2 (en) * | 2018-04-12 | 2021-04-20 | Baidu Usa Llc | Sensor aggregation framework for autonomous driving vehicles |
| CN108830188B (zh) * | 2018-05-30 | 2022-03-04 | 西安理工大学 | 基于深度学习的车辆检测方法 |
| KR20200029785A (ko) * | 2018-09-11 | 2020-03-19 | 삼성전자주식회사 | 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치 |
| US10579907B1 (en) * | 2019-01-31 | 2020-03-03 | StradVision, Inc. | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same |
-
2020
- 2020-01-09 US US16/738,320 patent/US10824151B2/en active Active
- 2020-01-20 KR KR1020200007634A patent/KR102373430B1/ko active IP Right Grant
- 2020-01-20 CN CN202010066098.6A patent/CN111507458B/zh active Active
- 2020-01-22 EP EP20153041.7A patent/EP3690761A1/en active Pending
- 2020-01-27 JP JP2020010697A patent/JP7005038B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018120292A (ja) * | 2017-01-23 | 2018-08-02 | パナソニックＩｐマネジメント株式会社 | イベント予測システム、イベント予測方法、プログラム、及び移動体 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3690761A1 (en) | 2020-08-05 |
| KR20200095381A (ko) | 2020-08-10 |
| CN111507458B (zh) | 2023-06-30 |
| CN111507458A (zh) | 2020-08-07 |
| JP2020126642A (ja) | 2020-08-20 |
| JP7005038B2 (ja) | 2022-01-21 |
| US20200249675A1 (en) | 2020-08-06 |
| US10824151B2 (en) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102373430B1 (ko) | 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치 | |
| KR102440938B1 (ko) | 자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치 | |
| US11036232B2 (en) | Iterative generation of adversarial scenarios | |
| US11087175B2 (en) | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them | |
| CN110874564B (zh) | 分类车线后补像素检测车线的方法及装置 | |
| JP6912835B2 (ja) | 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
| US10919543B2 (en) | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route | |
| CN111507172A (zh) | 通过预测周围物体移动支持安全的自动驾驶的方法和装置 | |
| EP3905139A1 (en) | Method for performing continual learning on classifier in client capable of classifying images by using continual learning server and continual learning server using the same | |
| CN112163446B (zh) | 一种障碍物检测方法、装置、电子设备及存储介质 | |
| EP3686842B1 (en) | Learning method, learning device, testing method and testing device | |
| US20210070318A1 (en) | Intelligent driving contrl method and apparatus, and computer storage medium | |
| CN111507160A (zh) | 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置 | |
| US20230331250A1 (en) | Method and apparatus for configuring deep learning algorithm for autonomous driving | |
| US10635918B1 (en) | Method and device for managing smart database for face recognition based on continual learning | |
| KR102521657B1 (ko) | 차량을 제어하는 방법 및 장치 | |
| KR102314515B1 (ko) | 경쟁적인 컴퓨팅 및 정보 퓨전을 이용하여 차량의 자율 주행을 지원하는데 이용될 자율 주행 서비스 플랫폼을 제공하는 방법 및 이를 이용한 서버 | |
| WO2020224117A1 (zh) | 基于历史视频的导航方法、装置、计算机设备及存储介质 | |
| EP3989031A1 (en) | Systems and methods for fusing road friction data to enhance vehicle maneuvering | |
| EP3903158B1 (fr) | Procédé et système d'assistance d'un véhicule automobile autonome | |
| Yoon et al. | Learning when to use adaptive adversarial image perturbations against autonomous vehicles | |
| CN111383357A (zh) | 一种适应目标数据集的网络模型微调方法、系统、终端和存储介质 | |
| US20230326194A1 (en) | System and method for feature visualization in a convolutional neural network | |
| US11938943B1 (en) | Slice-based dynamic neural networks | |
| US20240054777A1 (en) | Reducing environmental interference from images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |