KR20230048434A - 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법 - Google Patents
자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법 Download PDFInfo
- Publication number
- KR20230048434A KR20230048434A KR1020237009084A KR20237009084A KR20230048434A KR 20230048434 A KR20230048434 A KR 20230048434A KR 1020237009084 A KR1020237009084 A KR 1020237009084A KR 20237009084 A KR20237009084 A KR 20237009084A KR 20230048434 A KR20230048434 A KR 20230048434A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- server
- scenario
- machine learning
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000007613 environmental effect Effects 0.000 title claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims abstract description 83
- 238000013480 data collection Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims 2
- 230000008901 benefit Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000721701 Lynx Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 서버와 복수의 타 차량에 연결된 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 방법에 관한 것이다. 자기 차량과 타 차량에는 서로 간에 유사한 각자의 기계 학습 모델이 제공된다. 방법은 자기 차량에 의한 데이터 수집 단계로서, 자기 차량의 기계 학습 모델에 기초하여 취득된 센서 데이터, 그 중 이미지는 특정 시나리오 해석을 생성하는, 데이터 수집 단계를 포함한다. 시나리오 해석이 잘못되었다는 피드백을 수신할 때, 자기 차량의 대응하는 이미지는 인코딩되고 해싱되고 나서, 이 대응하는 이미지를 복수의 타 차량에 방송하여 특정 유사 시나리오 해석을 서버에 전달할 것을 타 차량에 요청하는 요청과 함께 서버로 전송된다. 그런 다음, 타 차량은 잘못된 시나리오 해석에 대응하는 환경 특징의 특정 조합을 식별하고, 자체 센서 데이터를 취득하고, 이미지를 추출, 인코딩 및 해싱하는 것을 포함하여 이를 처리한다. 타 차량은 주어진 임계값을 초과하는 유사성 점수에 의해 자기 차량과 타 차량(Vi) 각각으로부터 수신된 이미지 해시 간의 유사성을 비교하고, 높은 유사성 점수는 구조와 내용 면에서 유사한 데이터에 대응하는 것을 의미한다. 주어진 임계값을 초과하는 타 차량의 이미지 해시에 대해 타 차량은 특정 유사 시나리오 해석을 식별하고 이를 서버로 전송한다. 서버는 타 차량과 자기 차량의 이미지 해시에 대응하는 타 차량의 센서 데이터를 취합하여, 자기 차량의 기계 학습 모델을 점진적으로 재훈련하고, 점진적으로 재훈련된 모델을 함께 자기 차량으로 전송한다. 본 발명은 또한 훈련된 기계 학습 모델, 방법을 수행하기 위한 시스템, 및 복수의 비일시적 컴퓨터 판독 가능 매체에 관한 것이다.
Description
본 발명은 자기 차량(ego-vehicle)의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 데 사용되는 컴퓨터 구현 방법으로서, 기계 훈련 모델을 사용하는 것을 포함하는 컴퓨터 구현 방법; 훈련된 기계 학습 모델, 방법을 수행하는 시스템 및 복수의 비일시적 컴퓨터 판독 가능 매체에 관한 것이다.
점점 더 자율적이고 지능적인 운송 수단이 늘어남에 따라 차량이 주변 환경을 더 잘, 더 강력하고 더 포괄적으로 이해할 수 있게 해주는 시스템이 필요해지고 있다. 이러한 시스템의 초석은 차량 환경의 특정 특징(예를 들어, 도로 요소 등)을 신뢰성 있게 검출, 측정 및 분류할 수 있는 고급 운전 지원(ADAS) 센서로 대표된다.
차량의 고급 운전 지원(ADAS) 센서는 차량의 고급 운전 지원 기능에 사용되는 다양한 유형의 데이터, 그 중 이미지를 취득한다.
이러한 맥락에서 하드웨어와 소프트웨어의 최신 개발은 고급 운전 지원 센서 기능에서 인공 지능, 즉 기계 학습 기술의 광범위한 전개로 이어졌다.
고급 운전 지원 센서 기능에 사용되는 기계 학습 모델의 훈련은 일반적으로 기계 학습 모델의 도움을 받아 복수의 시나리오를 생성하는 것에 기초한다.
복수의 시나리오로부터 각각의 특정 시나리오는 환경 특징의 특정 조합에 관한 것이다. 시나리오의 무제한적인 예로는 나무가 있는 직선 도로, 나무가 없는 직선 도로, 터널 입구, 터널 출구, 도로가 직선일 때 터널 내부, 주차장, 고도의 변화가 없는 곡선, 고도 변화가 있는 곡선 등이 있다. 기계 학습 모델을 사용함으로써 차량이 훈련 데이터에 대응하는 제한된 수의 시나리오에 기초하여 시나리오의 조합과 유사한 환경 특징의 조합을 식별할 수 있을 것으로 예상된다.
기계 학습 모델의 출력 데이터는 시나리오 해석을 생성하는 서버로부터 취득된 데이터의 해석이다.
그런 다음 각각의 시나리오는 운전의 안전을 위해 특정 조치를 취하기 위한 목적으로 자기 차량(V1)에 대한 관련 지침을 포함한다. 이 지침은 일반적으로 차량에 사람이 있을 때 운전자에 대한 메시지를 포함하거나 또는 차량이 자율 주행 상태일 때 운전 지침에 대한 메시지를 포함한다. 이 지침은 본 발명의 범위를 벗어난다.
종래 기술의 단점
매우 강력하지만 기계 학습 모델과 관련된 주요 과제 중 하나는 훈련하는 것이다. 훈련 동안 기계 학습 모델에 일련의 예제가 제공되고, 이에 의해 기계 학습 모델이 추출하려고 의도된 특징의 특정 상세 사항(예를 들어, 질감, 형상, 색상 등)을 자동으로 학습할 수 있다. 가장 중요한 양태는 기계 학습 모델이 특정 특징(예를 들어, 차량의 형상과 바퀴, 보행자의 실루엣 등)과 관련되고 이 특정 특징을 판별되는 것을 진정으로 "이해"하기 위해 훈련 동안 가변성이 높은 충분한 예제가 제공될 필요가 있다는 것이다. 충분하고 다양한 예제를 사용하여 제대로 훈련이 이루어지지 않은 경우 기계 학습 모델은 제공된 예제에는 맞지만 잘 일반화되지 않는 객체 및 현상과 관련 없는 속성(attribute)을 추출할 수 있다. 이는 과적합(overfitting)이라고 불리며, 이는 기계 학습 모델의 품질과 강력함에 영향을 미치는 가장 중요한 하나의 단점이다.
검출, 분류, 분할 및 위치 파악 적용의 경우 기계 학습 모델을 훈련하는 것은 수동으로 표시된 데이터를 필요로 하여서 충분한 훈련 예제를 제공하는 데 엄청난 인적 노력을 초래했다. 이것은 특히 복잡하고 강력한 아키텍처가 수십만 또는 수백만 개의 파라미터를 훈련할 것을 요구하는 심층 신경망의 경우이다. 이러한 네트워크를 훈련하려면 과적합을 방지하고 강력한 기계 학습 모델을 구축하기 위해 수만 개의 훈련 예제가 필요하다. 이는 데이터의 제한된 이용 가능성과 표시에 필요한 인적 노력으로 인해 비실용적이다.
위양성과 위음성, 잘못된 분류로 인해 시나리오를 잘못 해석하는 등을 초래하는, 기계 학습 모델이 실패할 가능성이 있는 상황을 검출하고, 일반적으로 코너 사례(corner case)라고 불리는 이러한 샘플 또는 유사한 사례를 사용하여 추가 훈련을 수행하는 것이 훨씬 더 효율적인 솔루션이다. 이는 상대적으로 적은 양의 추가 데이터를 사용하여 기계 학습 모델의 정밀도를 크게 향상시킨다.
앞서 언급한 바와 같이 기계 학습 모델이 실패할 가능성이 있는 이러한 코너 사례를 획득하고, 이를 다시 피드백하여 기계 학습 모델을 재훈련하여 성능을 크게 향상시키는 것이 중요하다. 이러한 사례는 훈련된 모델의 한계에 의해 결정될 뿐만 아니라 아마도 더 자주 환경 조건에 의해 결정된다. 몇 가지 예는 다음과 같다:
- 터널, 실내 주차장 등에서 발견되는 것과 같은 어려운 조명 상황은 차로 표시(lane marking), 교통 표지, 교통 신호등 등을 검출 및 분류하는 일을 하는 카메라 기반 기계 학습 모델의 정확도를 떨어뜨릴 수 있다;
- 교통 관여자 및 정적 환경 요소를 검출하고 위치 파악할 때 교량, 가드레일 및 기타 금속 구조물은 레이더 기반 기계 학습 모델의 성능에 부정적인 영향을 미칠 수 있다;
- 또한 교차로 및 로터리와 같은 복잡한 시나리오는 기계 학습 모델에 어려움을 제공할 수 있다.
현재, 기계 학습 모델의 재훈련은 자기 차량 수준에서 점진적으로 이루어지고 있다. 시나리오의 수정은 그렇게 할 수 있는 처리 능력을 가진 서버의 운영자에 의해 수동으로 수행되며, 그런 다음 올바른 데이터가 자기 차량으로 전송되고, 자기 차량의 각자의 기계 학습 모델을 재훈련하는 데 사용된다.
이러한 접근 방식의 단점은 다음과 같다:
- 단일 예제를 사용하여 재훈련한 후 자기 차량의 각자의 기계 학습 모델을 개선하는 것은 한계가 있다:
- 수정은 수동으로 수행되기 때문에 추가 시간이 필요하여 개선이 느리다:
- 일부 경우에, 서버의 운영자가 수정하는 데 이용 가능한 정보가 없는 경우 운영자는 이 정보를 찾기 위해 추가 비용이 수반되는 다른 조치를 수행해야 한다.
본 발명에 의해 해결하고자 하는 과제
이러한 이유로, 해결하고자 하는 기술적 과제는 이러한 기계 학습 모델이 실패하는 상황을 검출하는 것뿐만 아니라 기계 학습 모델이 실패하는 유사 시나리오에 대응하는 센서 데이터, 나중에 분석하여 자기 차량의 기계 학습 모델에 대한 추가 훈련 데이터로 사용할 수 있는 센서 데이터를 추출할 수 있는 것이다.
따라서, 본 발명의 목적은 종래 기술의 결점을 해결하고, 올바른 시나리오를 검출하고 자기 차량의 기계 학습 모델을 업데이트하기 위해, 자기 차량이 이러한 코너 사례를 검출하면, 타 차량(other vehicle)으로부터 유사한 사례를 자동으로 검색할 수 있도록 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 방법을 제공하는 것이다.
"기계 학습 모델을 재훈련하는"이라는 용어와 "기계 학습 모델을 업데이트하는"이라는 표현은 본 발명에서 상호 교환 가능하게 사용된다.
본 발명의 개요
본 발명의 주제는, 제1 양태에서, 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법으로서,
자기 차량은 서버에 연결되고, 상기 서버는 복수의 타 차량에 연결되고, 자기 차량, 타 차량 및 서버는 기계 학습 모델을 제공받고,
방법은,
자기 차량의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 수집 단계(I)로서,
- 자기 차량의 ADAS 센서에 의해 자기 차량의 주변으로부터 상기 환경 특징과 관련된 센서 데이터를 취득하고;
- 기계 학습 모델에 기초하여 센서 데이터를 해석하여 특정 시나리오 해석을 생성하고,
- 특정 시나리오 해석에 따라 관련된 명령어를 자기 차량의 실행 전자 제어 유닛에 전송하고,
- 특정 시나리오 해석이 잘못되어 잘못 해석된 특정 시나리오를 초래하는 경우 실행 전자 제어 유닛으로부터 피드백을 수신하고,
- 잘못된 특정 시나리오 해석에 대응하는 취득된 센서 데이터로부터 카메라 이미지를 추출하고,
- 잘못 해석된 특정 시나리오에 대응하는 카메라 이미지를 인코딩 및 해싱하고 자기 차량 이미지 해시를 획득하고;
- 취득된 센서 데이터 및 상기 차량에 의한 특정 유사 시나리오를 타 차량에 의해 식별하라는 요청과 함께 잘못 해석된 특정 시나리오에 대응하는 자기 차량 이미지 해시를 서버로 전송하는, 데이터 수집 단계(I);
서버에 의해 수행되는 데이터 처리 단계(II)로서,
- 자기 차량에 의한 잘못된 특정 시나리오 해석에 대응하는 환경 특징의 특정 조합을 식별하고,
- 복수의 타 차량 각각이,
- 자기 차량으로부터 수신된 데이터 이미지 해시에 따른 상기 차량에 의한 특정 유사 시나리오, 및
- 유사 시나리오에서 타 차량에 대해 타 차량과 관련하여 취득된 센서 데이터를
서버에 전달하라는 서버 요청과 함께 자기 차량 이미지 해시를 복수의 타 차량으로 방송하는, 데이터 처리 단계(II);
타 차량의 각자의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 처리 단계(III)로서,
- 서버로부터 방송되는 자기 차량 이미지 해시와 서버 요청을 수신하고;
- 서버 요청에 따라 타 차량 각각의 ADAS 센서에 의해 상기 각각의 타 차량의 주변으로부터 센서 데이터를 취득하고,
- 취득된 센서 데이터로부터 타 차량 카메라 이미지를 추출, 인코딩 및 해싱하고, 각각의 타 차량 이미지 해시를 획득하는 것을 포함하여 타 차량에 의해 취득된 센서 데이터를 처리하고,
- 주어진 임계값을 초과하는 유사성 점수에 의해 자기 차량과 각각의 타 차량으로부터 수신된 이미지 해시 간의 유사성을 비교하고, 높은 유사성 점수는 구조 및 내용 면에서 유사한 이미지에 대응하는 것을 의미하며,
- 유사성 점수에 기초하여,
- 유사성 점수가 주어진 임계값을 초과하는 이미지 해시에 대응하는 상기 차량에 의해 취득된 센서 데이터와 특정 유사 시나리오를 검색하고,
- 서버에 다음 사항, 즉
- 자기 차량으로부터 수신된 데이터 이미지 해시에 따른 상기 차량에 의한 특정 유사 시나리오, 및
- 유사 시나리오에서 타 차량에 대해 타 차량과 관련하여 취득된 센서 데이터
를 전송하는, 데이터 처리 단계(III);
서버에 의해 수행되는 데이터 처리 단계(IV)로서,
- 다음 사항, 즉
- 잘못 해석된 특정 시나리오에 대응하는 자기 차량 센서 데이터와,
- 유사 시나리오에 대해 타 차량과 관련하여 취득된 센서 데이터
를 비교하고,
- 자기 차량과 타 차량으로부터 수신된 취득된 센서 데이터를 취합하고, 취합된 센서 데이터를 사용하여 기계 학습 모델을 점진적으로 재훈련하고,
- 점진적으로 재훈련된 모델을 자기 차량에 전송하는, 데이터 처리 단계(IV)
를 포함하는 컴퓨터 구현 방법이다.
본 발명의 제2 양태에서, 추가 훈련 데이터에 기초하여 임의의 실시예의 단계(4)에 따라 서버에 의해 수행되는 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하기 위한 훈련 방법으로서, 추가 훈련 데이터는 자기 차량의 잘못된 시나리오 해석에 대응하는 각각의 타 차량과 관련하여 취득된 센서 데이터인, 훈련 방법이 제시된다.
본 발명의 제3 양태에서, 임의의 실시예의 방법에 따라 훈련된, 훈련된 기계 학습 모델이 제시된다.
본 발명의 제4 양태에서, 데이터 처리 시스템으로서,
- 자기 차량,
- 서버,
- 복수의 타 차량, 및
- 자기 차량과 타 차량 각각을 서버에 연결하는 통신 네트워크
를 포함하고,
시스템은 임의의 실시예의 방법의 단계를 수행하도록 구성된 수단을 포함하는, 데이터 처리 시스템이 제시된다.
마지막으로, 본 발명의 제5 양태에서, 명령어를 저장하는 복수의 비일시적 컴퓨터 판독 가능 매체로서, 명령어는 서버, 자기 차량 및 타 차량의 하나 이상의 각자의 프로세서에 의해 실행될 때 각자의 하나 이상의 서버 프로세서로 하여금 임의의 실시예의 방법을 수행하게 하는, 비일시적 컴퓨터 판독 가능 매체가 제시된다.
추가 유리한 실시예는 종속 청구항의 주제이다.
본 발명의 장점
본 발명에 따른 방법을 사용하는 주요 장점은 다음과 같다:
- 유사 시나리오에 직면한 다수의 차량에서 수집한 이미지의 하위 세트를 포함하는 센서 데이터가 존재하여 훨씬 더 높은 훈련 데이터 변동성을 초래하기 때문에 재훈련에 의한 자기 차량의 각자의 기계 학습 모델의 개선 정도가 현 기술보다 높다;
- 한편으로는 데이터 취득 과정의 자동화와 시간 절약으로 인해 개선 시간이 상당히 단축된다;
- 본 발명의 방법에 설명된 조치 외에 모델을 재훈련하는 정보를 얻기 위해 임의의 다른 조치를 수행할 필요가 없기 때문에 재정 자원이 절약된다;
- 서버의 추가 컴퓨팅 자원을 효율적으로 할당하고, 상대적으로 적은 양의 추가 데이터를 사용하여 기계 학습 모델의 정확도를 크게 향상시킨다;
- 이러한 방법은 유리하게는 차로, 교통 표지, 교통 신호등, 도로 표시와 같은 정적 환경 요소 및 교통 관여자에 대한 기계 학습 기반 검출 및 분류를 연속적으로 개선할 수 있게 한다.
본 발명의 추가 특별한 특징 및 장점은 다음의 설명 및 첨부된 도면으로부터 얻어질 수 있을 것이다.
도 1은 본 발명에 따른 방법의 개략 블록도이다.
도 2a는 자기 차량이 코너 사례가 있는 상황에 직면한 시나리오의 개략도이다.
도 2b는 타 차량(Vi) 중 하나에 의해 식별된 도 2a의 시나리오와 유사한 시나리오의 개략도이다.
도 2a는 자기 차량이 코너 사례가 있는 상황에 직면한 시나리오의 개략도이다.
도 2b는 타 차량(Vi) 중 하나에 의해 식별된 도 2a의 시나리오와 유사한 시나리오의 개략도이다.
이제 도 1을 참조하면, 본 발명의 예시적인 실시예가 도시되어 있다.
본 발명의 방법은,
- 자기 차량(V1),
- 서버,
- 복수의 타 차량(Vi)(여기서 i=2,...n), 및
- 자기 차량(V1)과 타 차량(Vi) 각각을 서버에 연결하는 통신 네트워크
를 포함하는 시스템에서 수행된다.
자기 차량(V1), 타 차량(Vi)에는 고급 운전 지원(ADAS) 센서가 장착된다.
서버는 물리적으로 근접해 있거나 통신 네트워크 내에서 통신하는 일체형 하드웨어 서버 또는 다중 부품 하드웨어 서버일 수 있다. 서버의 구성은 종래 기술에 따른다.
자기 차량(V1), 타 차량(Vi), 및 서버는 동일한 기계 학습 모델을 제공받는다. 당업자가 각각의 차량 및/또는 서버에 대해 기계 학습 모델의 사소한 적응이 필요하다고 생각하는 경우, 이러한 사소한 적응은 "동일한 기계 학습 모델"의 범위 내에 속하는 것으로 이해되어야 한다.
본 발명의 이해를 용이하게 하기 위해, 구체적인 예가 도 2a 및 도 2b를 참조하여 고려된다. 도 2a의 실제 풍경에는 터널 입구가 있다. 예를 들어, 레이더 센서의 특성으로 인해 자기 차량의 인식 시스템은 터널 벽으로부터 레이더 반사로 인해 자기 차로에 타 차량이 있는 것으로 해석하여 갑작스러운 차로 변경과 같은 원치 않는 기동(manouver)을 초래할 수 있다. 자기 차량의 운전자는 자율 주행 시스템의 조치를 바로잡게 된다.
도 2b는 보브캣(bob-cat), 초목 등의 존재와 무관한 차이점에도 불구하고 제시된 발명에 의해 타 차량에 의해 검출될 수 있는, 차량(V1)이 직면한 것과 유사한 시나리오를 나타낸다.
실제 풍경은 동적으로 간주되고, 즉, 차량이 주행할 때 위치가 변함에 따라 풍경이 연속적으로 변한다. 도 2a는 예시를 위해 특정 시점의 상황을 보여준다. 이러한 현실에 기초하여 환경 특징을 연속적이고 적응적으로 검출하는 방법을 제공하는 것이 필요하며, 이를 위해서는 시나리오가 연속적이고 적응적으로 풍부해지는 것이 필요하다. 시나리오의 적응은 서버, 자기 차량(V1) 및 타 차량(Vi)에서 기계 학습 모델을 사용함으로써 수행된다.
본 발명에 따른 방법은 5단계를 갖는다.
방법의 제1 단계는 자기 차량(V1)의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 수집 단계(I)이다.
자기 차량(V1)은 카메라, 라이다, 레이더 등을 이해하는 ADAS 센서에 의해 ADAS 센서 데이터를 사용한다. ADAS 센서 데이터는 자기 차량(V1) 주변의 환경 특징을 캡처하기 위해 전방 카메라, 서라운드 뷰 카메라 시스템 등으로 취득한 카메라 이미지를 포함하지만 이로 제한되지 않는다.
이러한 센서 데이터는 교통 관여자 및 환경 특성, 즉, 차로, 교통 표지, 교통 신호등, 도로 표시 등과 같은 환경 특징을 검출하고 분류할 수 있는 자기 차량(V1)의 기계 학습 모델에 기초하여 처리된다.
자기 차량(V1)의 데이터 수집 및 처리 유닛은 기계 학습 모델을 사용하여 센서 데이터를 해석하여 특정 시나리오 해석을 생성한다.
도 2a 및 도 2b의 예에서, 자기 차량(V1)의 데이터 수집 및 처리 유닛은 기계 학습 모델을 사용하여 도 2b에 도시된 시나리오에 따라 도 2a의 풍경으로부터 취득된 센서 데이터를 해석한 다음, 특정 시나리오 해석에 따라 자기 차량(V1)의 실행 제어 유닛에 관련 명령어를 전송할 것으로 예상된다.
관련 명령어는 자기 차량(V1)의 특정 예상 거동에 대응한다.
관련 명령어의 예로서, 속도를 줄이고 조명을 켜는 것은 각각 속도를 줄이고 조명을 켜는 특정 예상 거동에 대응한다.
센서 데이터 처리(검출, 분류 등)의 온전성은 신뢰도, 타당성 점수 계산 또는 운전자 개입으로 인한 시스템 해제를 통해 연속적으로 모니터링 및 검증된다. 운전자의 조치를 해석하여 수행되는 검증 자체는 본 발명의 목적이 아니다.
실행 제어 유닛이 코너 사례를 검출하면, 즉 기계 학습 실패, 일관성 검사, 높은 불확실성, 운전자의 이탈 등과 같은 임의의 데이터 불일치를 검출하면, 실행 제어 유닛은 잘못 해석된 특정 시나리오가 있음을 의미하는, 특정 시나리오 해석이 잘못되었다는 피드백을 자기 차량(V1)의 데이터 수집 및 처리 유닛에 전송한다.
자기 차량(V1)의 예상 거동과 실제 거동 사이에 불일치가 발생할 때마다, 피드백은 자기 차량(V1)의 데이터 수집 및 처리 유닛으로 전송된다.
피드백을 수신한 후, 자기 차량(V1)의 데이터 수집 및 처리 유닛은 센서 데이터로부터 카메라 이미지, 바람직하게는 전방 카메라로부터 이미지를 추출하고, 이 카메라 이미지는 잘못 해석된 특정 시나리오에 대응한다.
그런 다음, 추출된 이미지는 인코딩되고 해싱된다. 대응하는 자기 차량(V1) 이미지 해시는, 잘못된 특정 시나리오 해석에 대응하는 취득된 센서 데이터와, 타 차량(Vi) 각각에 의해 특정 유사 시나리오를 타 차량(Vi)이 식별할 것을 자기 차량(V1)의 데이터 수집 및 처리 유닛이 서버에 요구한 요청과 함께 서버로 전송된다.
도 2a 및 도 2b의 예를 취하면, 도 2a로부터 추출된 이미지는 인코딩되고, 해싱되고 나서, 이미지에 대응하는 모든 다른 센서 데이터와 함께 서버로 전송된다. 이 경우 서버에 대한 요청은 도 2a에서 추출된 이미지와 일치하는 특정 유사 시나리오를 식별할 것을 타 차량(Vi)에게 "요청"하는 것이다.
타 차량(Vi) 각각에는 자기 차량(V1)의 데이터 수집 및 처리 유닛과 유사한 각자의 데이터 수집 및 처리 유닛이 제공된다. 각자의 데이터 수집 및 처리 유닛의 기능이 동일하게 수행되는 경우 데이터 수집 및 처리 유닛 간의 유사성이 고려된다.
서버에 의해 수행되는 데이터 처리 단계(II)에서, 먼저 자기 차량(V1)에 의해 잘못 해석된 특정 시나리오에 대응하는 환경 특징의 특정 조합이 식별된다.
그런 다음, 서버는 복수의 타 차량(Vi) 각각이
- 자기 차량(V1)으로부터 수신된 데이터 이미지 해시에 따른 상기 차량(Vi)에 의한 특정 유사 시나리오,
- 및
- 유사 시나리오에서 타 차량(Vi)에 대해 타 차량(Vi)과 관련하여 취득된 센서 데이터
를 서버에 전달하라는 서버 요청과 함께 자기 차량(V1)으로부터 수신된 이미지 해시를 방송한다.
도 2a의 예에서, 서버 요청은, 특정 시나리오에서 터널 입구를 식별하는 과제가 있고, 유사한 환경 특징을 가진 터널 입구, 즉 자기 차량(V1)이 직면한 것과 유사한 특성을 가진 터널 입구와 관련된 타 차량(Vi) 이미지 해시에 대응하는 모든 취득된 센서 데이터와 함께, 유사한 특성을 가진 터널 입구와 관련된 센서 데이터, 즉 타 차량(Vi) 이미지 해시를 타 차량(Vi)이 전송해야 하는 것에 관한 것이다.
데이터 처리 단계(III)는 타 차량(Vi)의 각자의 데이터 수집 및 처리 유닛에 의해 수행된다.
먼저, 각각의 타 차량(Vi)의 데이터 수집 및 처리 유닛은 방송된 자기 차량(V1) 해시 이미지와 서버 요청을 서버로부터 수신한다.
그런 다음, 타 차량(Vi)의 ADAS 센서는 서버의 요청에 따라 상기 각각의 타 차량(Vi)의 주변으로부터 환경 특징의 특정 조합과 관련된 센서 데이터를 취득한다. 이 예에서, 타 차량(Vi)의 센서 데이터는 서버로부터의 요청의 것과 유사한 특성을 갖는 터널 입구에 대한 정보를 취득한다. 이 단계의 지속시간은 미리 설정되어 있고, 예를 들어, 이용 가능한 타 차량의 수, 풍경의 내용 등에 따라 하루 또는 일주일이다.
그런 다음 타 차량(Vi)의 각자의 데이터 수집 및 처리 유닛은 취득된 센서 데이터를 실시간으로 처리하고, 이 처리는 센서 데이터로부터 카메라 이미지를 추출하고, 추출된 이미지를 해싱하고, 각각의 타 차량(Vi) 이미지 해시를 획득하는 것을 포함한다.
그런 다음, 타 차량(Vi)의 각자의 데이터 수집 및 처리 유닛은 자기 차량(V1)으로부터 수신된 이미지 해시들 간의 유사성을 주어진 임계값을 초과하는 유사성 점수에 의해 각자의 자체 이미지 해시와 비교하고, 높은 유사성 점수는 구조 및 내용 면에서 유사한 시나리오에 대응하는 것을 의미한다.
서버로부터의 방송은 타 차량(Vi) 각각에 의해 수신되지만, 예를 들어, 복수의 타 차량(Vi) 중 일부의 타 차량(Vi)은 이러한 유사한 환경이 없는 영역, 예를 들어, 터널이 없는 영역을 주행하고 있기 때문에, 복수의 타 차량(Vi) 중 모든 타 차량(Vi)이 서버 요청에 따라 각자의 주변으로부터 이미지를 취득할 수 있는 것은 아닐 수 있다. 대신에, 각자의 주변 환경으로부터 이미지를 취득한 타 차량(Vi) 각각은 각자의 이미지 해시를 출력하고, 자체 이미지 해시와 자기 차량(V1)으로부터 수신된 이미지 해시 간을 비교한 것에 유사성 점수를 적용한다.
그런 다음, 유사성 점수에 기초하여, 타 차량(Vi)의 각자의 데이터 수집 및 처리 유닛은 유사성 점수가 주어진 임계값을 초과하는 이미지 해시에 대응하는 상기 차량(Vi)에 의해 취득된 시나리오와 특정 유사 시나리오를 검색한다.
본 발명은 타 차량(Vi) 중 적어도 하나가 전술한 취득된 센서 데이터를 서버에 전송할 수 있는 경우 적용된다.
단계(III)의 끝에서, 타 차량(Vi)의 각자의 데이터 수집 및 처리 유닛은,
- 자기 차량(V1)으로부터 수신된 데이터 이미지 해시에 따른 상기 차량(Vi)에 의한 특정 유사 시나리오, 및
- 유사 시나리오에 대해 타 차량(Vi)과 관련하여 취득된 센서 데이터를
서버로 전송한다.
데이터 처리 단계(IV)는 서버에 의해 수행된다.
이 단계에서 서버는,
- V1의 잘못 해석된 시나리오에 대응하는 자기 차량(V1) 센서 데이터와,
- 유사 시나리오에 대해 타 차량(Vi)과 관련하여 취득된 센서 데이터
를 비교한다.
유사성 점수의 정의, 및 타 차량(Vi)의 기계 학습 모델이 동일하다는 사실을 감안할 때, 이전 단계에서 대다수의 상기 타 차량(Vi)에 의한 특정 유사 시나리오가 동일할 것으로 예상하는 것이 합리적이다. 이 예에서, 이것은 도 2b에 도시된 이미지에 대응한다.
서버가 자기 차량(V1)과 타 차량(Vi)이 취득한 센서 데이터를 수신하면, 서버는 타 차량(Vi)과 자기 차량(V1)으로부터 수신된 취득된 센서 데이터를 취합한다. 이는 서버의 기계 학습 모델을 사용하여 수행된다.
이것이 단계(II)에서 서버가 타 차량(Vi) 이미지 해시와 관련하여 취득된 센서 데이터를 전송할 것을 타 차량(Vi)에 요청한 이유이다. 실제, 타 차량(Vi) 데이터 해시는 코너 사례를 식별하는 데 사용되는 반면, 센서 데이터는 이미지 단독보다 환경 특징에 대한 정보를 더 많이 제공하기 때문에 코너 사례에 대한 센서 데이터는 기계 학습 모델을 점진적으로 재훈련하기 위해 취합되는 데 사용된다.
취득된 센서 데이터의 취합은 센서 데이터에 적합한 취합 기술을 사용하여 수행된다.
그런 다음 취합된 센서 데이터는 기계 학습 모델을 점진적으로 재훈련하기 위해 서버에 의해 사용된다.
단계(IV)의 끝에서, 서버는 점진적으로 재훈련된 모델을 자기 차량(V1)으로 전송한다.
점진적으로 재훈련된 기계 학습 모델을 서버에 의해 전송하는 것은 무선 업데이트(over-the-air update)를 포함하지만 이로 제한되지 않는 업데이트를 자기 차량(V1)으로 전송하기 위한 일반적인 방식으로 수행된다.
그런 다음, 자기 차량(V1)의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 처리 단계(V)에서, 자기 차량(V1)의 기계 학습 모델은 기존의 기계 학습 모델을 서버로부터 수신된 점진적으로 재훈련된 기계 학습 모델로 교체함으로써 업데이트된다.
다시 예를 들면, 자기 차량(V1)의 기계 학습 모델을 재훈련함으로써, 다시 도 2a의 풍경과 마주하면, 자기 차량(V1)의 데이터 수집 및 처리 유닛은 도 2b의 특정 시나리오에 따라 취득된 이미지를 올바르게 해석할 것이고, 이 특정 시나리오는 이제 이러한 새로운 환경 특징으로 풍부해진다.
바람직한 실시예에서, 서버에 의해 수행되는 기계 학습 모델의 재훈련은 타 차량(Vi)의 각자의 기계 학습 모델 각각을 업데이트하기 위해 복수의 타 차량(Vi)으로 전송된다.
서버에 의한 점진적으로 재훈련된 기계 학습 모델의 전송은 무선 업데이트를 포함하지만 이로 제한되지 않는 업데이트를 복수의 타 차량(Vi)에 전송하기 위한 일반적인 방식으로 수행된다.
이것은 차량(Vi) 각각이 특정 시점에 자기 차량(V1)의 역할을 할 수 있고 모든 다른 차량(Vi)이 자기 차량(V1)의 점진적으로 재훈련된 기계 학습 모델을 활용할 수 있다는 장점을 가진다.
다른 바람직한 실시예에서, 환경 특징을 검출하고 분류하는 데 사용되는 기계 학습 모델의 일례는 컨볼루션 신경망(CNN: Convolutional Neural Network)이다.
다른 바람직한 실시예에서, 이미지 인코딩 및 해싱은 시각적 단어 가방(BoW: bag-of-words)이라는 표현에 의해 수행된다. 이 기술에 따르면 시각적 정보는 원시 이미지로부터 이미지 특징을 추출함으로써 얻어진다. 이미지 특징은 이미지 내용을 대표하는 높은 판별 값을 갖는 이미지 구역에 대응한다. 그런 다음 이미지 특징은 일반적으로 구역 내의 구배 분포를 고려하여 간결한 형태로 대응하는 구역을 설명하는 특징 설명자를 사용하여 표현된다. 고전적인 접근 방식은 특징 추출 및 설명을 위해 스케일 불변 특징 변환(SIFT: Scale-invariant Feature Transformation) 및 속도 향상 강력 특징(SURF: Speed-Up Robust Feature) 기술을 사용한다.
이미지 인코딩 및 해싱에 시각적 단어 가방(BoW) 표현을 사용하면 이 기술이 실제 풍경의 객체에 대한 객체 분류를 향상시키기 때문에 유리하다.
시각적 단어 가방(BoW) 표현을 사용하는 다른 바람직한 실시예에서, 이진 기술이 사용된다. 이진 기술의 비제한적 예로는, 이미지 특징의 처리, 저장 및 전송과 관련된 계산 비용을 줄여 보다 간결한 표현을 제공하는 이진 강력 독립 요소 특징(BRIEF: Binary Robust Independent Elementary Feature) 또는 배향 및 회전된 이진 강력 독립 요소 특징(ORB: Oriented and Rotated Binary Robust Independent Elementary Feature)이다.
이진 기술을 사용하는 장점은 특징점 설명이 효율적이어서 이진 기술이 이미지 해시의 실제 풍경의 본질을 설명하는 능력을 향상시킨다는 것이다.
시각적 단어 가방 처리 기술은 일반적으로 다음 3개의 단계를 포함한다:
1. 훈련 단계: 이 단계에서는 일련의 훈련 이미지로부터 이미지 특징을 추출한다. 그런 다음 시각적으로 유사한 이미지 특징을 함께 그룹화하여 시각적 단어라고 불리는 일반화된 이미지 특징 세트를 나타내는 소위 시각적 어휘를 얻는다. 특징 그룹화는 k-평균 및 응집과 같은 클러스터링 기술을 사용하여 수행된다.
2. 해싱(인덱싱) 단계: 이것은 이미지를 간결하게 표현할 수 있게 한다. 여기에서 특징은 이미지로부터 추출된다. 그런 다음 특징은 시각적 유사성 기준을 사용하여 훈련 단계 동안 생성된 어휘의 단어와 관련된다. 결과는 이미지 해시를 나타내는 주어진 이미지에 대한 시각적 단어 발생 빈도의 히스토그램이다.
3. 시각적 유사성 계산: 두 이미지 간 시각적 유사성을 계산하기 위해 해시의 유클리드 거리 또는 코사인 유사성이 계산된다.
본 발명의 제2 양태에서, 추가 훈련 데이터에 기초하여 임의의 실시예의 단계(4)에 따라 서버에 의해 수행되는 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하기 위한 훈련 방법으로서, 추가 훈련 데이터는 자기 차량(V1)의 잘못된 시나리오 해석에 대응하는 각각의 타 차량(Vi)과 관련하여 취득된 센서 데이터인, 훈련 방법이 제시된다.
기계 학습 모델은 초기 훈련 데이터를 사용하여 본 발명의 방법을 시작하기 전에 서버에 의해 이미 훈련된다. 본 발명은 기계 학습 방법의 업데이트를 포함하여 환경 특징을 연속적이고 적응적으로 검출하는 것을 다룬다. 본 발명은 방법을 시작하기 전에 기계 학습 모델을 초기에 훈련하는 것을 다루지 않는다. 이것이 본 발명의 훈련 방법이 각각의 타 차량(Vi)으로부터 수신된 추가 훈련 데이터를 사용하는 이유이다.
본 발명의 제3 양태에서, 임의의 실시예의 방법에 따라 훈련된, 훈련된 기계 학습 모델이 제시된다.
제3 양태의 훈련된 기계 학습 모델은 기계 학습 방법의 각각의 업데이트로부터 생성되며, 이 업데이트는 임의의 실시예에서 본 발명의 방법의 결과이다.
본 발명의 제4 양태에서, 데이터 처리 시스템으로서,
- 자기 차량(V1),
- 서버,
- 복수의 타 차량(Vi), 및
- 자기 차량과 타 차량 각각을 서버에 연결하는 통신 네트워크
를 포함하는, 데이터 처리 시스템이 제시된다.
본 발명의 시스템은 방법과 관련된 절에서 전술된 임의의 실시예의 방법의 단계를 수행하도록 구성된 수단을 포함한다.
마지막으로, 본 발명의 제5 양태에서, 명령어를 저장하는 복수의 비일시적 컴퓨터 판독 가능 매체로서, 명령어는 서버, 자기 차량 및 타 차량의 하나 이상의 각자의 프로세서에 의해 실행될 때 각자의 하나 이상의 서버 프로세서로 하여금 임의의 실시예의 방법을 수행하게 하는, 복수의 비일시적 컴퓨터 판독 가능 매체가 제시된다.
본 발명의 방법이 분산 시스템에서 수행될 때, 각각의 시스템 구성요소, 즉 서버, 자기 차량(V1) 및 각각의 타 차량(Vi)은 명령어를 저장하는 각자의 비일시적 컴퓨터 판독 가능 매체를 갖고, 하나 이상의 프로세서를 갖는다. 방법의 단계에 따라, 전술한 시스템 요소 각각은 방법과 관련된 절에서 전술된 방법의 특정 단계를 수행한다.
본 발명은 산업 분야에서 차량에 ADAS 센서가 제공되고, 서버와 차량 모두에 기계 학습 모델이 제공되어 있는, 서버와 차량을 포함하는 시스템이 있을 때마다, 그리고 점진적으로 재훈련된 모델을 모든 차량으로 전송하는 것이 필요할 때마다 사용된다.
하나의 특정 용도는 차량이 도로 차량인 자동차 산업이다. 도로 차량 중 하나가 직면하는 코너 사례는 기계 학습 모델을 점진적으로 재훈련하는 것을 시작하고 나서 이 기계 학습 모델은 모든 차량으로 전송된다.
다른 특정 용도는 차량이 ADAS 센서가 각각 장착된 크레인, 토목 장비, 트랙터 등인 건설 산업 분야에서 사용된다. 크레인, 토공 장비, 트랙터 등 중 하나가 직면하는 코너 사례는 기계 학습 모델을 점진적으로 재훈련하는 것을 시작하고 나서 이 기계 학습 모델은 모든 차량으로 전송된다.
또 다른 특정 용도는 차량이 ADAS 센서가 장착된 로봇인 로봇 공학 분야이다. 로봇 중 하나가 직면하는 코너 사례는 기계 학습 모델을 점진적으로 재훈련하는 것을 시작하고 나서 이 기계 학습 모델은 모든 차량으로 전송된다.
위에 설명된 특정 용도의 세 가지 비제한적인 예 간의 유일한 차이점은 실제 풍경의 내용과, 이에 상응하는 시나리오의 내용에서 비롯된다. 그러나, 내용 자체는 본 발명의 대상이 아니다.
본 발명의 특정 실시예가 상세하게 설명되었지만, 본 발명과 관련된 기술 분야의 당업자라면 다음 청구범위에 의해 한정된 본 발명을 실시하기 위한 다양한 대안적 설계 및 실시예를 인식할 수 있을 것이다.
Claims (9)
- 자기 차량(V1)의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법으로서,
상기 자기 차량(V1)은 서버에 연결되고, 상기 서버는 복수의 타 차량(Vi)(i=2, ... n)에 연결되고, 상기 자기 차량(V1), 상기 타 차량(Vi) 및 상기 서버는 기계 학습 모델을 제공받고,
상기 방법은,
상기 자기 차량(V1)의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 수집 단계(I)로서,
- 상기 자기 차량(V1)의 ADAS 센서에 의해 자기 차량(V1)의 주변으로부터 상기 환경 특징과 관련된 센서 데이터를 취득하고;
- 상기 기계 학습 모델에 기초하여 상기 센서 데이터를 해석하여 특정 시나리오 해석을 생성하고,
- 상기 특정 시나리오 해석에 따라 관련된 명령어를 상기 자기 차량(V1)의 실행 전자 제어 유닛에 전송하고,
- 상기 특정 시나리오 해석이 잘못되어 잘못 해석된 시나리오를 초래하는 경우 상기 실행 전자 제어 유닛으로부터 피드백을 수신하고,
- 잘못된 특정 시나리오 해석에 대응하는 취득된 센서 데이터로부터 카메라 이미지를 추출하고,
- 특정 잘못 해석된 시나리오에 대응하는 카메라 이미지를 인코딩 및 해싱하고 자기 차량(V1) 이미지 해시를 획득하고;
- 상기 취득된 센서 데이터 및 상기 차량(Vi)에 의한 특정 유사 시나리오를 상기 타 차량(Vi)에 의해 식별하라는 요청과 함께 상기 특정 잘못 해석된 시나리오에 대응하는 자기 차량(V1) 이미지 해시를 상기 서버로 전송하는, 데이터 수집 단계(I);
상기 서버에 의해 수행되는 데이터 처리 단계(II)로서,
- 상기 자기 차량(V1)에 의한 잘못된 특정 시나리오 해석에 대응하는 환경 특징의 특정 조합을 식별하고,
- 상기 복수의 타 차량(Vi) 각각이,
- 상기 자기 차량(V1)으로부터 수신된 데이터 이미지 해시에 따른 상기 차량(Vi)에 의한 특정 유사 시나리오, 및
- 유사 시나리오에서 상기 타 차량(Vi)에 대해 타 차량(Vi)과 관련하여 취득된 센서 데이터를
상기 서버에 전달하라는 서버 요청과 함께 상기 자기 차량(V1) 이미지 해시를 상기 복수의 타 차량(Vi)으로 방송하는, 데이터 처리 단계(II);
상기 타 차량(Vi)의 각자의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 처리 단계(III)로서,
- 상기 서버로부터 방송되는 자기 차량(V1) 이미지 해시와 서버 요청을 수신하고;
- 상기 서버 요청에 따라 상기 타 차량(Vi) 각각의 ADAS 센서에 의해 상기 각각의 타 차량(Vi)의 주변으로부터 센서 데이터를 취득하고,
- 취득된 센서 데이터로부터 타 차량(Vi) 카메라 이미지를 추출, 인코딩 및 해싱하고, 각각의 타 차량(Vi) 이미지 해시를 획득하는 것을 포함하여 상기 타 차량(Vi)에 의해 상기 취득된 센서 데이터를 처리하고,
- 주어진 임계값을 초과하는 유사성 점수에 의해 상기 자기 차량(V1)과 각각의 타 차량(Vi)으로부터 수신된 이미지 해시 간의 유사성을 비교하고, 높은 유사성 점수는 구조 및 내용 면에서 유사한 이미지에 대응하는 것을 의미하며,
- 상기 유사성 점수에 기초하여,
- 상기 유사성 점수가 상기 주어진 임계값을 초과하는 이미지 해시에 대응하는 상기 차량(Vi)에 의해 취득된 센서 데이터와 특정 유사 시나리오를 검색하고,
- 상기 서버에 다음 사항, 즉
- 상기 자기 차량(V1)으로부터 수신된 데이터 이미지 해시에 따른 상기 차량(Vi)에 의한 특정 유사 시나리오, 및
- 유사 시나리오에서 상기 타 차량(Vi)에 대해 타 차량(Vi)과 관련하여 취득된 센서 데이터
를 전송하는, 데이터 처리 단계(III);
상기 서버에 의해 수행되는 데이터 처리 단계(IV)로서,
- 다음 사항, 즉
- 잘못 해석된 특정 시나리오에 대응하는 자기 차량(V1) 센서 데이터와,
- 상기 유사 시나리오에 대해 상기 타 차량(Vi)과 관련하여 취득된 센서 데이터
를 비교하고,
- 상기 자기 차량(V1)과 상기 타 차량(Vi)으로부터 수신된 취득된 센서 데이터를 취합하고, 취합된 센서 데이터를 사용하여 상기 기계 학습 모델을 점진적으로 재훈련하고,
- 점진적으로 재훈련된 모델을 상기 자기 차량(V1)에 전송하는, 데이터 처리 단계(IV);
상기 자기 차량(V1)의 데이터 수집 및 처리 유닛에 의해 수행되는 데이터 처리 단계(V)로서,
- 기존의 기계 학습 모델을 상기 서버로부터 수신된 점진적으로 재훈련된 기계 학습 모델로 대체하여 상기 자기 차량(V1)의 기계 학습 모델을 업데이트하는, 데이터 처리 단계(V)
를 포함하는, 방법. - 제1항에 있어서, 상기 점진적으로 재훈련된 기계 학습 모델은 상기 타 차량(Vi)의 기계 학습 모델을 업데이트하기 위해 상기 서버에 의해 상기 복수의 타 차량(Vi)으로 전송되는, 방법.
- 제1항 또는 제2항에 있어서, 상기 기계 학습은 컨볼루션 신경망인, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 이미지 인코딩 및 해싱은 시각적 단어 가방(BoW: Bag-of-Words) 기술에 의해 수행되는, 방법.
- 제4항에 있어서, 바람직한 시각적 단어 가방 기술은 이진 강력 독립 요소 특징(BRIEF: Binary Robust Independent Elementary Feature) 또는 배향 및 회전 이진 강력 독립 요소 특징(ORB: Oriented and Rotated Binary Robust Independent Elementary Feature)과 같은 이진 기술인, 방법.
- 추가 훈련 데이터에 기초하여 제1항 내지 제5항 중 어느 한 항에 따른 단계(4)에 따라 서버에 의해 수행되는 자기 차량(V1)의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 훈련 방법으로서, 상기 추가 훈련 데이터는 자기 차량(V1)의 잘못된 시나리오 해석에 대응하는 각각의 타 차량(Vi)과 관련하여 취득된 센서 데이터인, 훈련 방법.
- 제1항 내지 제5항 중 어느 한 항의 방법에 따라 훈련된, 훈련된 기계 학습 모델.
- 데이터 처리 시스템으로서,
- 자기 차량(V1),
- 서버,
- 복수의 타 차량(Vi)(여기서, i=2, ... n), 및
- 상기 자기 차량(V1)과 타 차량(Vi) 각각을 상기 서버에 연결하는 통신 네트워크
를 포함하고,
상기 시스템은 제1항 내지 제5항 중 어느 한 항의 방법의 단계를 수행하도록 구성된 수단을 포함하는,
데이터 처리 시스템. - 명령어를 저장하는 복수의 비일시적 컴퓨터 판독 가능 매체로서, 상기 명령어는 서버, 자기 차량(V1) 및 타 차량(Vi)의 하나 이상의 각자의 프로세서에 의해 실행될 때 각자의 하나 이상의 서버 프로세서로 하여금 제1항 내지 제5항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독 가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20465562.5 | 2020-09-23 | ||
| EP20465562 | 2020-09-23 | ||
| PCT/EP2021/075936 WO2022063774A1 (en) | 2020-09-23 | 2021-09-21 | A continuously, adaptive detection computer-implemented method of environment features in autonomous and assisted driving of an ego-vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230048434A true KR20230048434A (ko) | 2023-04-11 |
Family
ID=73005550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237009084A KR20230048434A (ko) | 2020-09-23 | 2021-09-21 | 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230368506A1 (ko) |
| EP (1) | EP4217917A1 (ko) |
| JP (1) | JP2023541967A (ko) |
| KR (1) | KR20230048434A (ko) |
| CN (1) | CN116420175A (ko) |
| WO (1) | WO2022063774A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114722975B (zh) * | 2022-06-08 | 2022-08-30 | 山东大学 | 基于模糊理论和大数据分析的驾驶意图识别方法及系统 |
| WO2024065605A1 (en) * | 2022-09-30 | 2024-04-04 | Orange | Method for sharing data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10740658B2 (en) * | 2016-09-08 | 2020-08-11 | Mentor Graphics Corporation | Object recognition and classification using multiple sensor modalities |
| JP6946812B2 (ja) * | 2017-07-20 | 2021-10-06 | 株式会社デンソー | 学習サーバ及び支援システム |
| US11254325B2 (en) * | 2018-07-14 | 2022-02-22 | Moove.Ai | Vehicle-data analytics |
| US10755575B2 (en) * | 2018-08-30 | 2020-08-25 | Cisco Technology, Inc. | Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety |
-
2021
- 2021-09-21 CN CN202180064071.6A patent/CN116420175A/zh active Pending
- 2021-09-21 JP JP2023517795A patent/JP2023541967A/ja active Pending
- 2021-09-21 WO PCT/EP2021/075936 patent/WO2022063774A1/en unknown
- 2021-09-21 KR KR1020237009084A patent/KR20230048434A/ko active Search and Examination
- 2021-09-21 US US18/246,504 patent/US20230368506A1/en active Pending
- 2021-09-21 EP EP21783423.3A patent/EP4217917A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230368506A1 (en) | 2023-11-16 |
| EP4217917A1 (en) | 2023-08-02 |
| WO2022063774A1 (en) | 2022-03-31 |
| JP2023541967A (ja) | 2023-10-04 |
| CN116420175A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fujiyoshi et al. | Deep learning-based image recognition for autonomous driving | |
| KR102447352B1 (ko) | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 | |
| KR102565278B1 (ko) | 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법 | |
| Xiao et al. | CRF based road detection with multi-sensor fusion | |
| US20200160699A1 (en) | Multiple exposure event determination | |
| US8620026B2 (en) | Video-based detection of multiple object types under varying poses | |
| KR20230048434A (ko) | 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법 | |
| CN111583716B (zh) | 一种车辆避障方法、装置、电子设备及存储介质 | |
| CN111767831B (zh) | 用于处理图像的方法、装置、设备及存储介质 | |
| WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
| US20190392270A1 (en) | Image analysis device, image analysis method, and computer program product | |
| EP4035063A1 (en) | System and method of perception error evaluation and correction by solving optimization problems under the probabilistic signal temporal logic based constraints | |
| US20230070439A1 (en) | Managing occlusion in siamese tracking using structured dropouts | |
| Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
| CN111210411A (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
| Qiao et al. | Driving accident detection by self-supervised adversarial appearance-motion prediction in first-person videos | |
| CN112180913A (zh) | 特种车辆识别方法 | |
| Moorthy et al. | Real time image and video semantic segmentation for self-driving cars | |
| Alonso et al. | Footprint-based classification of road moving objects using occupancy grids | |
| Roncancio et al. | Ceiling analysis of pedestrian recognition pipeline for an autonomous car application | |
| CN113837270B (zh) | 一种目标识别方法、装置、设备及存储介质 | |
| US20230410533A1 (en) | Method, processor circuit and computer-readable storage medium for pedestrian detection by a processor circuit of a motor vehicle | |
| US11854252B1 (en) | Automated probabilistic axiom generation and incremental updates | |
| Wang et al. | Research of lane detection method based on attention mechanism | |
| Afifi et al. | Improved LiDAR Odometry and Mapping using Deep Semantic Segmentation and Novel Outliers Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |