KR20210122802A - 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 - Google Patents
시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 Download PDFInfo
- Publication number
- KR20210122802A KR20210122802A KR1020217026370A KR20217026370A KR20210122802A KR 20210122802 A KR20210122802 A KR 20210122802A KR 1020217026370 A KR1020217026370 A KR 1020217026370A KR 20217026370 A KR20217026370 A KR 20217026370A KR 20210122802 A KR20210122802 A KR 20210122802A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- time series
- data
- series elements
- lane
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 3
- 238000013135 deep learning Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 29
- 238000013473 artificial intelligence Methods 0.000 description 20
- 238000007781 pre-processing Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010200 validation analysis Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 240000004752 Laburnum anagyroides Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000004557 technical material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G06K9/00798—
-
- G06K9/6255—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Environmental & Geological Engineering (AREA)
- Toxicology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
시계열 요소들 그룹을 포함하는 센서 데이터가 수신된다. 트레이닝 데이터 세트는 시계열 요소들 그룹 내 적어도 하나의 선택된 시계열 요소에 대응하는 그라운드 트루스를 결정하는 것을 포함하여 결정된다. 대응하는 그라운드 트루스는 시계열 요소들 그룹 내 복수의 시계열 요소들을 기초로 한다. 프로세서는 트레이닝 데이터를 사용하여 머신 러닝 모델을 훈련하는데 사용된다.
Description
본 출원은, 2019년 2월 1일에 출원되고 발명의 명칭이 "시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성(GENERATING GROUND TRUTH FOR MACHINE LEARNING FROM TIME SERIES ELEMENTS)"인 미국특허출원 제16/265,729호를 우선권주장하고, 이것의 계속출원이며, 상기 미국특허출원의 개시는, 전체적으로 본 출원에 참조로서 포함된다.
자율 주행(autonomous driving)과 같은 어플리케이션(application)에 사용되는 딥 러닝 시스템(deep learning system)은 머신 러닝 모델(machine learning model)을 훈련함으로써 개발된다. 일반적으로, 딥 러닝 시스템의 성능은 모델을 훈련하는데 사용되는 트레이닝 세트(training set)의 품질에 의해 적어도 부분적으로 제한된다. 여러 경우에서, 상당한 리소스(resource)가 트레이닝 데이터(training data)를 수집(collecting), 큐레이팅(curating) 및 주석 처리(annotating)하는데 투자(invest)된다. 전통적으로, 트레이닝 데이터 세트(training data set)를 큐레이트(curate)하기 위하여, 잠재적 트레이닝 데이터를 검토(reviewing)하고 데이터와 관련된 기능에 적절하게 레이블링(labeling)함으로써, 많은 노력들이 수동으로 수행된다. 정확한 레이블(label)이 있는 트레이닝 세트를 만드는데 요구되는 노력은 상당하고 종종 지루할 수 있다. 더욱이, 머신 러닝 모델을 개선하기 위해 필요한 데이터를 수집하고 정확하게 레이블을 지정하는 것이 종종 어려울 수 있다. 따라서, 정확한 레이블된 특징을 갖는 트레이닝 데이터를 생성하기 위한 프로세스(process)를 개선할 필요가 존재한다.
고도로 정확한 머신 러닝(machine learning) 결과를 생성하기 위한 머신 러닝 트레이닝 기술(machine learning training technique)이 개시(disclose)된다. 차량의 환경(environment of vehicle) 및 차량 작동 매개변수(vehicle operating parameter)를 캡처(capture)하기 위해 차량의 센서(sensor)에 의해 캡처된 데이터를 사용하여, 트레이닝 데이터 세트(training data set)가 생성(create)된다. 예를 들어, 차량에 부착된 센서는 차량이 주행중인 도로 및 주변 환경의 이미지 데이터와 같은 데이터를 캡처한다. 센서 데이터는 차량 차선 경계선(vehicle lane line), 차량 차선(vehicle lane), 다른 차량 교통(other vehicle traffic), 장애물(obstacles), 교통 통제 표지판(traffic control signs) 등을 캡처할 수 있다. 주행 거리 측정(odometry) 및 다른 비슷한 센서는 차량 속도(vehicle speed), 조종(steering), 방향(orientation), 방향(direction) 변경, 위치(location) 변경, 고도(elevation) 변경, 속도(speed) 변경 등과 같은 차량 작동 매개변수를 캡처한다. 캡처된 데이터 세트는 트레이닝 데이터 세트를 생성하기 위해 트레이닝 서버(training server)에 전송된다. 트레이닝 데이터 세트는 고도로 정확한 머신 러닝 결과 생성을 위한 머신 러닝 모델을 훈련하기 위해 사용된다. 일부 실시예에서, 캡처된 데이터의 시계열은 트레이닝 데이터를 생성하기위해 사용된다. 예를 들어, 그라운드 트루스(ground truth)는 시계열 요소들 그룹(group of time series elements)에 기초하여 결정되고 그룹의 단일 요소와 연결(associate)된다. 일례로, 30초와 같은 일정 기간 동안의 일련의 이미지는, 차량이 이동(travel)하는 기간에 걸쳐서 차량 차선 경계선(vehicle lane line)의 실제 경로를 결정하는데 사용된다. 차량 차선 경계선은 일정 기간 동안 가장 정확한 차량 차선 이미지를 사용하여 결정된다. 차선 경계선의 다른 부분(different portions)(또는 위치)은 시계열의 다른 이미지 데이터에서 식별될 수 있다. 차량이 차선 경계선을 따라 차선을 이동할 때, 차선 경계선의 다른 부분에 대한 더 정확한 데이터가 캡처된다. 일부 예에서, 차선 경계선의 가려진(occluded) 부분은, 예를 들어 차량이 숨겨진 곡선 또는 언덕의 능선을 따라 이동할 때 드러난다. 시계열의 각 이미지로부터 차선 경계선의 가장 정확한 부분은 이미지 데이터의 전체 그룹에 대한 차선 경계선을 식별하는데 사용될 수 있다. 거리(distance)에 있는 차선 경계선의 이미지 데이터(image data)는 일반적으로 차량 근처 차선 경계선의 이미지 데이터보다 덜 상세하다. 차량이 차선을 따라 이동할 때 이미지 데이터의 시계열을 캡처함으로써, 해당 차선의 모든 부분에 대한 정확한 이미지 데이터와 해당 주행 거리 측정 데이터(odometry data)가 수집(collect)된다.
본 발명의 다양한 실시예가 다음의 상세한 설명 및 첨부 도면에 개시되어 있다.
도 1은 자율 주행을 위한 딥 러닝 시스템의 실시예를 도시한 블록도이다.
도 2는 자율 주행을 위한 머신 러닝 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시한 흐름도이다.
도 3은 요소들의 시계열을 사용하여 트레이닝 데이터를 생성하기 위한 프로세스의 실시예를 도시한 흐름도이다.
도 4는 자율 주행을 위한 머신 러닝 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시한 흐름도이다.
도 5는 차량 센서로부터 캡처된 이미지의 일 예를 나타내는 도면이다.
도 6은 차선의 3차원 궤적을 예측하여 차량 센서로부터 캡처된 이미지의 일 예를 나태나는 도면이다.
도 1은 자율 주행을 위한 딥 러닝 시스템의 실시예를 도시한 블록도이다.
도 2는 자율 주행을 위한 머신 러닝 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시한 흐름도이다.
도 3은 요소들의 시계열을 사용하여 트레이닝 데이터를 생성하기 위한 프로세스의 실시예를 도시한 흐름도이다.
도 4는 자율 주행을 위한 머신 러닝 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시한 흐름도이다.
도 5는 차량 센서로부터 캡처된 이미지의 일 예를 나타내는 도면이다.
도 6은 차선의 3차원 궤적을 예측하여 차량 센서로부터 캡처된 이미지의 일 예를 나태나는 도면이다.
본 발명은, 프로세스에 연결된 메모리(memory)에 의하여 저장 및/또는 제공되는 명령어(instructions)를 실행(execute)하도록 구성(configure)된 프로세서와 같은 프로세서(processor), 프로세스(process), 장치(apparatus), 시스템(system), 물질의 구성(composition of matter), 및/또는 컴퓨터 판독가능 저장 매체(computer readable storage medium)에 구현된(embodied) 컴퓨터 프로그램 제품을 포함하는 다양한 방법으로 구현될 수 있다. 본 명세서에서, 이러한 구현, 또는 본 발명이 취할 수 있는 임의의 다른 형태는, 기술로 지칭될 수 있다. 일반적으로, 개시된 프로세스(process)의 단계의 순서는 본 발명의 범위 내에서 변경(alter)될 수 있다. 특별한 언급이 없는 한, 작업을 수행하도록 구성된 것으로 설명된 프로세서나 메모리와 같은 구성요소는 주어진 시간에 작업을 수행하도록 임시로 구성된 일반 구성요소 또는 작업을 수행하도록 제조된 특정 구성요소로 구현될 수 있다. 본 명세서에 사용된 바와 같이. 용어 '프로세서'는 하나 이상의 장치(devices), 회로(circuits), 및/또는 컴퓨터 프로그램 명령어와 같은 데이터를 처리하도록 구성된 처리 코어(processing core)를 지칭(refer)한다.
본 발명의 하나 이상의 실시예에 대한 상세한 설명이 본 발명의 원리를 예시하는 첨부 도면과 함께 아래에 제공된다. 본 발명은 이러한 실시예와 관련하여 설명되지만, 본 발명은 임의의 실시예에 제한되지 않는다. 본 발명의 범위는 청구범위에 의해서만 제한되고 본 발명은 수많은 대안, 수정 및 등가물을 포함한다. 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 설명에 기재되어 있다. 이러한 세부사항은 예시의 목적으로 제공되며 본 발명은 이러한 특정 세부사항의 일부 또는 전부 없이 청구범위에 따라 실시될 수 있다. 명확성을 기하기 위해, 본 발명과 관련된 기술 분야에서 알려진 기술 자료는 본 발명이 불필요하게 모호하게 되는 일이 없도록 상세히 설명하지 않았다.
고도로 정확한 머신 러닝(machine learning) 결과를 생성하기 위한 머신 러닝 트레이닝 기술(machine learning training technique)이 개시(disclose)된다. 차량의 환경(environment of vehicle) 및 차량 작동 매개변수(vehicle operating parameter)를 캡처(capture)하기 위해 차량의 센서(sensor)에 의해 캡처된 데이터를 사용하여, 트레이닝 데이터 세트(training data set)가 생성(create)된다. 예를 들어, 차량에 부착된 센서는 차량이 주행중인 도로 및 주변 환경의 이미지 데이터와 같은 데이터를 캡처한다. 센서 데이터는 차량 차선 경계선(vehicle lane line), 차량 차선(vehicle lane), 다른 차량 교통(other vehicle traffic), 장애물(obstacles), 교통 통제 표지판(traffic control signs) 등을 캡처할 수 있다. 주행 거리 측정(odometry) 및 다른 비슷한 센서는 차량 속도(vehicle speed), 조종(steering), 방향(orientation), 방향(direction) 변경, 위치(location) 변경, 고도(elevation) 변경, 속도(speed) 변경 등과 같은 차량 작동 매개변수를 캡처한다. 캡처된 데이터 세트는 트레이닝 데이터 세트를 생성하기 위해 트레이닝 서버(training server)에 전송된다. 트레이닝 데이터 세트는 고도로 정확한 머신 러닝 결과 생성을 위한 머신 러닝 모델을 훈련하기 위해 사용된다. 일부 실시예에서, 캡처된 데이터의 시계열은 트레이닝 데이터를 생성하기위해 사용된다. 예를 들어, 그라운드 트루스(ground truth)는 시계열 요소들 그룹(group of time series elements)에 기초하여 결정되고 그룹의 단일 요소와 연결(associate)된다. 일례로, 30초와 같은 일정 기간 동안의 일련의 이미지는, 차량이 이동(travel)하는 기간에 걸쳐서 차량 차선 경계선(vehicle lane line)의 실제 경로를 결정하는데 사용된다. 차량 차선 경계선은 일정 기간 동안 가장 정확한 차량 차선 이미지를 사용하여 결정된다. 차선 경계선의 다른 부분(different portions)(또는 위치)은 시계열의 다른 이미지 데이터에서 식별될 수 있다. 차량이 차선 경계선을 따라 차선을 이동할 때, 차선 경계선의 다른 부분에 대한 더 정확한 데이터가 캡처된다. 일부 예에서, 차선 경계선의 가려진(occluded) 부분은, 예를 들어 차량이 숨겨진 곡선 또는 언덕의 능선을 따라 이동할 때 드러난다. 시계열의 각 이미지로부터 차선 경계선의 가장 정확한 부분은 이미지 데이터의 전체 그룹에 대한 차선 경계선을 식별하는데 사용될 수 있다. 거리(distance)에 있는 차선 경계선의 이미지 데이터(image data)는 일반적으로 차량 근처 차선 경계선의 이미지 데이터보다 덜 상세하다. 차량이 차선을 따라 이동할 때 이미지 데이터의 시계열을 캡처함으로써, 해당 차선의 모든 부분에 대한 정확한 이미지 데이터와 해당 주행 거리 측정 데이터(odometry data)가 수집(collect)된다.
일부 실시예에서, 차선 경계선과 같은 특징의 3차원 표현(three-dimensional representation)은, 그라운드 트루스(ground truth)에 대응하는 시계열 요소들 그룹으로부터 생성된다. 그런 다음 이 그라운드 트루스는, 캡처된 이미지 데이터 그룹의 단일 이미지 프레임과 같은 시계열 요소들(time series elements)의 부분집합(subset)과 연관(associate)된다. 예를 들어, 이미지 그룹의 첫번째 이미지(first image)는 3차원 공간에서 표현되는 차선 경계선에 대한 그라운드 트루스와 연관(associate)된다. 그라운드 트루스가 이미지 그룹에 기초하여 결정되지만, 선택된 첫번째 프레임과 그라운드 트루스는 트레이닝 데이터를 생성하는데 사용된다. 예를 들어, 단일 이미지만을 사용하여 차량 차선의 3차원 표현을 예측하기 위해 트레이닝 데이터가 생성된다. 일부 실시예들에서, 시계열 요소들 그룹에 속하는 요소들의 그룹 또는 임의의 요소는 그라운드 트루스와 연관되고, 트레이닝 데이터를 생성하기 위해 사용된다. 예를 들어, 트레이닝 데이터 생성을 위해 전체 비디오 시퀀스(sequence)에 그라운드 트루스가 적용될 수 있다. 다른 실시예로, 시계열 요소들 그룹의 중간 요소 또는 마지막 요소는 그라운드 트루스와 연관되고 트레이닝 데이터를 생성하는데 사용된다.
다양한 실시예에서, 선택된 이미지 및 그라운드 트루스는 차선 경계선(lane line), 이웃 차량(neighboring vehicle)을 포함하는 차량에 대한 경로 예측, 물체의 깊이 거리(depth distances of objects), 교통 통제 표지판(traffic control sign) 등과 같은 다른 특징에 적용될 수 있다. 예를 들어, 인접 차선에 있는 차량의 일련의 이미지는 해당 차량의 경로를 예측하기 위해 사용된다. 이미지의 시계열과 인접 차량에 의해 취해(take)진 실제 경로를 사용하여, 차량의 경로를 예측하기 위해 그룹의 단일 이미지와 취해진 실제 경로는 트레이닝 데이터로 사용될 수 있다. 이 정보는 인접 차량이 자율 주행 차량(autonomous vehicle)의 경로에 끼어들 것(cut into)인지 여부를 예측하는데 사용될 수 있다. 예를 들어, 경로 예측은 인접 차량이 자율 주행 차량 앞에서 합류(merge)할 것인지 여부를 예측할 수 있다. 자율 주행 차량은 충돌 가능성을 최소화하기 위해 제어(control)될 수 있다. 예를 들어, 자율 주행 차량은 충돌(collision)을 막기위해 속도를 줄이고, 충돌을 막기위해 차량의 속도(speed) 및/또는 조종(steering)을 조정하고, 자율 주행 차량의 인접 차량(adjacent vehicle) 및/또는 탑승자(occupants)에게 경고를 시작(initiate)하고, 및/또는 차선을 변경(change)하는 등을 할 수 있다. 다양한 실시예에서, 차량 경로 예측을 포함하는 경로 예측을 정확하게 추론하는 능력은 자율 주행 차량의 안전성을 상당히 개선(improve)시킨다.
일부 실시예에서, 훈련된 머신 러닝 모델(machine learning model)은 차선 경계선을 포함하는 자율 주행을 위한 하나 이상의 특징의 3차원 표현을 예측하기위해 사용될 수 있다. 예를 들어, 차선 경계선의 이미지 분할(segmenting)에 의한 이미지 데이터에서 2차원 차선 경계선을 식별(identify)하는 대신, 요소들의 시계열과 시계열에 해당하는 주행 거리 측정 데이터를 사용하여 3차원 표현이 생성(generate)된다. 3차원 표현은 고도(elevation)의 변화를 포함하는데, 이는, 차선 경계선 감지의 정확성과 해당 차선 감지 및 식별된 주행가능 경로의 정확도를 대단히 향상시킨다. 일부 실시예에서, 차선 경계선은 하나 이상의 스플라인(spline) 또는 다른 매개변수화(parameterized)된 표현의 형태를 사용하여 표현(represent)된다. 차선 경계선을 표현하기 위한 구분적 다항식(piecewise polynomial)의 사용은 3차원 물체를 평가하는데 필요한 전산 리소스(computational resource)를 대단히 감소(reduce)시킨다. 이러한 전산 리소스 감소는 표현의 정확성을 크게 희생(sacrifice)하지 않으면서 처리 속도와 효율성의 개선에 대응(correspond)한다. 다양한 실시예에서, 특히 차선 경계선의 곡선을 포함하는, 차선 경계선은 구분적 다항식, 3차원 포인트의 세트(set of three-dimensional point), 또는 다른 적절한 표현을 사용하여 표현될 수 있다. 예를 들어, 구분적 다항식은 센서 데이터(sensor data)를 사용하여 시간이 지남에 따라 캡처된 요소들의 그룹에서 식별된 매우 정확한 차선 경계선의 섹션(section)을 사용하여 실제 차선 경계선을 보간한다(interpolate).
일부 실시예에서, 센서 데이터가 수신된다. 센서 데이터는 이미지(비디오 및/또는 스틸 이미지(still image)와 같은), 레이더(radar), 오디오(audio), 라이더(lidar), 관성(inertia), 주행 거리 측정(odometry), 위치(location), 및/또는 다른 형태의 센서 데이터를 포함할 수 있다. 센서 데이터는 시계열 요소들 그룹을 포함한다. 예를 들어, 시계열 요소들 그룹은 일정 기간동안 차량의 센서 카메라로부터 캡처된 이미지의 그룹을 포함할 수 있다. 일부 실시예에서, 트레이닝 데이터세트(training dataset)는 시계열 요소들 그룹 내 복수의 시계열 요소들에 기초하여 시계열 요소들 그룹 내 적어도 하나의 선택된 시계열 요소에 대응하는 그라운드 트루스(ground truth)를 결정하는 것을 포함하여 결정된다. 예를 들어, 그라운드 트루스는 그룹의 이전 및/또는 후속 시계열 요소들을 포함하는 시계열 요소들 그룹의 각 요소의 가장 관련성이 높은 부분을 조사하여(examine) 결정된다. 일부 시나리오(scenario)에서, 이전 및/또는 후속 시계열 요소들만이, 처음에는 곡선 주변에서 사라지고 시계열의 나중 요소들(later elements)에만 나타나는 차량 차선 경계선과 같은, 앞선 시계열 요소들(earlier times series elements)에 없는 데이터를 포함한다. 결정된 그라운드 트루스는 차량 차선 경계선의 3차원 표현, 차량에 대한 예측된 경로, 또는 다른 유사한 예측일 수 있다. 시계열 요소들 그룹의 요소는 선택되어지고 그라운드 트루스와 연관되어진다. 선택된 요소와 그라운드 트루스는 트레이닝 데이터세트의 일부이다. 일부 실시예에서, 프로세서는 트레이닝 데이터세트를 사용하여 머신 러닝 모델을 훈련하기 위해 사용된다. 예를 들어, 트레이닝 데이터세트는 차량의 자율 주행(self-driving) 또는 운전자 보조 작동(driver-assisted operation)에 사용되는 특징(features)을 추론(infer)하기 위한 머신 러닝 모델을 훈련하는 데 사용된다. 훈련된 머신 러닝 모델을 사용하여, 신경망(neural network)은 차량 차선, 주행가능 공간(drivable space), 물체(예: 보행자(pedestrians), 정지 차량(stationary vehicles), 이동 차량(moving vehicles) 등), 기상(예: 비. 우박, 안개 등), 교통 통제 물체(예: 신호등(traffic lights), 교통 표지판(traffic signs), 거리 표지판(street signs) 등), 교통 패턴(traffic pattern) 등과 같은 자율 주행과 관련된 특징(features)을 추론할 수 있다.
일부 실시예에서, 시스템은 프로세서 및 프로세서에 결합된(coupled) 메모리를 포함한다. 프로세서는 차량의 카메라에 의하여 캡처된 이미지에 기초한 이미지 데이터를 수신(receive)하기위해 구성(configure)된다. 예를 들어, 차량에 부착된 카메라 센서는 차량 환경(vehicle's environment)의 이미지(image)를 캡처한다. 카메라는 전방 카메라(forward facing camera), 기둥 카메라(pillar camera), 또는 다른 적절히 위치된 카메라일 수 있다. 카메라에서 캡처된 이미지 데이터는 차량의 GPU 또는 AI 프로세서와 같은 프로세서를 사용하여 처리(process)된다. 일부 실시예에서, 이미지 데이터는 차량 차선의 3차원 궤적(three-dimensional trajectory)을 예측하기 위해 훈련된, 훈련된 머신 러닝 모델(trained machine learning model)에 대한 입력의 기초로 사용된다. 예를 들어, 이미지 데이터는 차량 차선을 예측(predict)하도록 훈련된 신경망에 대한 입력으로 사용된다. 머신 러닝 모델은 감지된 차선에 대한 3차원 궤적을 추론한다. 이미지를 2차원(two-dimensional) 이미지의 차선(lane)과 비차선 세그먼트 (non-lane segment)로 분할(segmenting)하는 대신, 3차원 표현이 추론된다. 일부 실시예에서, 3차원 표현은 스플라인(spline), 파라메트릭 곡선(parametric curve), 또는 3차원으로 곡선을 설명할 수 있는 다른 표현이다. 일부 실시예에서, 차량 차선의 3차원 궤적은 차량을 자동으로 제어할 때 제공(provide)된다. 예를 들어, 3차원 궤적은 차선 경계선을 결정하고 해당하는 주행가능한 공간을 결정하는데 사용된다.
도 1은 자율 주행을 위한 딥 러닝 시스템(deep learning system)의 실시예를 도시하는 블록도이다. 딥 러닝 시스템은 자율 주행(autonomous driving)을 위한 머신 러닝 모델 훈련을 위한 데이터 수집 및 처리뿐만 아니라 차량의 자율 주행(self-driving) 및/또는 운전자 보조 작동(driver-assisted operation)을 위해 함께 사용될 수 있는 다른 구성요소를 포함한다. 다양한 실시예에서, 딥러닝 시스템은 차량에 설치(install)된다. 차량의 데이터는 차량 또는 다른 유사한 차량의 자율 주행 특징을 훈련하고 개선하는데 사용될 수 있다.
도시된 예에서, 딥 러닝 시스템(100)은 센서(sensors)(101), 이미지 전처리 프로세서(image pre-processor)(103), 딥 러닝 네트워크(deep learning network)(105), 인공 지능(artificial intelligence(AI)) 프로세서(107), 차량 제어 모듈(vehicle control module)(109), 및 네트워크 인터페이스(network interface)(111)을 포함하는 딥 러닝 네트워크(deep learning network)이다. 다양한 실시예에서, 상이한 구성요소들이 통신 가능하게(communicatively) 연결된다. 예를 들어, 센서(101)의 센서 데이터는 이미지 전처리 프로세서(103)에 공급(feed)된다. 이미지 전처리 프로세서(103)의 처리된 센서 데이터는 AI 프로세서(107)에서 구동되는 딥 러닝 네트워크(105)에 공급된다. AI 프로세서(107)에서 구동되는 딥 러닝 네트워크(105)의 출력은 차량 제어 모듈(109)에 공급된다. 다양한 실시예에서, 차량 제어 모듈(109)은 차량에 연결되고, 차량의 속도, 제동, 및/또는 조종 등과 같은 차량의 작동을 제어한다. 다양한 실시예에서, 센서 데이터 및/또는 머신 러닝 결과는 네트워크 인터페이스(111)를 통해 원격 서버(remote server)로 전송(send)될 수 있다. 예를 들어, 센서 데이터는 성능(performance), 편안함(comfort), 및/또는 차량의 안전(safety)을 개선하기 위하여 트레이닝 데이터를 수집할 수 있도록 네트워크 인터페이스(111)를 통해 원격 서버로 전송(transmit)될 수 있다. 다양한 실시예에서, 네트워크 인터페이스(111)는 여러 이유 중에서도 원격 서버와 통신하고(communicate), 전화를 걸고, 텍스트 메시지(text message)를 송신(send) 및/또는 수신(receive)하고, 차량의 작동에 기초한 센서 데이터를 송신(transmit)하기 위해 사용된다. 일부 실시예에서, 딥 러닝 시스템(100)은 적절하게 추가된 또는 더 적은 구성요소(components)를 포함할 수 있다. 예를 들어, 일부 실시예에서, 이미지 전처리 프로세서(103)는 선택적 구성요소이다. 다른 예로서, 일부 실시예에서, 후처리 구성요소(post-processing component)(미도시)는 출력이 차량 제어 모듈(109)에 제공되기 전에 딥 러닝 네트워크(105)의 출력에 대한 후처리를 수행하는데 사용된다.
일부 실시예에서, 센서(101)는 하나 이상의 센서를 포함한다. 다양한 실시예에서, 센서(101)는 차량의 상이한 위치에서 차량에 부착(affix)될 수 있고/있거나 하나 이상의 상이한 방향으로 배향(orient)될 수 있다. 예를 들어, 센서(101)는 전면(front), 측면(side), 후면(rear), 및/또는 지붕(roof) 등에 전방(forward-facing), 후방(rear-facing), 측방(side-facing) 등의 방향으로 부착될 수 있다. 일부 실시예에서, 센서(101)는 하이 다이나믹 레인지 카메라(high dynamic range camera)와 같은 이미지 센서(image sensor)일 수 있다. 일부 실시예에서, 센서(101)는 비시각적 센서(non-visual sensors)를 포함한다. 일부 실시예에서, 센서(101)는, 다른 것들 중에서도, 레이더(radar), 오디오(audio), 라이더(LiDAR), 관성(inertia), 주행 거리 측정(odometry), 위치(location), 및/또는 초음파 센서(ultrasonic sensors) 데이터를 포함한다. 일부 실시예에서, 센서(101)는 차량 제어 모듈(109)과 함께 차량에 장착(mount)되지 않는다. 예를 들어, 센서(101)는 이웃 차량(neighboring vehicle)에 장착 및/또는 도로 또는 환경에 부착될 수 있으며, 센서 데이터를 캡처하기 위하여 딥 러닝 시스템의 일부로 포함될 수 있다. 일부 실시예에서, 센서(101)는 차량이 이동(travel)하고 있는 노면(road surface)을 캡처하는 하나이상의 카메라를 포함한다. 예를 들어, 하나 이상의 전방(front-facing) 및/또는 기둥 카메라(pillar camera)는 차량이 이동하고 있는 차선의 차선 표시(lane markings)를 캡처한다. 다른 예로서, 카메라는 차량이 이동하는 차선으로 진입(cut into)을 시도하는 차량을 포함하는 이웃 차량을 캡처한다. 추가 센서는 차량 궤적과 관련된 정보를 포함하는 주행 거리 측정, 위치, 및/또는 차량 제어 정보를 캡처한다. 센서(101)는 스틸 이미지 및/또는 비디오 모두를 캡처할 수 있는 센서를 포함할 수 있다. 데이터는 일정 시간 기간(period of time) 동안 캡처된 데이터의 시퀀스(sequence)와 같이 일정 시간 기간 동안 캡처될 수 있다. 예를 들어, 차선 표시의 이미지는 15초 또는 다른 적절한 기간 동안 차량 주행 거리 측정 데이터와 함께 캡처될 수 있다. 일부 실시예에서, 센서(101)는 차량의 위치 및/또는 위치의 변화를 결정하기 위한 글로벌 포지션 시스템(global position system(GPS)) 센서와 같은 위치 센서를 포함한다.
일부 실시예에서, 이미지 전처리 프로세서(103)는 센서(101)의 센서 데이터를 전처리(pre-process)하는 데 사용된다. 예를 들어, 이미지 전처리 프로세서(103)는 센서 데이터를 전처리하고, 센서 데이터를 하나 이상의 구성요소로 분할(split)하고, 및/또는 하나 이상의 구성요소를 후처리(post-process)하는 데 사용될 수 있다. 일부 실시예에서, 이미지 전처리 프로세서(103)는 그래픽처리장치(graphics processing unit(GPU)), 중앙처리장치(central processing unit(CPU)), 이미지 신호 프로세서(image signal processor), 또는 전문화된 이미지 프로세서(specialized image processor)이다. 다양한 실시예에서, 이미지 전처리 프로세서(103)는 하이 다이나믹 레인지 데이터(high dynamic range data)를 처리하기 위한 톤-매퍼 프로세서(tone-mapper processor)이다. 일부 실시예에서, 이미지 전처리 프로세서(103)는 인공 지능(AI) 프로세서(107)의 일부로 구현된다. 예를 들어, 이미지 전처리 프로세서(103)는 AI 프로세서(107)의 구성일 수 있다. 일부 실시예에서, 이미지 전처리 프로세서(103)는 이미지를 정규화(normalize)하거나 이미지를 변환(transform)하기 위해 사용될 수 있다. 예를 들어, 어안 렌즈(fisheye lens)로 캡처된 이미지는 뒤틀릴(warp) 수 있고, 이미지 전처리 프로세서(103)는 뒤틀림(warping)을 제거(remove)하거나 수정(modify)하는 데 사용될 수 있다. 일부 실시예에서, 노이즈(noise), 왜곡(distortion), 및/또는 흐릿함(blurriness)는 전처리 단계를 통해 제거되거나 감소(reduce)된다. 다양한 실시예에서, 이미지는 머신 러닝 분석의 결과를 개선하기 위해 조정(adjust)되거나 정규화 된다. 예를 들어, 이미지의 화이트 밸런스(white balance)는, 다른 것들 중에서도, 일광(daylight), 화창함(sunny), 흐림(cloudy), 황혼(dusk), 일출(sunrise), 일몰(sunset), 야간 조건(night conditions)과 같은 상이한 조명 작동 조건을 고려하여 조정(adjust)된다.
일부 실시예에서, 딥 러닝 네트워크(105)는 차선 마커(lane markers), 차선(lane), 주행가능 공간(drivable space), 장애물(obstacles), 및/또는 잠재적인 차량 경로(potential vehicle paths) 등을 결정하기 위한 주행 환경을 분석하는 것을 포함하는 차량 제어 매개변수를 결정하는데 사용되는 딥 러닝 네트워크이다. 예를 들어, 딥 러닝 네트워크(105)는 센서 데이터와 같은 입력에 대해 훈련(train)되고 그 출력이 차량 제어 모듈(109)에 제공되는 컨벌루션 신경망(convolutional neural network(CNN))과 같은 인공 신경망일 수 있다. 일례로, 출력은 적어도 차선 마커의 3차원 표현을 포함할 수 있다. 다른 예로서, 출력은 차량의 차선으로 합류(merge)할 가능성이 있는 적어도 잠재적인 차량(potential vehicle)을 포함할 수 있다. 일부 실시예에서, 딥 러닝 네트워크(105)는 적어도 센서 데이터를 입력으로서 수신한다. 추가 입력에는 차량 주변 환경을 설명하는 장면 데이터(scene data) 및/또는 차량의 작동 특성과 같은 차량 사양(specifications)이 포함될 수 있다. 장면 데이터는 비(raining), 젖은 도로(wet roads), 눈(snowing), 진흙(muddy), 고밀도 교통(high density traffic), 고속도로(highway), 도시(urban), 스쿨 존(school zone) 등과 같은 차량 주변의 환경을 설명하는 장면 태그(scene tags)를 포함할 수 있다. 일부 실시예에서, 딥 러닝 네트워크(105)의 출력은 차량의 차량 차선의 3차원 궤적이다. 일부 실시예에서, 딥 러닝 네트워크(105)의 출력은 진입하는 잠재적인 차량이다. 예를 들어, 딥 러닝 네트워크(105)는 차량 앞의 차선으로 진입할 가능성이 있는 이웃 차량을 식별한다.
일부 실시예에서, 인공 지능(AI) 프로세서(107)는 딥 러닝 네트워크(105)를 구동(run)하기 위한 하드웨어 프로세서(hardware processor)이다. 일부 실시예에서, AI 프로세서(107)는 센서 데이터에 대해 컨벌루션 신경망(CNN)을 사용하여 추론을 수행하기 위한 전문화된 AI 프로세서이다. AI 프로세서(107)는 센서 데이터의 비트 뎁스(bit depth)를 위해 최적화될 수 있다. 일부 실시예에서, AI 프로세서(107)는, 다른 것들 중에서도, 컨벌루션(convolution), 내적(dot-product), 벡터(vector), 및/또는 행렬 연산(matrix operations)를 포함하는 신경망 연산(operations)과 같은 딥 러닝 연산(operations)을 위해 최적화된다. 일부 실시예에서, AI 프로세서(107)는 그래픽처리장치(GPU)를 사용하여 구현된다. 다양한 실시예에서, AI 프로세서(107)는 메모리에 결합된다. 메모리는, 실행 시 AI 프로세서가 수신된 입력 센서 데이터에 대하여 딥 러닝 분석(deep learning analysis)을 수행하고 자율 주행에 사용되기 위한 머신 러닝 결과(machine learning result)를 결정하도록 하는 명령어를 AI 프로세서에 제공하도록 구성된다. 일부 실시예에서, AI 프로세서는 데이터를 트레이닝 데이터로 이용 가능하게 만들기 위한 준비로 센서 데이터를 처리하는데 사용된다.
일부 실시예에서, 차량 제어 모듈(109)은 인공 지능(AI) 프로세서(107)의 출력을 처리(process)하고 차량 제어 작동으로 변환(translate)하는 데 이용(utilize)된다. 일부 실시예에서, 차량 제어 모듈(109)은 자율 주행을 위한 차량 제어에 이용된다. 일부 실시예에서, 차량 제어 모듈(109)은 차량의 속도(speed), 가속도(acceleration), 조종(steering), 제동(braking) 등을 조정(adjust)할 수 있다. 예를 들어, 일부 실시예에서, 차량 제어 모듈(109)은 차선 내에서 차량의 위치를 유지(maintain)하고, 차량을 다른 차선으로 합치고(merge), 차량의 속도 및 차량을 합치는 것을 고려한 차선 포지셔닝(positioning) 등 차량을 제어하는데 사용된다.
일부 실시예에서, 차량 제어 모듈(109)은 브레이크 등(brake light), 방향 지시등(turns signal), 헤드라이트(headlight) 등과 같은 차량 조명을 제어하는데 사용된다. 일부 실시예에서, 차량 제어 모듈(109)은 차량 사운드 시스템(sound system), 오디오 경고(audio alert) 재생, 마이크(microphone) 활성화, 경적(horn) 활성화 등과 같은 차량 오디오 상태(audio condition)를 제어하는 데 사용된다. 일부 실시예에서, 차량 제어 모듈(109)은 운전자 및/또는 승객에게 잠재적인 충돌 또는 의도한 목적지의 접근과 같은 운전 이벤트(driving event)를 알리는 경고 시스템(warning system)을 포함하는 알림 시스템(notification system)을 제어하는데 사용된다. 일부 실시예에서, 차량 제어 모듈(109)은 차량의 센서(101)과 같은 센서를 조정하는데 사용된다. 예를 들어, 차량 제어 모듈(109)은 방향(orientation) 수정, 출력 해상도(resolution) 및/또는 형식 유형(format type) 변경, 캡처 속도(capture rate) 증가 또는 감소, 캡처된 동적 범위 조정, 카메라의 초점(focus) 조정, 센서 활성화 및/또는 비활성화 등과 같은 하나 이상의 센서의 매개변수를 변경하는데 사용될 수 있다. 일부 실시예에서, 차량 제어 모듈(109)은 필터의 주파수 범위(frequency range) 수정, 특징(feature) 및/또는 에지 감지 매개변수(edge detection parameter) 조정, 채널(channel) 및 비트 뎁스(bit depth) 조정 등과 같은 이미지 전처리 프로세서(103)의 매개변수를 변경하는데 사용될 수 있다. 다양한 실시예에서, 차량 제어 모듈(109)은 차량의 자율 주행(self-driving) 및/또는 운전자 보조 제어(driver-assisted control)를 구현하는데 사용된다. 일부 실시예에서, 차량 제어 모듈(109)은 메모리와 결합한 프로세서를 사용하여 구현된다. 일부 실시예에서, 차량 제어 모듈(109)은 특정 용도용 집적 회로(application-specific integrated circuit)(ASIC), 설계가능 논리 소자(programmable logic device)(PLD), 또는 다른 적절한 처리 하드웨어를 사용하여 구현된다.
일부 실시예에서, 네트워크 인터페이스(111)는 음성 데이터(voice data)를 포함하는 데이터를 전송 및/또는 수신하기위한 통신 인터페이스(communication interface)이다. 다양한 실시예에서, 네트워크 인터페이스(111)는, 연결하고 음성 통화(voice call)를 할 수 있도록 하기 위하여, 문자 메시지(text message)를 송신(send) 및/또는 수신(receive)하기 위하여, 센서 데이터를 전송(transmit)하기 위하여, 업데이트(update)된 머신 러닝 모델을 포함하는 딥 러닝 네트워크에 대한 업데이트(update) 수신하기 위하여, 기상 조건(weather condition) 및 예보(forecast)를 포함하는 환경 조건(environmental condition), 교통 상황(traffic condition) 등을 검색(retrieve)하기 위하여, 원격 서버와 인터페이싱(interfacing)하기 위한 셀룰러(cellular) 또는 무선 인터페이스(wireless interface)를 포함한다. 예를 들어, 네트워크 인터페이스(111)는 센서(101), 이미지 전처리 프로세서(103), 딥 러닝 네트워크(105), AI 프로세서(107), 및/또는 차량 제어 모듈(109)에 대한 명령어 및/또는 작동 매개변수에 대한 업데이트를 수신하는데 사용될 수 있다. 딥 러닝 네트워크(105)의 머신 러닝 모델 네트워크 인터페이스(111)를 사용하여 업데이트될 수 있다. 다른 예로서, 네트워크 인터페이스(111)는 센서(101)의 펌웨어(firmware) 및/또는 이미지 처리 매개변수와 같은 이미지 전처리 프로세서(103)의 작동 매개변수(operating parameters)를 업데이트 하는데 사용될 수 있다. 또 다른 실시예로서, 네트워크 인터페이스(111)은 머신 러닝 모델을 훈련하기위해 잠재적인 트레이닝 데이터를 원격 서버로 전송하는데 사용될 수 있다.
도 2는 자율 주행을 위한 머신 러닝 모델을 훈련 및 적용하기 위한 프로세스(process)의 실시예를 도시하는 흐름도이다. 예를 들어, 센서 및 주행 거리 측정 데이터를 포함하는 입력 데이터는 머신 러닝 모델을 훈련하기 위한 트레이닝 데이터를 생성하기 위하여 수신되고 처리된다. 일부 실시예에서, 센서 데이터는 자율 주행 시스템을 통해 캡처된 이미지 데이터와 대응(correspond)한다. 일부 실시예에서, 센서 데이터는 사용자가 수동으로 자율 주행을 해제(disengaging)하는 것과 같은 특정 사용 케이스(use case)에 기초하여 캡처된 센서 데이터에 대응한다. 일부 실시예에서, 프로세스는 도 1의 딥 러닝 시스템(100)을 위한 머신 러닝 모델을 생성하고 배치(deploy)하기 위해 사용된다.
(201)에서, 트레이닝 데이터가 준비된다. 일부 실시예에서, 이미지 데이터와 주행 거리 측정 데이터를 포함하는 센서 데이터는 트레이닝 데이터 세트(training data set)를 생성하기 위해 수신된다. 센서 데이터는 하나 이상의 카메라로부터 스틸 이미지 및/또는 비디오를 포함할 수 있다. 레이더, 라이더, 초음파 등과 같은 추가 센서는 관련된 센서 데이터를 제공하기 위해 사용될 수 있다. 다양한 실시예에서, 센서 데이터는 센서 데이터의 특징을 식별하는 것을 돕기 위해서 대응하는 주행 거리 측정 데이터와 짝(pair)을 이룬다. 예를 들어, 위치 및 위치의 변화 데이터는 차선 경계선, 교통 제어 신호, 물체 등과 같은 센서 데이터에서 관련 특징의 위치를 식별하는데 사용될 수 있다. 일부 실시예에서, 센서 데이터는 요소들의 시계열이고, 그라운드 트루스를 결정하는데 사용된다. 그룹의 그라운드 트루스는 이미지 데이터의 첫번째 프레임(first frame)과 같은 시계열의 부분집합(subset)과 연결(associate)된다. 시계열의 선택된 요소 및 그라운드 트루스는 트레이닝 데이터를 준비하는데 사용된다. 일부 실시예에서, 트레이닝 데이터는 차선 경계선(lane line), 차량 경로(vehicle path), 교통 패턴(traffic pattern)등 과 같은 센서 데이터로부터 특징만을 식별하도록 머신 러닝 모델을 훈련하기 위해서 준비된다. 준비된 트레이닝 데이터는 훈련, 검증(validation), 테스트(testing)를 위한 데이터를 포함할 수 있다. 다양한 실시예에서, 센서 데이터는 상이한 형식(format) 일수 있다. 예를 들어, 센서 데이터는 스틸 이미지, 비디오, 오디오 등 일수 있다. 주행 거리 측정 데이터는 적용된 가속도, 적용된 제동, 적용된 조종, 차량 위치(vehicle location), 차량 방향(vehicle orientation), 차량 위치의 변화, 차량 방향의 변화 등과 같은 차량 작동 매개변수를 포함할 수 있다. 다양한 실시예에서, 트레이닝 데이터는 트레이닝 데이터 세트를 생성하기 위해서 큐레이트(curate) 되고 주석이 달린다(annotate). 일부 실시예에서, 트레이닝 데이터의 준비의 일부는 인간 큐레이터(curator)에 의해서 수행될 수 있다. 다양한 실시예에서, 트레이닝 데이터의 일부는 차량으로부터 캡처된 데이터로부터 자동으로 생성되고, 탄탄한(robust) 트레이닝 데이터 세트를 구축(build)하기 위해서 필요한 노력 및 시간을 크게 줄인다. 일부 실시예에서, 데이터의 형식은 배치된(deployed) 딥 러닝 어플리케이션(application)에서 사용되는 머신 러닝 모델과 호환 가능하다. 다양한 실시예에서, 트레이닝 데이터는 훈련된 모델의 정확도를 시험하기 위한 검증 데이터를 포함한다.
(203)에서, 머신 러닝 모델은 훈련된다. 예를 들어, 머신 러닝 모델은 (201)에서 준비된 데이터를 사용하여 훈련된다. 일부 실시예에서, 모델은 컨벌루션 신경망(CNN)과 같은 신경망이다. 다양한 실시예에서, 모델은 다수의 중간 계층(intermediate layer)를 포함한다. 다양한 실시예에서, 신경망은 다수의 컨벌루션(convolution) 및 풀링 계층(pooling layer)을 포함하는 다수의 계층을 포함할 수 있다. 일부 실시예에서, 트레이닝 모델은 수신된 센서 데이터로부터 생성된 검증 데이터 세트를 사용하여 검증된다. 다양한 실시예에서, 머신 러닝 모델은 단일 입력 이미지로부터 특징의 3차원 표현을 예측하도록 훈련된다. 예를 들어, 차선 경계선의 3차원 표현은 카메라로부터 캡처된 이미지로부터 추론될 수 있다. 다른 예로서, 차량이 합류를 시도할 것인지 여부를 포함하는 예측된 이웃 차량의 경로는 카메라로부터 캡처된 이미지로부터 예측된다.
(205)에서, 훈련된 머신 러닝 모델이 배치된다. 예를 들어, 훈련된 머신 러닝 모델은 도 1의 딥 러닝 네트워크(105)와 같은 딥 러닝 네트워크에 대한 업데이트로서 차량에 설치(install)된다. 일부 실시예에서, 오버 디 에어(over-the-air) 업데이트는 새로 훈련된 머신 러닝 모델을 설치하는데 사용된다. 일부 실시예에서, 업데이트는 와이파이(WiFi) 또는 셀룰러 네트워크와 같은 무선 네트워크를 사용하여 전송된 펌웨어 업데이트(firmware update)이다. 일부 실시예에서, 새로운 머신 러닝 모델은 차량이 서비스(service)될 때 설치될 수 있다.
(207)에서, 센서 데이터는 수신된다. 예를 들어, 센서 데이터는 차량의 하나 이상의 센서로부터 캡처된다. 일부 실시예에서, 센서들은 도 1의 센서(101)이다. 센서는 바람막이 창(windshield) 뒤에 장착된 어안 카메라(fisheye camera), 기둥에 장착된 전방 또는 측면 카메라, 후방 카메라 등과 같은 이미지 센서를 포함할 수 있다. 다양한 실시예에서, 센서 데이터는 상기 형식이거나 (203)에서 훈련된 머신 러닝 모델이 입력으로 이용하는 형식으로 변환(convert)된다. 예를 들어, 센서 데이터는 가공되지 않은(raw) 또는 처리된(processed) 이미지 데이터이다. 일부 실시예에서, 데이터는 초음파 센서, 레이더, 라이더 센서, 마이크, 또는 다른 적절한 기술로부터 캡처된 데이터이다. 일부 실시예에서, 센서데이터는 전처리 단계 동안 도 1의 이미지 전처리 프로세서(103)와 같은 이미지 전처리 프로세서를 사용하여 전처리 된다. 예를 들어, 이미지는 왜곡, 노이즈 등을 제거하기 위해 정규화 될 수 있다.
(209)에서, 훈련된 머신 러닝 모델인 적용된다. 예를 들어, (203)에서 훈련된 머신 러닝 모델은 (207)에서 수신된 센서 데이터에 적용된다. 일부 실시예에서, 모델의 적용은 도 1의 딥 러닝 네트워크(105)와 같은 딥 러닝 네트워크를 사용하는 도 1의 AI 프로세서(107)와 같은 AI 프로세서에 의해서 수행된다. 다양한 실시예에서, 훈련된 머신 러닝 모델을 적용함으로써, 차선 경계선과 같은 특징의 3차원 표현 이 식별 및/또는 예측된다. 예를 들어, 차량이 이동하는 차선의 차선 경계선을 나타내는 두개의 스플라인(spline)이 추론(infer)된다. 다른 예로, 예측된 이웃 차량의 경로는 현재의 차선으로 이웃 차량이 진입할 가능성이 있는지 여부를 포함하여 추론된다. 다양한 실시예에서, 차량(vehicles), 장애물(obstacles), 차선(lanes), 교통 통제 표지판(traffic control signals), 지도 특징(map features), 물체 거리(object distance), 속도 제한(speed limit), 주행가능 공간(drivable space) 등은 머신 러닝 모델을 적용하여 식별된다. 일부 실시예에서, 특징들은 3차원으로 식별된다.
(211)에서, 자율 주행 차량이 제어된다. 예를 들어, 하나 이상의 자율 주행 특징은 차량의 다양한 측면에 의해서 구현된다. 예시에는 조종, 속도, 가속도, 및/또는 차량의 제동 제어, 차선에서 차량의 위치 유지, 다른 차량 및/또는 장애물에 대한 차량의 위치 유지, 탑승자에게 알림 또는 경고 제공 등을 포함할 수 있다. (209)에서 수행된 분석에 기초하여, 차량의 조종 또는 속도는 두 차선 경계선사이에서 차량을 유지하기 위해서 제어된다. 예를 들어, 왼쪽과 오른쪽 차선 경계선은 예측되고 대응하는 차량 차선 및 주행가능 공간이 식별된다. 다양한 실시예에서, 도1의 차량 제어 모듈(109)와 같은 차량 제어 모듈은 차량을 제어한다.
도 3은 요소들의 시계열(time series of elements)을 사용하여 트레이닝 데이터를 생성하기 위한 프로세스의 실시예를 도시하는 흐름도이다. 예를 들어, 센서 및 주행 거리 측정 데이터로 구성된 요소들의 시계열은 차량으로부터 수집되고 트레이닝 데이터를 자동으로 생성하는데 사용된다. 다양한 실시예에서, 도3의 프로세스는 대응하는 그라운드 트루스와 함께 자동으로 트레이닝 데이터를 레이블(label)하기 위해 사용된다. 시계열에 대응하는 결과(outcome)는 시계열의 요소와 연관(associate)된다. 결과와 선택된 요소는 미래의 결과를 예측하는데 사용하는 트레이닝 데이터로 포장(package)된다. 다양한 실시예에서, 센서와 관련 데이터는 도 1의 딥 러닝 시스템을 사용하여 캡처된다. 예를 들어, 다양한 실시예에서, 센서 데이터는 도 1의 센서(들)(101)로부터 캡처된다. 일부 실시예에서, 도 3의 프로세스는 도 2의 (201)에서 수행된다. 일부 실시예에서, 도3의 프로세스는 기존의 예측(existing predictions)이 정확하지 않거나 개선될 수 있는 경우 자동으로 데이터를 수집하도록 수행된다. 예를 들어, 예측은 차량이 자율 주행 차량의 경로로 진입할 것인지 여부를 결정하기 위해 자율 주행 차량에 의해 만들어진다. 일정 기간을 기다리고 캡처된 센서 데이터를 분석한 후에, 예측이 맞았는지(correct) 틀렸는지(incorrect) 결정(determination)이 만들어질 수 있다. 일부 실시예에서, 예측이 개선될 수 있다는 결정이 만들어진다. 막상 예측이 틀리거나 개선될 수 있는 경우, 도 3의 프로세스는 머신 러닝 모델을 향상하기 위한 예시의 큐레이티드 세트(curated set)를 생성하기 위해서 예측과 관련된 데이터를 적용할 수 있다.
(301)에서, 시계열의 요소들이 수신된다. 다양한 실시예에서, 요소들은 차량에서 캡처되고 트레이닝 서버(training server)에 전송된 이미지 데이터와 같은 센서 데이터이다. 센서 데이터는 요소들의 시계열을 생성하기 위해서 일정 시간 기간 동안 캡처된다. 다양한 실시예에서, 요소들은 요소들의 순서(ordering)를 유지(maintain)하기 위한 타임스탬프(timestamps)이다. 요소들이 시계열을 통해 진행(progress)됨에 따라, 시계열의 추가 이벤트들은, 시계열의 앞선 요소(earlier element)에서 결과를 예측하는 데 도움이 되도록 사용된다. 예를 들어, 시계열은 합류 신호를 보내고, 가속하고, 근처 차선 경계선에 가깝게 위치를 지정하는 인접한 차선의 차량을 캡처할 수 있다. 전체 시계열을 사용하여, 결과는 차량이 공유 차선(shared lane)으로 합류했는지 결정(determine)하도록 사용될 수 있다. 이 결과는 시계열의 초기 이미지 중 하나와 같은 시계열의 선택된 요소에 기초하여 차량이 합류할 것인지를 예측하는데 사용될 수 있다. 다른 예시로, 시계열은 차선 경계선의 곡선(curve)를 캡처한다. 시계열은 시계열의 단일 요소에서만 분명하지 않은 차선의 다양한 차선의 딥(dips), 밴드(bends), 마루(crests) 등을 캡처한다. 다양한 실시예에서, 요소들은 머신 러닝 모델이 입력으로 사용하는 형식의 센서 데이터이다. 예를 들어, 센서 데이터는 가공되지 않은(raw) 또는 처리된 이미지 데이터이다. 일부 실시예에서, 데이터는 초음파 센서, 레이더, 라이더 센서, 또는 다른 적절한 기술로부터 캡처된 데이터이다.
다양한 실시예에서, 시계열은 타임스탬프를 시계열의 각 요소와 연관시킴으로써 구성(organize)된다. 예를 들어, 타임스탬프는 적어도 시계열의 첫번째 요소와 연관(associate)된다. 타임스탬프는 주행 거리 측정 데이터와 같은 관련 데이터로 시계열 요소들을 보정(calibrate)하기위해 사용될 수 있다. 다양한 실시예에서, 시계열의 길이는 10초, 30초 또는 다른 적절한 길이와 같은 고정된 시간의 길이일 수 있다. 시간의 길이는 설정할 수 있다(configurable). 다양한 실시예에서, 시계열은 차량의 평균 속도(average speed)와 같은 차량의 속도에 기초할 수 있다. 예를 들어, 더 느린 속도에서는, 더 긴 거리의 주행 동안 데이터를 캡처하기 위하여, 동일한 속도로 더 짧은 시간 길이를 사용하는 것보다 시계열(time series)을 위한 시간의 길이가 증가될 수 있다. 일부 실시예에서, 시계열에서 요소들의 수는 설정할 수 있다(configurable). 예를 들어, 요소들의 수는 이동한 거리에 기초할 수 있다. 예를 들어, 고정된 기간동안 빠르게 이동하는 차량은 느리게 이동하는 차량보다 시계열에서 더 많은 요소들을 포함한다. 추가 요소들은 캡처된 환경(environment)의 정확도(fidelity)를 높이고(increase) 예측된 머신 러닝 결과의 정확성을 개선할 수 있다. 다양한 실시예에서, 요소들의 수는 센서가 캡처하는 캡처하는 초당 프레임 조정에 의하여 및/또는 불필요한 중간 프레임을 폐기(discard)함에 의하여 조정된다.
(303)에서, 시계열의 요소들과 관련된 데이터가 수신된다. 다양한 실시예에서, 관련 데이터는 (301)에서 수신된 요소들과 함께 트레이닝 서버에서 수신된다. 일부 실시예에서, 관련 데이터는 차량의 주행 거리 측정 데이터이다. 위치, 방향, 위치의 변화, 방향의 변화, 및/또는 다른 관련된 차량 데이터를 사용하여 시계열의 요소들에서 식별된 특징의 위치상의 데이터는 레이블(label)된다. 예를 들어, 차선 경계선은 차선 경계선의 요소들의 시계열을 조사하여 매우 정확한 위치와 함께 레이블 될 수 있다. 일반적으로 차량 카메라와 가장 가까운 차선 경계선은 정확하고 차량의 위치와 밀접한 관련이 있다. 이에 반해, 차량으로부터 가장 멀리 떨어진 차선의 XYZ 위치는 결정(determine)하기 어렵다. 차선 경계선의 먼 부분은 가려지거나(occluded)(예: 굽은 곳(bend) 또는 언덕 뒤) 및/또는 정확하게 캡처하기 어려울 수 있다(예: 거리 또는 조명 등으로 인해). 요소들과 관련된 데이터는 높은 정확도(accuracy)로 식별된 시계열에서 식별된 특징의 일부를 레이블하기 위해 사용된다. 다양한 실시예에서, 임계값(threshold value)은 관련 데이터와 식별된 특징의 일부(차선 경계선의 일부와 같은)를 연관(associate)시킬지 여부를 결정하기위해 사용될 수 있다. 예를 들어, 높은 확실성(certainty)으로 식별된 차선 경계선의 일부(차량 근처 부분과 같은)는 관련 데이터와 연관(associate)되는 반면에 임계값 미만(below)의 높은 확실성으로 식별된 차선 경계선의 일부(차량으로부터 먼 부분과 같은)는 요소의 관련 데이터와 연관(associate)되지 않는다. 대신에, 후속 요소(subsequent element)와 같은, 더 높은 확실성을 가진 시계열의 또 다른 요소와 이와 관련된 데이터가 사용된다. 일부 실시예에서, 관련 데이터는 도 1의 딥 러닝 네트워크(105)의 출력과 같은 신경망의 출력(output)이다. 일부 실시예에서, 관련 데이터는 도 1의 차량 제어 모듈(109)과 같은 차량 제어 모듈의 출력이다. 관련 데이터는 속도, 가속도, 가속도의 변화, 조종, 조종의 변화, 제동, 제동의 변화 등과 같은 차량 작동 파라미터(vehicle operating parameters)를 포함할 수 있다. 일부 실시예에서, 관련 데이터는 장애물과 같은 물체의 거리를 추정하기 위한 레이더 데이터이다.
일부 실시예에서, 시계열의 요소들과 관련된 데이터는 지도 데이터(map data)를 포함한다. 예를 들어, 도로 및/또는 위성 수준 지도 데이터와 같은 오프라인 데이터(offline data)는 (303)에서 수신된다. 지도 데이터는 도로(roads), 차량 차선(vehicle lanes), 교차로(intersections), 속도 제한(speed limits), 스쿨존(school zone) 등과 같은 특징을 식별하는데 사용된다. 예를 들어, 지도 데이터는 차량 차선의 경로를 설명(describe)할 수 있다. 다른 예로, 지도 데이터는 지도의 다른 도로와 연관된(associated) 속도 제한을 설명할 수 있다.
다양한 실시예에서, 시계열의 요소들 관련된 데이터는 타임스탬프와 관련 데이터를 연관시킴으로써 구성(organize)된다. 시계열 요소들 및 관련 데이터로부터 대응하는 타임스탬프는 두 데이터 세트를 동기화(synchronize)하기위해 사용될 수 있다. 일부 실시예에서, 데이터는 캡처 시간(capture time)에서 동기화된다. 예를 들어, 시계열의 각 요소가 캡처되면, 대응하는 관련 데이터의 세트는 캡처되고 시계열 요소와 저장(save)된다. 다양한 실시예에서, 관련 데이터의 기간은 설정될 수 있고/거나 요소들의 시계열의 기간과 일치(match)한다. 일부 실시예에서, 관련 데이터는 시계열 요소들과 같은 속도(rate)로 샘플링(sample)된다.
(305)에서, 시계열에 대한 그라운드 트루스가 결정된다. 다양한 실시예에서, 시계열은 머신 러닝 특징(machine learning feature)과 연관된(associated) 그라운드 트루스를 결정하기 위해서 분석(analyze)된다. 예를 들어, 차선 경계선은 해당 차선 경계선에 대한 그라운드 트루스에 대응하는 시계열에서 식별된다. 다른 예로, 이동 물체(차량, 보행자(pedestrian), 자전거 타는 사람(biker), 동물(animal) 등과 같은)의 경로에 대한 그라운드 트루스는 시계열에서 감지(detect)된 이동 물체에 대해 식별된 경로이다. 일부 실시예에서, 움직이는 차량이 시계열에 걸쳐 자율 주행 차량의 차선으로 진입하는 경우, 움직이는 차량은 진입(cut-in)하는 차량으로 주석이 달린다. 일부 실시예에서, 그라운드 트루스는 3차원 궤적(three-dimensional trajectory)과 같은 3차원 표현으로 표현된다. 예를 들어, 차선과 연관된(associated) 그라운드 트루스는 3차원 매개변수화 된(parameterized) 스플라인(spline) 또는 곡선(curve)으로 표현될 수 있다. 다른 예로서, 감지된 차량에 대한 예측된 경로는 3차원 궤적으로 결정되고 표현된다. 예측된 경로는 차량이 점유된(occupied) 공간에 합류(merge)할 것인지 여부를 결정하는데 사용될 수 있다. 다양한 실시예에서, 요소들의 시계열을 조사하는 것만으로도 그라운드 트루스가 결정될 수 있다. 예를 들어, 시계열의 부분집합(subset)만을 분석하면 가려진 일부 차선 경계선이 가려진(occlude) 채로 남겨질 수 있다. 요소들의 시계열에 걸친 분석을 확장(expand)하면, 차량 차선의 가려진 부분이 드러난다(reveal). 더욱이, 시계열의 끝 쪽에 있는 캡처된 데이터는 더 멀리 떨어진 차선 경계선의 세부사항을 더 정확하게 (예를 들어, 더 높은 신뢰도(fidelity)로) 캡처한다. 추가로, 관련 데이터는 가까운 거리에서(거리 및 시간 모두) 캡처된 데이터를 기초로 하기 때문에 관련 데이터는 또한 더 정확하다. 다양한 실시예에서, 동시적인 로컬리제이션(simultaneous localization)과 매핑 기술(mapping techniques)은, 물체(object)의 서로 다른 부분들을 고도(elevation)를 포함하는 정확한 3차원 위치로 매핑하기 위하여, 요소들의 시계열 중 서로 다른 요소들(different elements)에서 식별된, 차선 경계선과 같은, 감지된 물체의 서로 다른 부분(different portions)에 적용된다. 매핑된(mapped) 3차원 위치 세트는 시계열에 걸쳐 캡처된 차선 경계션의 부분(segment)과 같은 물체의 그라운드 트루스를 표현한다. 일부 실시예에서, 로컬리제이션 과 매핑 기술은 정확한 포인트의 세트(set of precise point), 예를 들어 차량 차선 경계선을 따라 다른 포인트에 대응하는 포인트의 세트(set of points)를 생성(result)한다. 포인트의 세트는 스플라인(spline) 또는 파라메트릭 곡선(parametric curve)과 같은 더 효율적인 형식으로 전환(convert)될 수 있다. 일부 실시예에서, 그라운드 트루스는 차선 경계선, 주행가능 공간, 교통 통제, 차량 등과 같은 물체를 3차원으로 감지(detect)하기위해서 결정된다(determine).
일부 실시예에서, 그라운드 트루스는 의미론적 레이블(semantic labels)을 예측하기위해서 결정된다. 예를 들어, 감지된 차량은 좌측 차선 또는 우측 차선에 있는 것으로 레이블(label) 될 수 있다. 일부 실시예에서, 감지된 차량은 사각지대(blind spot)에 있는, 양보해야 하는 차량으로, 또는 다른 적절한 의미론적 레이블로서 레이블 될 수 있다. 일부 실시예에서, 차량은 결정된 그라운드 트루스에 기초한 지도의 도로 또는 차선에 배치(assign)된다. 추가적인 예시에서, 결정된 그라운드 트루스는 신호등(traffic light), 차선, 주행가능 공간, 또는 다른 자율 주행을 돕는(assist) 특징을 레이블하기 위해서 사용될 수 있다.
일부 실시예에서, 관련 데이터는 감지된 물체의 깊이(depth)(또는 거리) 데이터이다. 요소들의 시계열에서 식별된 물체와 거리 데이터를 연결함으로써(associating), 머신 러닝 모델은 관련 거리 데이터를 감지된 물체의 그라운드 트루스로 사용하여 물체 거리를 추정하도록 훈련될 수 있다. 일부 실시예에서, 거리는 장애물, 장벽(barrier), 이동 차량, 정지 차량, 교통 통제 표지판, 보행자 등과 같은 감지된 물체에 대한 것이다.
(307)에서, 트레이닝 데이터가 포장(package)된다. 예를 들어, 시계열의 요소는 선택되고 (305)에서 결정된 그라운드 트루스와 연관(associate)된다. 다양한 실시예에서, 선택된 요소는 시계열의 초기 요소이다. 선택된 요소는 머신 러닝 모델에 입력된(input) 센서 데이터(sensor data)를 나타내고(represent) 그라운드 트루스는 예측된 결과를 표현한다. 다양한 실시예에서, 트레이닝 데이터는 트레이닝 데이터로서 포장(package)되고 준비(prepare)된다. 일부 실시예에서, 트레이닝 데이터는 훈련, 검증, 및 테스팅 데이터(testing data)로 포장된다. 결정된 그라운드 트루스 및 시계열의 선택된 요소에 기초하여, 트레이닝 데이터는 머신 러닝 모델이 차선 경계선, 차량의 예측 경로, 속도 제한, 차량 진입(vehicle cut-ins), 물체 거리, 및/또는 주행가능 공간, 자율 주행을 위한 다른 유용한 기능을 식별하도록 훈련(train)하기 위해 포장(package)될 수 있다. 포장된 트레이닝 데이터는 이제 머신 러닝 모델을 훈련하기 위해서 사용 가능하다.
도 4는 자율 주행을 위한 머신 러닝 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시한 흐름도이다. 일부 실시예에서, 도 4의 프로세스는 자율 주행을 위한 머신 러닝모델을 훈련하기 위한 센서 및 주행 거리 측정 데이터를 수집(collect)하고 유지(retain)하기 위해 이용된다. 일부 실시예에서, 도 4의 프로세스는 자율 주행 제어가 활성화(enable)되었는지 여부와 관계없이 자율 주행이 가능한 차량에서 구현(implement)된다. 예를 들어, 센서 및 주행 거리 측정 데이터는 자율 주행이 해제(disengage)된 직후 순간, 차량이 인간 운전자에 의해 운전되어지는 동안 및/또는 차량이 자율 주행 되는 동안에 수집(collect)될 수 있다. 일부 실시예에서, 도 4에 설명된 기술은 도 1의 딥 러닝 시스템을 사용하여 구현(implement)될 수 있다. 일부 실시예에서, 도 4의 프로세스의 부분은 자율 주행을 위한 머신 러닝 모델을 적용하는 프로세스의 부분으로서 도 2의 (207), (209), 및/또는 (211)에서 수행된다.
(401)에서, 센서 데이터가 수신된다. 예를 들어, 센서가 장착된(equipped) 차량은 센서 데이터를 캡처하고 차량에서 구동(run)되는 신경망에 센서 데이터를 제공한다. 일부 실시예에서, 센서 데이터는 비전 데이터(vision data), 초음파 데이터(ultrasonic data), 라이더 데이터(LiDaR data), 또는 다른 적절한 센서 데이터일 수 있다. 예를 들어, 이미지는 하이 다이나믹 레인지(high dynamic range) 전방 카레라(forward-facing camera)로부터 캡처된다. 다른 예로서, 초음파 데이터는 측방 초음파 센서로부터 캡처된다. 일부 실시예에서, 차량은 데이터를 캡처하기 위한 다수의 센서들과 부착(affix)된다. 예를 들어, 일부 실시예에서, 8개의 서라운드 카메라(surround camera)가 차량에 부착되고 250미터까지의 범위로 차량 주변의 360도의 시인성(visibility)을 제공(provide)한다. 일부 실시예에서, 카메라 센서는 와이드 전방 카메라(wide forward camera), 내로우 전방 카메라(narrow forward camera), 후방 카메라(rear view camera), 전방을 바라보는 측방 카메라(forward looking camera), 및 또는 후방을 바라보는 측방 카메라(rearward looking side camera)를 포함한다. 일부 실시예에서, 초음파 및/또는 레이더 센서는 주변 세부사항을 캡처하는데 사용된다. 예를 들어, 12개의 초음파 센서는 단단한(hard) 물체와 부드러운(soft) 물체 모두를 감지(detect)하기 위해서 차량에 부착될 수 있다. 일부 실시예에서, 전방 레이더(forward-facing radar)는 주변 환경의 데이터를 캡처하기 위해 이용(utilize)된다. 다양한 실시예에서, 레이더 센서는 폭우(heavy rain), 안개(fog), 먼지(dust), 및 다른 차량에도 불구하고 주변 세부사항을 캡처할 수 있다. 다양한 센서는 차량 주변 환경을 캡처하는데 사용되고, 캡처된 데이터는 딥 러닝 분석을 위해 제공된다.
일부 실시예에서, 센서 데이터는 차량의 위치, 방향, 위치의 변경, 및/또는 방향의 변경 등을 포함하는 주행 거리 측정 데이터를 포함한다. 예를 들어, 위치 데이터는 캡처되고 동일한 시간 프레임의 동안에 캡처된 다른 센서 데이터와 연결(associate)된다. 일례로, 이미지 데이터가 캡처될 때 캡처된 위치 데이터는 이미지 데이터와 위치 정보를 연결(associate)하는데 사용된다.
(403)에서, 센서 데이터는 전처리된다(pre-processed). 일부 실시예에서, 하나 이상의 전처리 패스(pre-processing passes)가 센서 데이터에 대해 수행(perform)된다. 예를 들어, 데이터는 노이즈(noise) 제거, 정렬(alignment) 문제 및/또는 흐림(blurring) 수정 등을 위해서 전처리 될 수 있다. 일부 실시예에서, 하나 이상의 다른 필터링 패스(filtering passes)가 데이터에 대해 수행된다. 예를 들어, 센서 데이터의 상이한 구성요소를 분리하기 위해 하이패스 필터(high-pass filter)는 데이터에 대해서 수행될 수 있고 로우패스 필터(low-pass filter)는 데이터에 대해서 수행될 수 있다. 다양한 실시예에서, (403)에서 수행되는 전처리 단계는 선택적이며/이거나 신경망에 통합(incorporate)될 수 있다.
(405)에서, 센서 데이터의 딥 러닝 분석(deep learning analysis)이 시작(initiate)된다. 일부 실시예에서, 딥 러닝 분석은 (403)에서 선택적으로 전처리된 센서 데이터에 대해서 수행된다. 다양한 실시예에서, 딥 러닝 분석은 컨벌루션 신경망(CNN)과 같은 신경망을 사용하여 수행된다. 다양한 실시예에서, 머신 러닝 모델은 도 2의 프로세스(process)를 사용하여 오프라인(offline)으로 훈련되고 센서 데이터에 대한 추론(inference)을 수행하기위해 차량에 배치(deploy)된다. 예를 들어, 모델은 도로 차선 경계선(road lane lines), 장애물, 보행자, 이동 차량, 주차된 차량, 주행가능 공간 등을 적절하게 식별하도록 훈련될 수 있다. 일부 실시예에서, 차선 경계선에 대한 다수의 궤적(trajectories)들이 식별된다. 예를 들어, 차선 경계선에 대한 여러 잠재적인 궤적(potential trajectories)들은 감지(detect)되고 각 궤적은 대응하는 발생의 확률(probability of occurring)을 갖는다. 일부 실시예에서, 예측된 차선 경계선은 가장 높은 발생의 확률 및/또는 가장 높은 연관된 신뢰 값(confidence value)을 갖는 차선 경계선이다. 일부 실시예에서, 딥 러닝 분석으로부터 예측된 차선 경계선 최소 신뢰 임계값(confidence threshold value)을 초과하는 것을 요구한다. 다양한 실시예에서, 신경망은 하나 이상의 중간 계층(intermediate layer)을 포함하는 다수의 계층(layer)을 포함한다. 다양한 실시예에서, 센서 데이터 및/또는 딥 러닝 분석의 결과는 트레이닝 데이터의 자동 생성을 위하여 유지(retain)되고 (411)에서 전송(transmit)된다.
다양한 실시예에서, 딥 러닝 분석은 추가적인 특징을 예측하기위해서 사용된다. 예측된 특징은 자율 주행을 보조(assist)하기위해 사용될 수 있다. 예를 들어, 감지된 차량은 차선 또는 도로에 할당(assign)될 수 있다. 다른 예로서, 감지된 차량은 사각지대(blind spot)에 있을지, 양보(yield)해야 하는 차량이 될지, 좌측 인접한 차선에 있는 차량이 될지, 우측 인접한 차선에 있는 차량이 될지, 또는 다른 적절한 속성을 갖는지 결정될 수 있다. 마찬가지로, 딥 러닝 분석은 신호등, 주행가능 공간, 보행자, 장애물, 또는 운전을 위한 다른 적절한 특징을 식별할 수 있다.
(407)에서, 딥 러닝 분석의 결과가 차량 제어에 제공된다. 예를 들어, 결과는 자율 주행을 위해 차량을 제어 및/또는 자율 주행 기능(functionality) 구현하기 위해서 차량 제어 모듈에 제공된다. 일부 실시예에서, (405)에서 딥 러닝 분석의 결과는 하나 이상의 상이한 머신 러닝 모델을 사용하여 하나 이상의 추가적인 딥 러닝 패스(deep learning pass)를 통해서 전달(pass)된다. 예를 들어, 차선 경계선에 대한 예측된 경로는 차량 차선을 결정하는데 사용될 수 있고 결정된 차량 차선은 주행가능 공간을 결정하는데 사용될 수 있다. 주행가능 공간은 차량에 대한 경로를 결정하는데 사용된다. 유사하게, 일부 실시예에서, 예측된 차량 진입이 감지된다. 차량의 결정된 경로는 잠재적인 충돌(potential collisions)을 피하기(avoid) 위해 예측된 진입(cut-in)을 고려(account)한다. 일부 실시예에서, 딥 러닝의 다양한 출력은 차량의 예측된 경로, 식별된 장애물, 속도 제한을 포함하는 식별된 교통 통제 표지판 등을 포함하는 자율 주행을 위한 차량 환경(vehicle's environment)의 3차원 표현을 구성(construct)하는데 사용된다. 일부 실시예에서, 차량 제어 모듈은 결정된 경로를 따라 차량을 제어하기 위해 결정된 결과를 이용(utilize)한다. 일부 실시예에서, 차량 제어 모듈은 도 1의 차량 제어 모듈(109)이다.
(409)에서, 차량이 제어(control)된다. 일부 실시예에서, 자율 주행이 활성화(activate)된 차량은 도 1의 차량 제어 모듈(109)와 같은 차량 제어 모듈을 사용하여 제어된다. 차량 제어는, 예를 들어 차량의 주변 환경을 고려(consideration)하여 적절한 속도로 차선에 차량을 유지(maintain)하기 위해 속도 및/또는 차량의 조종을 조절(modulate)할 수 있다. 일부 실시예에서, 결과는 이웃 차량이 동일 차선으로 합류(merge)할 것을 예상하여 차량을 조정(adjust)하는데 사용된다. 다양한 실시예에서, 딥 러닝 분석의 결과를 사용하여, 차량 제어 모듈은, 예를 들어 결정된 경로를 따라서 적절한 속도로 차량을 작동하기 위해 적절한 방식(manner)을 결정한다. 다양한 실시예에서, 속도의 변화, 제동의 적용, 조종의 조정 등과 같은 차량 제어의 결과는 트레이닝 데이터의 자동 생성을 위해서 유지(retain)되고 사용(use)된다. 다양한 실시예에서, 차량 제어 매개변수들(vehicle control parameters)은 트레이닝 데이터의 자동 생성을 위해서 유지되고 (411)에서 전송(transmit)된다.
(411)에서, 센서 및 관련 데이터가 전송된다. 예를 들어, (405)에서 딥 러닝 분석의 결과 및/또는 (409)에서 사용된 차량 제어 매개변수와 함께 (401)에서 수신된 센서 데이터는 트레이닝 데이터의 자동 생성을 위해 컴퓨터 서버(computer server)에 전송된다. 일부 실시예에서, 데이터는 데이터의 시계열이고 다양한 수집된(gathered) 데이터는 컴퓨터 서버에 의하여 함께 연관(associate)된다. 예를 들어, 주행 거리 측정 데이터는 그라운드 트루스를 생성하기 위한 캡처된 이미지 데이터와 연관된다. 다양한 실시예에서, 수집된(collected) 데이터는, 예를 들어 와이파이(WiFi) 또는 셀룰러 연결(cellular connection)을 통하여, 차량으로부터 트레이닝 데이터 센터(training data center)로 무선으로 전송(transmit)된다. 다양한 실시예에서, 메타데이터(metadata)는 센서 데이터와 함께 전송된다. 예를 들어, 메타데이터는 하루 중 시간(time of day), 타임스탬프(timestamp), 위치, 차량의 타입(type of vehicle), 차량 제어 및/또는 속도, 가속도, 제동, 자율 주행이 활성화되었는지 여부, 조종 각도(steering angle), 주행 거리 측정 데이터 등과 같은 작동 매개변수를 포함할 수 있다. 추가 메타데이터는 마지막 이전 센서 데이터가 전송 되고부터 시간, 차량 타입(vehicle type), 기상 조건(weather conditions), 도로 조건(road conditions) 등을 포함한다. 일부 실시예에서, 전송된 데이터는, 예를 들어 차량의 고유 식별자(unique identifiers)를 제거하여 익명화(anonymize)된다. 또 다른 예로, 유사한 차량 모델의 데이터는 개별 사용자와 그들의 그들 차량 사용이 식별되는 것을 방지(prevent)하기 위해서 병합(merge)된다.
일부 실시예에서, 데이터는 트리거(trigger)에 대한 응답으로만 전송(transmit)된다. 예를 들어, 일부 실시예에서, 부정확학 예측은 딥 러닝 네트워크의 예측을 향상하기위한 큐레이트된(curated) 예시의 세트를 생성하기 위해서 데이터를 자동으로 수집하기 위한 센서 및 관련 데이터의 전송을 촉발(trigger)한다. 예를 들어, 차량이 합류(merge)를 시도하는지 여부와 관련된 (405)에서 수행된 예측은 예측을 실제로 관찰된 결과와 비교함으로써 부정확한 것으로 결정된다. 잘못된 예측과 관련된 센서 및 센서 데이터를 포함하는 데이터는 트레이닝 데이터를 자동으로 생성하기 위해서 전송되고 사용된다. 일부 실시예에서, 트리거는 급 커브(sharp curves), 도로의 분기점(forks in the roads), 차선 병합(lane merges), 급 정지(sudden stops), 또는 추가 트레이닝 데이터가 도움이 되고 수집(gather)하기 어려울 수 있는 다른 적절한 시나리오와 같은 특정 시나리오를 식별하는데 사용될 수 있다. 예를 들어, 트리거는 자율 주행 특성(autonomous driving features)의 갑작스러운 비활성화(deactivation) 또는 해제(disengagement)를 기초로 할 수 있다. 또 다른 예로, 속도의 변화 또는 가속도의 변화와 같은 차량 작동 속성(vehicle operating properties)은 트리거의 기초를 형성할 수 있다. 일부 실시예에서, 특정 임계(threshold) 미만의 정확도를 갖는 예측은 센서 및 관련 데이터의 전송을 촉발(trigger)시킨다. 예를 들어, 어떤 시나리오에서, 예측은 불린-정확(Boolean correct) 또는 불린-부정확(Boolean incorrect) 결과를 갖지 않을 수 있으며, 대신에 예측의 정확도 값(accuracy value)을 결정함으로써 평가된다.
다양한 실시예에서, 센서 및 관련 데이터는 일정 기간에 걸쳐서 캡처되고 데이터의 전체 시계열은 함께 전송된다. 시간 기간은 차량의 속도, 이동한 거리(distance traveled), 속도의 변화 등과 같은 하나 이상의 요소(factors)로 구성 및/또는 기초로 할 수 있다. 일부 실시예에서, 캡처된 센서 및/또는 관련 데이터의 샘플링 속도(sampling rate)는 설정할 수 있다(configurable). 예를 들어, 샘플링 속도는 고속에서(higher speed), 급 정지(sudden braking) 동안, 급 가속(sudden acceleration) 동안, 급하게 조종하는(hard steering) 동안, 또는 추가적인 정확도(fidelity)를 필요로 하는 다른 적절한 시나리오에서 증가(increase)한다.
도 5는 차량 센서로부터 캡처된 이미지의 일 예시를 도시한 도면이다. 도시된 예에서, 도 5의 이미지는 두 차선 경계선 사이 차선을 이동중인 차량으로부터 캡처된 이미지 데이터(image data)(500)를 포함한다. 이미지 데이터(500)를 캡처하는데 사용되는 차량 및 센서의 위치는 레이블 (A)로 표현(represent)된다. 이미지 데이터(500)은 센서 데이터이며 주행도중 차량의 전방 카메라와 같은 카메라 센서로부터 캡처될 수 있다. 이미지 데이터(500)은 차선 경계선의 일부(501 및 511)를 캡처한다. 차선 경계선(501 및 511)은 차선 경계선 (501 및 511)이 수평선(horizon)에 접근(approach)함에 따라 오른쪽으로 곡선을 이룬다(curve). 도시된 예에서, 차선 경계선(501 및 511)은 가시적(visible)이다, 그러나 카메라 센서의 위치에서 멀어지는 방향으로 곡선을 이루면서 감지하기가 점점 더 어려워진다. 차선 경계선(501 및 511)의 상단에 그려진 흰색 선은 어떤 추가 입력 없이 이미지 데이터(500)으로부터 차선 경계선(501 및 511)의 감지가능한(detectable) 부분(portion)을 근사화(approximate)한다. 일부 실시예에서, 차선 경계선(501 및 511)의 감지된 부분은 이미지 데이터(500)를 분할(segmenting)함으로써 감지(detect)될 수 있다.
일부 실시예에서, 레이블 (A), (B) 및 (C )는 도로 상의 상이한 위치 및 시계열의 상이한 시간에 대응한다. 레이블 (A)는 시간 및 이미지 데이터(500)가 캡처된 시간에서 차량의 위치에 대응(correspond)한다. 레이블 (B)는 레이블 (A)의 위치의 앞 도로상의 위치와 레이블 (A)의 시간 이후의 시간에 대응한다. 유사하게, 레이블 (C)는 레이블 (B)의 위치의 앞 도로상의 위치와 레이블 (B)의 시간 이후의 시간에 대응한다. 차량이 이동(travel)하면서, 레이블 (A), (B) 및 (C )의 위치를 통과하고(레이블 (A)에서 레이블(C)로) 이동하는 동안에 센서의 시계열과 관련 데이터를 캡처한다. 시계열은 레이블 (A), (B) 및 (C ) 위치(및 시간)에서 캡처된 요소들을 포함한다. 레이블 (A)는 시계열의 첫번째 요소에 대응(correspond)하고, 레이블 (B)는 시계열의 중간 요소에 대응하며, 레이블 (C)는 시계열의 중간(또는 잠재적으로 마지막) 요소에 대응한다. 각 레이블에서, 레이블의 위치에서 차량의 주행 거리 측정 데이터(odometry data)와 같은 추가 데이터가 캡처된다. 시계열의 길이에 의존하여, 추가적이거나 더 적은 데이터가 캡처된다. 일부 실시예에서, 타임스탬프(timestamp)는 시계열의 각 요소와 연관(associate)된다.
일부 실시예에서, 차선 경계선(501 및 511)에 대한 그라운드 트루스(미도시)가 결정된다. 예를 들어, 본 명세서에 개시된 프로세스(process)를 사용하여, 차선 경계선(501 및 511)의 위치는 요소들의 시계열의 다른 요소들로부터 차선 경계선(501 및 511)의 다른 부분(different portion)을 식별(identify)함으로써 식별된다. 도시된 예에서, 부분(portions)(503 및 513)은 레이블 (A)의 시간 및 위치에서 취해진(take) 이미지 데이터(500) 및 관련 데이터(주행 거리 측정 데이터와 같은)를 사용하여 식별된다. 부분(505 및 515)는 레이블 (B)의 시간 및 위치에서 취해진 이미지 데이터(미도시) 및 관련 데이터(주행 거리 측정 데이터와 같은)를 사용하여 식별된다. 부분(507 및 517)은 레이블 (C)의 시간 및 위치에서 취해진 이미지 데이터(미도시) 및 관련 데이터(주행 거리 측정 데이터와 같은)를 사용하여 식별된다. 요소들의 시계열을 분석함으로써, 차선 경계선(501 및 511)의 다른 부분의 위치는 식별되고 그라운드 트루스는 상이한 식별된 부분을 결합함으로써 결정될 수 있다. 일부 실시예에서, 부분은 차량 차선의 각 부분을 따라 포인트(point)로 식별된다. 도시된 예에서, 각 차량 차선의 3개의 부분만이 프로세스(process)를 설명(explain)하기 위해 강조표시(highlight)되었다(차선 경계선(501)에 대한 부분(503), (505), 및 (507) 그리고 차선 경계선(511)에 대한 부분(513), (515), 및 (517)), 그러나 추가 부분은 높은 해상도(resolution) 및/또는 더 높은 정확도(accuracy)로 차선 경계선의 위치를 결정(determine)하기 위해서 시계열에 걸쳐서 캡처될 수 있다.
다양한 실시예에서, 센서의 위치에서 가장 가까운 차선 경계선(501 및 511)을 캡처하는 이미지 데이터에서 부분의 위치(locations of portions)는 높은 정확도의 정도로 결정된다. 예를 들어, 부분(503 및 513)의 위치는 레이블 (A)의 이미지 데이터(500) 및 관련 데이터(주행 거리 측정 데이터와 같은)를 사용하여 높은 정확도의 정도로 식별된다. 부분(505 및 515)의 위치는 레이블 (B)의 이미지 및 관련 데이터를 사용하여 높은 정확도의 정도로 식별된다. 부분(507 및 517)의 위치는 레이블 (C)의 이미지 데이터 및 관련 데이터를 사용하여 높은 정확도의 정도로 식별된다. 요소들의 시계열을 이용함으로써, 시계열에 의해 캡처된 차선 경계선(501 및 511)의 다양한 부분의 위치는 3차원의 높은 정확도의 정도로 식별될 수 있고 차선 경계선(501 및 511)의 그라운드 트루스를 위한 기초로 사용될 수 있다. 다양한 실시예에서, 결정된 그라운드 트루스(ground truth)는 이미지 데이터(500)와 같은 시계열의 선택된 요소와 연관된다. 그라운드 트루스 및 선택된 요소는 차선 경계선을 예측하기 위한 트레이닝 데이터 생성에 사용될 수 있다. 일부 실시예에서, 트레이닝 데이터는 인간 레이블링(human labeling) 없이 자동으로 생성된다. 트레이닝 데이터는 이미지 데이터(500)과 같은 캡처된 데이터로부터 차선 경계선의 3차원 궤적을 예측하기위해서 머신 러닝 모델을 훈련하는데 사용될 수 있다.
도 6은 차선 경계선의 3차원 궤적을 예측하여 차량 센서로부터 캡처한 이미지의 예를 도시한 도면이다. 도시된 예에서, 도 6의 이미지는 두 차선 경계선 사이의 차선을 이동하는 차량으로부터 캡처된 이미지 데이터(600)을 포함한다. 이미지 데이터(600)을 캡처하기 위하여 사용된 차량 및 센서의 위치는 레이블 (A)로 표현된다. 일부 실시예에서, 레이블 (A)는 도 5의 레이블 (A)와 동일한 위치에 대응한다. 이미지 데이터(600)은 센서 데이터(sensor data)이고 주행중인 차량의 전방 카메라와 같은 카메라 센서(camera sensor)로부터 캡처될 수 있다. 이미지 데이터(600)은 차선 경계선(601 및 611)의 부분을 캡처한다. 차선 경계선(601 및 611)은 차선 경계선(601 및 611)이 수평선에 접근함에 따라서 오른쪽으로 곡선을 이룬다(curve). 도시된 예에서, 차선 경계선(601 및 611)은 가시적이다, 그러나 카메라 센서의 위치로부터 멀어지는 방향으로 곡선을 이루고 거리에서 멀리 떨어질수록 감지하기 점점 어려워진다. 차선 경계선(601 및 611)에 그려진 빨간색 선은 차선 경계선(601 및 611)의 예측된 3차원 궤적이다. 본 명세서에 개시된 프로세스를 사용하여, 3차원 궤적은 훈련된 머신 러닝 모델에 대한 입력으로서 이미지 데이터(600)를 사용하여 예측된다. 일부 실시예에서, 예측된 3차원 궤적은 3차원 매개변수화 스플라인(three-dimensional parameterized spline) 또는 다른 표현의 매개변수화 형식으로 표현(represent)된다.
도시된 예에서, 차선 경계선(601 및 611)의 부분(portions)(621)은 멀리 떨어져 있는 차선 경계선(601 및 611)의 일부(part)이다. 차선 경계선(601 및 611)의 부분(621)의 3차원 위치(즉, 경도(longitude), 위도(latitude), 및 고도(altitude))는 본 명세서에 개시된 프로세스를 사용하여 높은 정확도의 정도로 결정되고 차선 경계선(601 및 611)의 예측된 3차원 궤적에 포함된다. 훈련된 머신 러닝 모델을 사용하여, 차선 경계선(601 및 611)의 3차원 궤적은 차선 경계선(601 및 611)의 부분(621)의 위치에서 위치 데이터(location data)를 요구(require)하지 않으면서 이미지 데이터(600)를 사용하여 예측될 수 있다. 도시된 예에서, 이미지 데이터(600)는 레이블 (A)의 위치 및 시간에서 캡처된다.
일부 실시예에서, 도 6의 레이블 (A)는 도 5의 레이블 (A)에 대응하고 차선 경계선(601 및 611)의 예측된 3차원 궤적은 훈련된 머신 러닝 모델에 대한 입력으로서 이미지 데이터(600)만을 사용하여 결정된다. 도 5의 레이블 (A), (B), 및 (C)의 위치에서 취한(take) 요소들을 포함하는 시계열의 관련 데이터 및 이미지를 사용하여 결정된 그라운드 트루스를 사용하여 머신 러닝 모델을 훈련함으로써, 차선 경계선(601 및 611)의 3차원 궤적은, 부분(621)과 같은 먼 곳에 있는 차선 경계선의 부분(portion)도 높은 정확도의 정도로 예측된다. 이미지 데이터(600)와 도 5의 이미지 데이터(500)가 연관되어 있더라도, 궤적(trajectories)의 예측은 트레이닝 데이터에 포함될 이미지 데이터(600)을 요구하지(require) 않는다. 충분한 트레이닝 데이터의 훈련을 통해, 차선 경계선은 새로이 접하는(counter) 시나리오(scenario)에서도 예측될 수 있다. 다양한 실시예에서, 차선 경계선(601 및 611)의 예측된 3차원 궤적은 감지(detect)된 차선 경계선 내에서 차량의 위치를 유지(maintain)하기위해 및/또는 예측 차선 경계선의 감지된 차선을 따라서 차량이 자율적으로 항행(navigate)하기위해 사용된다. 차선 경계선을 3차원으로 예측함으로써, 항행(navigation)의 성능(performance), 안전성(safely) 및 정확성(accuracy)이 대단히 개선된다.
전술한 실시예가 이해를 명료하게 하기 위한 목적으로 일부 상세하게 설명되었지만, 발명은 제공된 상세설명에 의해 제한되지 않는다. 본 발명을 구현하기 위한 다수의 대안적인 방법이 있다. 본 명세서에 개시된 실시예는 예시적이며 제한적이지 않다.
Claims (20)
- 시계열 요소들 그룹을 포함하는 센서 데이터를 수신하는 단계;
트레이닝 데이터세트를 결정하는 단계; 및
상기 트레이닝 데이터세트를 사용하여 머신 러닝 모델을 훈련하기 위해 프로세서를 사용하는 단계
를 포함하고,
상기 트레이닝 데이터세트를 결정하는 단계는,
상기 시계열 요소들 그룹 내 복수의 시계열 요소들에 기초하여, 상기 시계열 요소들 그룹 내 적어도 하나의 선택된 시계열 요소들에 대응하는 그라운드 트루스를 결정하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 대응하는 그라운드 트루스는 차량 차선 경계선과 연관되는
방법. - 제2항에 있어서,
상기 시계열 요소들 그룹 내의 다른 요소들로부터 상기 차량 차선 경계선의 다른 부분을 식별하는 단계
를 더 포함하는 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 복수의 시계열 요소들은,
상기 선택된 시계열 요소에서 차량 차선 경계선의 위치를 식별하는데 사용되는
방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 시계열 요소들 그룹의 각 요소는,
대응하는 타임스탬프와 연관된 이미지
를 포함하는 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 대응하는 그라운드 트루스는,
상기 복수의 시계열 요소들과 연관되는 주행 거리 측정 데이터
를 사용하여 결정되는
방법. - 제6항에 있어서,
상기 주행 거리 측정 데이터는,
차량 위치 데이터 및 차량 방향 데이터
를 포함하는 방법. - 제6항에 있어서,
상기 주행 거리 측정 데이터는,
차량 위치의 제1 변화 및 차량 방향의 제2 변화를 식별하는
방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 대응하는 그라운드 트루스는, 3차원 궤적을 포함하는
방법. - 제9항에 있어서,
상기 3차원 궤적은, 파라메트릭 곡선으로 표현되는
방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 대응하는 그라운드 트루스는,
상기 센서 데이터를 캡처한 센서를 포함하는 제1 차량과 다른 제2 차량의 예측 경로와 연관되는
방법. - 제11항에 있어서,
상기 제2 차량은, 상기 제1 차량의 차선에 진입하는 것으로 식별되는
방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 대응하는 그라운드 트루스는 물체의 거리와 연관되는
방법. - 제13항에 있어서,
상기 물체는,
장애물, 이동 차량, 정지 차량 또는 장벽인
방법. - 제13항에 있어서,
상기 물체의 거리는,
상기 복수의 시계열 요소들과 연관된 레이더 데이터에 기초하여 결정되는
방법. - 제1항 내지 제15항 중 어느 한 항에 있어서,
상기 센서 데이터는,
구성된 시간 기간에 걸쳐서 수집되는
방법 - 제1항 내지 제16항 중 어느 한 항에 있어서,
상기 시계열 요소들 그룹에 포함된 요소들의 수는, 이동한 거리에 기초하는
방법. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 시계열 요소들 그룹에 포함된 요소들의 수는,
평균 차량 속도에 기초하는
방법. - 컴퓨터 프로그램 제품에 있어서,
상기 컴퓨터 프로그램 제품은,
비일시적 컴퓨터 판독가능 저장 매체에 구현되고,
상기 컴퓨터 프로그램 제품은,
시계열 요소들 그룹을 포함하는 센서 데이터를 수신하고,
트레이닝 데이터세트를 결정하고,
상기 트레이닝 데이터세트를 사용하여 머신 러닝 모델을 훈련하기 위해 프로세서를 사용하도록 하는
컴퓨터 명령어를 포함하고,
상기 트레이닝 데이터세트를 결정하는 것은,
상기 시계열 요소들 그룹 내 복수의 시계열 요소들에 기초하여, 상기 시계열 요소들 그룹 내 적어도 하나의 선택된 시계열 요소에 대해 대응하는 그라운드 트루스를 결정하는 것
을 포함하는 컴퓨터 프로그램 제품. - 시스템에 있어서,
프로세서; 및
상기 프로세서와 결합된 메모리
를 포함하고,
상기 메모리는,
실행될 때 상기 프로세서로 하여금,
시계열 요소들 그룹을 포함하는 센서 데이터를 수신하고,
트레이닝 데이터세트를 결정하고,
상기 트레이닝 데이터세트를 사용하여 머신 러닝 모델을 훈련하도록 하는
명령어들을 상기 프로세서에 제공하도록 구성되고,
상기 트레이닝 데이터세트를 결정하는 것은,
상기 시계열 요소들 그룹 내 복수의 시계열 요소들에 기초하여, 상기 시계열 요소들 그룹 내 적어도 하나의 선택된 시계열 요소에 대해 대응하는 그라운드 트루스를 결정하는 것
을 포함하는 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020237039946A KR20230162149A (ko) | 2019-02-01 | 2020-01-28 | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/265,729 | 2019-02-01 | ||
US16/265,729 US10997461B2 (en) | 2019-02-01 | 2019-02-01 | Generating ground truth for machine learning from time series elements |
PCT/US2020/015371 WO2020159960A1 (en) | 2019-02-01 | 2020-01-28 | Generating ground truth for machine learning from time series elements |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237039946A Division KR20230162149A (ko) | 2019-02-01 | 2020-01-28 | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210122802A true KR20210122802A (ko) | 2021-10-12 |
KR102605807B1 KR102605807B1 (ko) | 2023-11-23 |
Family
ID=69740602
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237039946A KR20230162149A (ko) | 2019-02-01 | 2020-01-28 | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 |
KR1020217026370A KR102605807B1 (ko) | 2019-02-01 | 2020-01-28 | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237039946A KR20230162149A (ko) | 2019-02-01 | 2020-01-28 | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10997461B2 (ko) |
EP (1) | EP3918613A1 (ko) |
JP (1) | JP7467485B2 (ko) |
KR (2) | KR20230162149A (ko) |
CN (1) | CN113614851A (ko) |
AU (1) | AU2020215680A1 (ko) |
CA (1) | CA3128025A1 (ko) |
IL (2) | IL309614A (ko) |
SG (1) | SG11202108322QA (ko) |
WO (1) | WO2020159960A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102657675B1 (ko) * | 2023-01-20 | 2024-04-16 | 주식회사 핀텔 | 디지털트윈을 이용한 인공지능모델의 평가방법 및 시스템 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109159733B (zh) * | 2018-09-10 | 2021-01-05 | 百度在线网络技术(北京)有限公司 | 无人车路口通行的方法、装置、设备及存储介质 |
US10997461B2 (en) * | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US20200255028A1 (en) * | 2019-02-08 | 2020-08-13 | Cartica Ai Ltd | Autonomous driving using an adjustable autonomous driving pattern |
JP7271237B2 (ja) * | 2019-03-11 | 2023-05-11 | 株式会社デンソーテン | データ収集装置、車載装置、データ収集システム、データ収集方法およびデータ提供方法 |
CN110135302B (zh) * | 2019-04-30 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 训练车道线识别模型的方法、装置、设备和存储介质 |
US11145193B2 (en) * | 2019-12-20 | 2021-10-12 | Qualcom Incorporated | Intersection trajectory determination and messaging |
US20210239828A1 (en) * | 2020-02-03 | 2021-08-05 | Veev Group, Inc. | System, method and computer program product for improved radar-based object recognition |
US11416959B1 (en) * | 2020-02-10 | 2022-08-16 | Zoox, Inc. | Vision architecture |
US11840175B2 (en) * | 2020-09-23 | 2023-12-12 | Robert D. Fish | Traffic signal alarm device having no navigational control |
US11597404B2 (en) * | 2020-09-23 | 2023-03-07 | Robert D. Fish | Traffic signal alarm device |
US11654933B2 (en) * | 2020-11-10 | 2023-05-23 | GM Global Technology Operations LLC | Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network |
US20210101619A1 (en) * | 2020-12-16 | 2021-04-08 | Mobileye Vision Technologies Ltd. | Safe and scalable model for culturally sensitive driving by automated vehicles |
US20220228866A1 (en) * | 2021-01-15 | 2022-07-21 | ALMA Technologies Ltd. | System and method for providing localization using inertial sensors |
US11859978B2 (en) | 2021-01-15 | 2024-01-02 | ALMA Technologies Ltd. | System and method for estimating a velocity of a vehicle using inertial sensors |
US20220260993A1 (en) * | 2021-02-16 | 2022-08-18 | Ford Global Technologies, Llc | Vehicle Control Systems And Methods |
JP2022138782A (ja) * | 2021-03-11 | 2022-09-26 | トヨタ自動車株式会社 | 交差点管制システム、交差点管制方法、及び、プログラム |
US11623654B2 (en) | 2021-05-05 | 2023-04-11 | Nissan North America, Inc. | Systems and methods of assisting vehicle navigation |
US11972614B2 (en) * | 2021-11-09 | 2024-04-30 | Zoox, Inc. | Machine-learned architecture for efficient object attribute and/or intention classification |
US20240070232A1 (en) * | 2022-08-22 | 2024-02-29 | Nec Laboratories America, Inc. | Snr detection with few-shot trained models |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190000843A (ko) * | 2017-06-23 | 2019-01-03 | 우버 테크놀로지스, 인크. | 자율 주행 가능 차량용 충돌-회피 시스템 |
Family Cites Families (835)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2578262Y2 (ja) | 1991-07-31 | 1998-08-06 | エルナー株式会社 | 座付き偏平形電解コンデンサ及びこれに用いる座板材 |
US6587573B1 (en) | 2000-03-20 | 2003-07-01 | Gentex Corporation | System for controlling exterior vehicle lights |
JP3941252B2 (ja) | 1998-08-07 | 2007-07-04 | マツダ株式会社 | 車両の位置検出装置 |
KR100326702B1 (ko) | 1999-03-16 | 2002-03-12 | 이계안 | 차선이탈 경보장치의 실 도로폭 산출방법 |
US6654507B2 (en) | 2000-12-14 | 2003-11-25 | Eastman Kodak Company | Automatically producing an image of a portion of a photographic image |
GB2370438A (en) | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
KR100440953B1 (ko) | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
US6882755B2 (en) | 2001-10-19 | 2005-04-19 | Hewlett-Packard Development Company, L.P. | Image transmission for low bandwidth with region of interest |
JP3822515B2 (ja) | 2002-03-29 | 2006-09-20 | 株式会社東芝 | 障害物検知装置及びその方法 |
MXPA05008702A (es) | 2003-02-21 | 2005-10-05 | Gentex Corp | Montajes de sistema automatico de control de luces exteriores del vehiculo. |
SE526424C2 (sv) | 2003-06-02 | 2005-09-13 | Lear Corp | Aktivt mörkerseendesystem för ett inre passagerarutrymme hos ett fordon samt metod för att styra nämnda system |
EP1498694B1 (en) | 2003-07-16 | 2012-01-04 | Navteq North America, LLC | Vehicle driver assistance system |
US20060280364A1 (en) | 2003-08-07 | 2006-12-14 | Matsushita Electric Industrial Co., Ltd. | Automatic image cropping system and method for use with portable devices equipped with digital cameras |
JP4300098B2 (ja) | 2003-11-13 | 2009-07-22 | 日本電信電話株式会社 | オブジェクト識別方法とその装置、プログラム及び記録媒体 |
US20050162445A1 (en) | 2004-01-22 | 2005-07-28 | Lumapix | Method and system for interactive cropping of a graphical object within a containing region |
US20060072847A1 (en) | 2004-10-01 | 2006-04-06 | Microsoft Corporation | System for automatic image cropping based on image saliency |
JP4282583B2 (ja) | 2004-10-29 | 2009-06-24 | シャープ株式会社 | 動画編集装置及び方法 |
US8913830B2 (en) | 2005-01-18 | 2014-12-16 | Siemens Aktiengesellschaft | Multilevel image segmentation |
TW200630834A (en) | 2005-02-23 | 2006-09-01 | Northern Taiwan Inst Of Science And Technology | Method and device using intelligent theory to evaluate permeability of heat pipe |
TW200630833A (en) | 2005-02-23 | 2006-09-01 | Northern Taiwan Inst Of Science And Technology | Method and device using intelligent theory to design heat dissipation opening of computer housing |
TW200630819A (en) | 2005-02-23 | 2006-09-01 | Northern Taiwan Inst Of Science And Technology | Method of using intelligent theory to design heat dissipation module and device thereof |
US20060224533A1 (en) | 2005-03-14 | 2006-10-05 | Thaler Stephen L | Neural network development and data analysis tool |
US8106956B2 (en) | 2005-06-27 | 2012-01-31 | Nokia Corporation | Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products |
US7747070B2 (en) | 2005-08-31 | 2010-06-29 | Microsoft Corporation | Training convolutional neural networks on graphics processing units |
JP4388939B2 (ja) | 2006-09-25 | 2009-12-24 | 富士フイルム株式会社 | 画像再生装置ならびにその制御方法およびその制御プログラム |
US11625761B2 (en) | 2007-09-06 | 2023-04-11 | Mohammad A. Mazed | System and method for machine learning and augmented reality based user application |
US20090016571A1 (en) | 2007-03-30 | 2009-01-15 | Louis Tijerina | Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images |
US7904867B2 (en) | 2007-04-04 | 2011-03-08 | Synopsys, Inc. | Integrating a boolean SAT solver into a router |
US8165380B2 (en) | 2008-09-11 | 2012-04-24 | PACSPLUS Co., Ltd. | Method, apparatus and program for processing mammographic image |
JP2010114731A (ja) | 2008-11-07 | 2010-05-20 | Toshiba Corp | カメラモジュールの製造方法 |
CN101742324A (zh) | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | 视频编解码方法、视频编解码系统及编解码器 |
KR100966288B1 (ko) | 2009-01-06 | 2010-06-28 | 주식회사 이미지넥스트 | 주변 영상 생성 방법 및 장치 |
KR101082878B1 (ko) | 2009-01-29 | 2011-11-11 | 연세대학교 산학협력단 | 홍채 영상 복원 방법 |
CN101477692B (zh) | 2009-02-13 | 2012-08-22 | 阿里巴巴集团控股有限公司 | 图像特征提取方法及装置 |
US8284997B2 (en) | 2009-03-11 | 2012-10-09 | Honeywell International Inc. | Vision-based vehicle navigation system and method |
WO2010124376A1 (en) | 2009-04-27 | 2010-11-04 | Vincent Charles Cheung | Method, system and computer product for distribution of data objects |
US8406515B2 (en) | 2009-06-24 | 2013-03-26 | Hewlett-Packard Development Company, L.P. | Method for automatically cropping digital images |
KR20120055632A (ko) | 2009-08-11 | 2012-05-31 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치 |
US8447139B2 (en) | 2010-04-13 | 2013-05-21 | International Business Machines Corporation | Object recognition using Haar features and histograms of oriented gradients |
JP5503419B2 (ja) | 2010-06-03 | 2014-05-28 | 株式会社日立製作所 | 無人搬送車および走行制御方法 |
US10645344B2 (en) | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
JP5656563B2 (ja) | 2010-11-02 | 2015-01-21 | キヤノン株式会社 | 文書管理システム、文書管理システムの制御方法、プログラム |
JP5170226B2 (ja) | 2010-12-10 | 2013-03-27 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
EP2723069B1 (en) | 2011-06-16 | 2017-10-18 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
JP5911165B2 (ja) | 2011-08-05 | 2016-04-27 | 株式会社メガチップス | 画像認識装置 |
CA2883091C (en) | 2011-08-25 | 2020-02-25 | Cornell University | Retinal encoder for machine vision |
US8773498B2 (en) | 2011-09-30 | 2014-07-08 | Polycom, Inc. | Background compression and resolution enhancement technique for video telephony and video conferencing |
US8588470B2 (en) | 2011-11-18 | 2013-11-19 | Xerox Corporation | Methods and systems for improved license plate signature matching by similarity learning on synthetic images |
JP5863536B2 (ja) | 2012-03-29 | 2016-02-16 | 富士重工業株式会社 | 車外監視装置 |
DE112012006147B8 (de) | 2012-03-29 | 2018-09-06 | Toyota Jidosha Kabushiki Kaisha | Straßenoberflächen-Zustands-Bestimmungsvorrichtung |
US9738223B2 (en) | 2012-05-31 | 2017-08-22 | GM Global Technology Operations LLC | Dynamic guideline overlay with image cropping |
US8976269B2 (en) | 2012-06-22 | 2015-03-10 | California Institute Of Technology | Compressive sensing based bio-inspired shape feature detection CMOS imager |
US9008422B2 (en) | 2012-06-28 | 2015-04-14 | Lexmark International, Inc. | Methods of content-driven image cropping |
JP6044134B2 (ja) | 2012-06-29 | 2016-12-14 | カシオ計算機株式会社 | 最適画像サイズによる画像領域分割装置、方法、およびプログラム |
CN102737236B (zh) | 2012-07-06 | 2015-06-24 | 北京大学 | 一种基于多模态传感器数据自动获取车辆训练样本方法 |
JP6011104B2 (ja) | 2012-07-24 | 2016-10-19 | 株式会社デンソー | 車両用視界支援装置 |
US9081385B1 (en) | 2012-12-21 | 2015-07-14 | Google Inc. | Lane boundary detection using images |
US9754154B2 (en) | 2013-02-15 | 2017-09-05 | Microsoft Technology Licensing, Llc | Identification using depth-based head-detection data |
CN105408746A (zh) | 2013-02-28 | 2016-03-16 | 普罗吉涅股份有限公司 | 基于图像的人胚胎细胞分类的装置、方法和系统 |
US9165203B2 (en) | 2013-03-15 | 2015-10-20 | Arris Technology, Inc. | Legibility enhancement for a logo, text or other region of interest in video |
CN103236037B (zh) | 2013-04-03 | 2016-05-11 | 北京航空航天大学 | 基于分层退化模型的无人机实时图像模拟方法 |
JP2015004922A (ja) | 2013-06-24 | 2015-01-08 | 株式会社ニコン | 焦点調節装置及び撮像装置 |
CN103366339B (zh) | 2013-06-25 | 2017-11-28 | 厦门龙谛信息系统有限公司 | 车载多广角摄像头图像合成处理装置及方法 |
GB2518589B (en) | 2013-07-30 | 2019-12-11 | Holition Ltd | Image processing |
US9317775B2 (en) | 2013-08-14 | 2016-04-19 | Ricoh Co., Ltd. | Recognition procedure for identifying multiple items in images |
CN103500322B (zh) | 2013-09-10 | 2016-08-17 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
US20150104102A1 (en) | 2013-10-11 | 2015-04-16 | Universidade De Coimbra | Semantic segmentation method with second-order pooling |
US10769446B2 (en) | 2014-02-28 | 2020-09-08 | Second Spectrum, Inc. | Methods and systems of combining video content with one or more augmentations |
US10832057B2 (en) | 2014-02-28 | 2020-11-10 | Second Spectrum, Inc. | Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US9275289B2 (en) | 2014-03-27 | 2016-03-01 | Xerox Corporation | Feature- and classifier-based vehicle headlight/shadow removal in video |
US9384402B1 (en) | 2014-04-10 | 2016-07-05 | Google Inc. | Image and video compression for remote vehicle assistance |
EP2942765B1 (en) | 2014-05-07 | 2018-12-26 | Honda Research Institute Europe GmbH | Method and system for predictive lane change assistance, program software product and vehicle |
JP2016004446A (ja) | 2014-06-17 | 2016-01-12 | トヨタ自動車株式会社 | 動き推定装置 |
JP2016013793A (ja) | 2014-07-03 | 2016-01-28 | 株式会社デンソー | 画像表示装置、画像表示方法 |
SG10201405182WA (en) | 2014-08-25 | 2016-03-30 | Univ Singapore Technology & Design | Method and system |
US10229478B2 (en) | 2014-09-26 | 2019-03-12 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
US20160132786A1 (en) | 2014-11-12 | 2016-05-12 | Alexandru Balan | Partitioning data for training machine-learning classifiers |
CN105809655B (zh) | 2014-12-30 | 2021-06-29 | 清华大学 | 车辆检查方法和系统 |
US9916540B2 (en) | 2015-01-22 | 2018-03-13 | Microsoft Technology Licensing, Llc | Scalable-effort classifiers for energy-efficient machine learning |
CA2976344A1 (en) | 2015-02-10 | 2016-08-18 | Mobileye Vision Technologies Ltd. | Sparse map for autonomous vehicle navigation |
JP6525707B2 (ja) | 2015-04-23 | 2019-06-05 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム、並びに撮像装置 |
CN104835114A (zh) | 2015-05-06 | 2015-08-12 | 山东大学 | 一种图像自适应显示方法 |
US9542751B2 (en) | 2015-05-08 | 2017-01-10 | Qualcomm Incorporated | Systems and methods for reducing a plurality of bounding regions |
GB201508074D0 (en) | 2015-05-12 | 2015-06-24 | Apical Ltd | People detection |
WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
US10062010B2 (en) | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10410096B2 (en) | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
US10242293B2 (en) | 2015-08-04 | 2019-03-26 | The Asan Foundation | Method and program for computing bone age by deep neural network |
US9767565B2 (en) | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
KR101738422B1 (ko) | 2015-09-14 | 2017-05-23 | 한국과학기술원 | 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법 |
US9442496B1 (en) | 2015-09-18 | 2016-09-13 | Amazon Technologies, Inc. | Active airborne noise abatement |
US10282623B1 (en) | 2015-09-25 | 2019-05-07 | Apple Inc. | Depth perception sensor data processing |
US9704045B2 (en) | 2015-10-06 | 2017-07-11 | Yahoo! Inc. | User classification based upon images |
WO2017074966A1 (en) | 2015-10-26 | 2017-05-04 | Netradyne Inc. | Joint processing for embedded data inference |
CN105318888B (zh) | 2015-12-07 | 2018-08-14 | 北京航空航天大学 | 基于无人机感知的无人驾驶车辆路径规划方法 |
CN105550701B (zh) | 2015-12-09 | 2018-11-06 | 福州华鹰重工机械有限公司 | 实时图像提取识别方法及装置 |
US10318848B2 (en) | 2015-12-15 | 2019-06-11 | Qualcomm Incorporated | Methods for object localization and image classification |
WO2017108221A1 (en) | 2015-12-21 | 2017-06-29 | Robert Bosch Gmbh | Dynamic image blending for multiple-camera vehicle systems |
US10769518B1 (en) | 2015-12-29 | 2020-09-08 | State Farm Mutual Automobile Insurance Company | Method of controlling for undesired factors in machine learning models |
US10373019B2 (en) | 2016-01-13 | 2019-08-06 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
US20170206434A1 (en) | 2016-01-14 | 2017-07-20 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
WO2017136929A1 (en) | 2016-02-08 | 2017-08-17 | Nuralogix Corporation | Deception detection system and method |
US10599701B2 (en) | 2016-02-11 | 2020-03-24 | Ebay Inc. | Semantic category classification |
GB2548087B (en) | 2016-03-02 | 2022-05-11 | Holition Ltd | Locating and augmenting object features in images |
WO2017158622A2 (en) | 2016-03-16 | 2017-09-21 | INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) | Method for managing image data at electronic device |
EP3229172A1 (en) | 2016-04-04 | 2017-10-11 | Conti Temic microelectronic GmbH | Driver assistance system with variable image resolution |
US10789544B2 (en) | 2016-04-05 | 2020-09-29 | Google Llc | Batching inputs to a machine learning model |
US10732621B2 (en) | 2016-05-09 | 2020-08-04 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for process adaptation in an internet of things downstream oil and gas environment |
US10366290B2 (en) | 2016-05-11 | 2019-07-30 | Baidu Usa Llc | System and method for providing augmented virtual reality content in autonomous vehicles |
FR3051275A1 (fr) | 2016-05-13 | 2017-11-17 | Inst Vedecom | Procede de traitement d’image pour la reconnaissance de marquage au sol et systeme pour la detection du marquage au sol |
EP3252658B1 (en) | 2016-05-30 | 2021-08-11 | Kabushiki Kaisha Toshiba | Information processing apparatus and information processing method |
EP3748558A1 (en) | 2016-06-13 | 2020-12-09 | Google LLC | Automated telephone call initiating system and method |
US10019009B2 (en) | 2016-06-15 | 2018-07-10 | Allstate Insurance Company | Vehicle control systems |
US10489972B2 (en) | 2016-06-28 | 2019-11-26 | Cognata Ltd. | Realistic 3D virtual world creation and simulation for training automated driving systems |
US11298072B2 (en) | 2016-07-01 | 2022-04-12 | Bostel Technologies, Llc | Dermoscopy diagnosis of cancerous lesions utilizing dual deep learning algorithms via visual and audio (sonification) outputs |
US10852744B2 (en) | 2016-07-01 | 2020-12-01 | Uatc, Llc | Detecting deviations in driving behavior for autonomous vehicles |
WO2018013495A1 (en) | 2016-07-11 | 2018-01-18 | Gravity Jack, Inc. | Augmented reality methods and devices |
WO2018017467A1 (en) | 2016-07-18 | 2018-01-25 | NantOmics, Inc. | Distributed machine learning systems, apparatus, and methods |
US10838426B2 (en) | 2016-07-21 | 2020-11-17 | Mobileye Vision Technologies Ltd. | Distributing a crowdsourced sparse map for autonomous vehicle navigation |
CN106295678B (zh) | 2016-07-27 | 2020-03-06 | 北京旷视科技有限公司 | 神经网络训练与构建方法和装置以及目标检测方法和装置 |
CN106156754B (zh) | 2016-07-29 | 2019-05-31 | 浙江工业大学 | 一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法 |
US20180039853A1 (en) | 2016-08-02 | 2018-02-08 | Mitsubishi Electric Research Laboratories, Inc. | Object Detection System and Object Detection Method |
US10664750B2 (en) | 2016-08-10 | 2020-05-26 | Google Llc | Deep machine learning to predict and prevent adverse conditions at structural assets |
KR102462502B1 (ko) | 2016-08-16 | 2022-11-02 | 삼성전자주식회사 | 스테레오 카메라 기반의 자율 주행 방법 및 그 장치 |
US10922578B2 (en) | 2016-08-24 | 2021-02-16 | Google Llc | Change detection based imagery acquisition tasking system |
US10019655B2 (en) | 2016-08-31 | 2018-07-10 | Adobe Systems Incorporated | Deep-learning network architecture for object detection |
US20180068459A1 (en) | 2016-09-08 | 2018-03-08 | Ford Global Technologies, Llc | Object Distance Estimation Using Data From A Single Camera |
US10317901B2 (en) | 2016-09-08 | 2019-06-11 | Mentor Graphics Development (Deutschland) Gmbh | Low-level sensor fusion |
US10394237B2 (en) | 2016-09-08 | 2019-08-27 | Ford Global Technologies, Llc | Perceiving roadway conditions from fused sensor data |
US10467459B2 (en) | 2016-09-09 | 2019-11-05 | Microsoft Technology Licensing, Llc | Object detection based on joint feature extraction |
CN106419893A (zh) | 2016-09-18 | 2017-02-22 | 广州视源电子科技股份有限公司 | 睡眠状态检测方法和装置 |
US10133273B2 (en) | 2016-09-20 | 2018-11-20 | 2236008 Ontario Inc. | Location specific assistance for autonomous vehicle control system |
GB201616097D0 (en) | 2016-09-21 | 2016-11-02 | Univ Oxford Innovation Ltd | Segmentation of path proposals |
US10769525B2 (en) | 2016-09-23 | 2020-09-08 | Apple Inc. | Decision making for autonomous vehicle motion control |
CN106650922B (zh) | 2016-09-29 | 2019-05-03 | 清华大学 | 硬件神经网络转换方法、计算装置、软硬件协作系统 |
US11544539B2 (en) | 2016-09-29 | 2023-01-03 | Tsinghua University | Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system |
US10514711B2 (en) | 2016-10-09 | 2019-12-24 | Airspace Systems, Inc. | Flight control using computer vision |
KR101851155B1 (ko) | 2016-10-12 | 2018-06-04 | 현대자동차주식회사 | 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 |
CN106504253A (zh) | 2016-10-14 | 2017-03-15 | 国政通科技股份有限公司 | 一种医疗影像照片的处理方法及系统 |
CN107031600A (zh) | 2016-10-19 | 2017-08-11 | 东风汽车公司 | 基于高速公路的自动驾驶系统 |
US10346723B2 (en) | 2016-11-01 | 2019-07-09 | Snap Inc. | Neural network for object detection in images |
US9989964B2 (en) | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
WO2018082165A1 (zh) | 2016-11-03 | 2018-05-11 | 华为技术有限公司 | 光学成像方法及其装置 |
US10331974B2 (en) | 2016-11-08 | 2019-06-25 | Nec Corporation | Action recognition system with landmark localization on objects in images using convolutional neural networks |
CN106598226B (zh) | 2016-11-16 | 2019-05-21 | 天津大学 | 一种基于双目视觉和深度学习的无人机人机交互方法 |
WO2018092071A1 (en) | 2016-11-16 | 2018-05-24 | Navix International Limited | Estimators for ablation effectiveness |
US10650071B2 (en) | 2016-11-28 | 2020-05-12 | Google Llc | Search and retrieval of keyed data maintained using a keyed database |
CN108122234B (zh) | 2016-11-29 | 2021-05-04 | 北京市商汤科技开发有限公司 | 卷积神经网络训练及视频处理方法、装置和电子设备 |
CN106558058B (zh) | 2016-11-29 | 2020-10-09 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
US10699119B2 (en) | 2016-12-02 | 2020-06-30 | GEOSAT Aerospace & Technology | Methods and systems for automatic object detection from aerial imagery |
US10529088B2 (en) | 2016-12-02 | 2020-01-07 | Gabriel Fine | Automatically determining orientation and position of medically invasive devices via image processing |
US10380741B2 (en) | 2016-12-07 | 2019-08-13 | Samsung Electronics Co., Ltd | System and method for a deep learning machine for object detection |
KR20180068511A (ko) | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법 |
US10748062B2 (en) | 2016-12-15 | 2020-08-18 | WaveOne Inc. | Deep learning based adaptive arithmetic coding and codelength regularization |
CN110832474B (zh) | 2016-12-30 | 2023-09-15 | 辉达公司 | 更新高清地图的方法 |
US10474164B2 (en) | 2016-12-30 | 2019-11-12 | DeepMap Inc. | Representing navigable surface boundaries of lanes in high definition maps for autonomous vehicles |
US10262218B2 (en) | 2017-01-03 | 2019-04-16 | Qualcomm Incorporated | Simultaneous object detection and rigid transform estimation using neural network |
US10228693B2 (en) | 2017-01-13 | 2019-03-12 | Ford Global Technologies, Llc | Generating simulated sensor data for training and validation of detection models |
US10192016B2 (en) | 2017-01-17 | 2019-01-29 | Xilinx, Inc. | Neural network based physical synthesis for circuit designs |
US20180211403A1 (en) | 2017-01-20 | 2018-07-26 | Ford Global Technologies, Llc | Recurrent Deep Convolutional Neural Network For Object Detection |
US10740563B2 (en) | 2017-02-03 | 2020-08-11 | Benedict R. Dugan | System and methods for text classification |
CN106779060B (zh) | 2017-02-09 | 2019-03-08 | 武汉魅瞳科技有限公司 | 一种适于硬件设计实现的深度卷积神经网络的计算方法 |
JP2018136803A (ja) | 2017-02-23 | 2018-08-30 | 株式会社日立製作所 | 画像認識システム |
WO2018160724A1 (en) | 2017-02-28 | 2018-09-07 | Wayfarer, Inc. | Transportation system |
US10140252B2 (en) | 2017-02-28 | 2018-11-27 | Microsoft Technology Licensing, Llc | Hardware node with matrix-vector multiply tiles for neural network processing |
US10146225B2 (en) | 2017-03-02 | 2018-12-04 | GM Global Technology Operations LLC | Systems and methods for vehicle dimension prediction |
US10733482B1 (en) | 2017-03-08 | 2020-08-04 | Zoox, Inc. | Object height estimation from monocular images |
US10671873B2 (en) | 2017-03-10 | 2020-06-02 | Tusimple, Inc. | System and method for vehicle wheel detection |
US10311312B2 (en) | 2017-08-31 | 2019-06-04 | TuSimple | System and method for vehicle occlusion detection |
JP6665819B2 (ja) | 2017-03-17 | 2020-03-13 | トヨタ自動車株式会社 | 車載表示装置 |
US11067995B2 (en) | 2017-03-20 | 2021-07-20 | Mobileye Vision Technologies Ltd. | Navigation by augmented path prediction |
US10692000B2 (en) | 2017-03-20 | 2020-06-23 | Sap Se | Training machine learning models |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
CN107103113B (zh) | 2017-03-23 | 2019-01-11 | 中国科学院计算技术研究所 | 面向神经网络处理器的自动化设计方法、装置及优化方法 |
JP6658643B2 (ja) | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
US9965865B1 (en) | 2017-03-29 | 2018-05-08 | Amazon Technologies, Inc. | Image data segmentation using depth data |
US10248121B2 (en) | 2017-03-31 | 2019-04-02 | Uber Technologies, Inc. | Machine-learning based autonomous vehicle management system |
US10733876B2 (en) | 2017-04-05 | 2020-08-04 | Carnegie Mellon University | Deep learning methods for estimating density and/or flow of objects, and related methods and software |
US10296828B2 (en) | 2017-04-05 | 2019-05-21 | Here Global B.V. | Learning a similarity measure for vision-based localization on a high definition (HD) map |
DE202017102238U1 (de) | 2017-04-13 | 2017-05-12 | Robert Bosch Gmbh | Aktorsteuerungssystem |
DE202017102235U1 (de) | 2017-04-13 | 2017-05-12 | Robert Bosch Gmbh | Trainingssystem |
US10303961B1 (en) | 2017-04-13 | 2019-05-28 | Zoox, Inc. | Object detection and passenger notification |
US10614111B2 (en) | 2017-04-17 | 2020-04-07 | Mammoth Medical, Llc | System and method for machine-learning input-based data autogeneration |
US11361758B2 (en) | 2017-04-18 | 2022-06-14 | D5Ai Llc | Multi-stage machine learning and recognition |
DE102018200724A1 (de) | 2017-04-19 | 2018-10-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples" |
CN107169560B (zh) | 2017-04-19 | 2020-10-16 | 清华大学 | 一种自适应可重构的深度卷积神经网络计算方法和装置 |
CN107169421B (zh) | 2017-04-20 | 2020-04-28 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
DE202017102381U1 (de) | 2017-04-21 | 2017-05-11 | Robert Bosch Gmbh | Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples" |
CN110800273B (zh) | 2017-04-24 | 2024-02-13 | 卡内基梅隆大学 | 虚拟传感器系统 |
US10460053B2 (en) | 2017-04-24 | 2019-10-29 | Toyota Research Institute, Inc. | Systems and methods for surface property identification using waveform classification |
US10108867B1 (en) | 2017-04-25 | 2018-10-23 | Uber Technologies, Inc. | Image-based pedestrian detection |
CN107133943B (zh) | 2017-04-26 | 2018-07-06 | 贵州电网有限责任公司输电运行检修分公司 | 一种防震锤缺陷检测的视觉检测方法 |
US10318794B2 (en) | 2017-04-28 | 2019-06-11 | Microsoft Technology Licensing, Llc | Intelligent auto cropping of digital images |
US10838936B2 (en) | 2017-05-12 | 2020-11-17 | Harris Lee Cohen | Computer-implemented methods, computer readable medium and systems for generating an orchard data model for a precision agriculture platform |
US10372130B1 (en) | 2017-05-19 | 2019-08-06 | Zoox, Inc. | Communicating reasons for vehicle actions |
EP3616422B1 (en) | 2017-05-26 | 2021-02-17 | Google LLC | Machine-learned model system |
US20180374105A1 (en) | 2017-05-26 | 2018-12-27 | Get Attached, Inc. | Leveraging an intermediate machine learning analysis |
US10310087B2 (en) | 2017-05-31 | 2019-06-04 | Uber Technologies, Inc. | Range-view LIDAR-based object detection |
US11954486B2 (en) | 2017-06-05 | 2024-04-09 | Umajin Inc. | Location tracking system and methods |
US11273553B2 (en) | 2017-06-05 | 2022-03-15 | Autodesk, Inc. | Adapting simulation data to real-world conditions encountered by physical processes |
US11361243B2 (en) | 2017-06-07 | 2022-06-14 | Accenture Global Solutions Limited | Recommending machine learning techniques, features, and feature relevance scores |
US10853739B2 (en) | 2017-06-09 | 2020-12-01 | Sap Se | Machine learning models for evaluating entities in a high-volume computer network |
CN108229526B (zh) | 2017-06-16 | 2020-09-29 | 北京市商汤科技开发有限公司 | 网络训练、图像处理方法、装置、存储介质和电子设备 |
JP6809763B2 (ja) | 2017-06-21 | 2021-01-06 | アルパイン株式会社 | 表示システム |
JP2019008519A (ja) | 2017-06-23 | 2019-01-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム |
WO2019005547A1 (en) | 2017-06-28 | 2019-01-03 | Panasonic Intellectual Property Corporation Of America | MOBILE BODY CONTROL APPARATUS, MOBILE BODY CONTROL METHOD, AND LEARNING METHOD |
US10567674B2 (en) | 2017-06-30 | 2020-02-18 | Harman International Industries, Incorporated | Systems and methods for detecting objects in imaging systems |
CN109215067B (zh) | 2017-07-03 | 2023-03-10 | 百度(美国)有限责任公司 | 基于cnn和crf模型生成高分辨率3-d点云 |
US10474161B2 (en) | 2017-07-03 | 2019-11-12 | Baidu Usa Llc | High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images |
US10671082B2 (en) | 2017-07-03 | 2020-06-02 | Baidu Usa Llc | High resolution 3D point clouds generation based on CNN and CRF models |
US10474160B2 (en) | 2017-07-03 | 2019-11-12 | Baidu Usa Llc | High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images |
US10402687B2 (en) | 2017-07-05 | 2019-09-03 | Perceptive Automata, Inc. | System and method of predicting human interaction with vehicles |
US10606990B2 (en) | 2017-07-06 | 2020-03-31 | Ebay Inc. | Machine learning system for computing asset access |
US10592785B2 (en) | 2017-07-12 | 2020-03-17 | Futurewei Technologies, Inc. | Integrated system for detection of driver condition |
DE102017116017A1 (de) | 2017-07-17 | 2019-01-17 | Valeo Schalter Und Sensoren Gmbh | Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung |
US10733755B2 (en) | 2017-07-18 | 2020-08-04 | Qualcomm Incorporated | Learning geometric differentials for matching 3D models to objects in a 2D image |
DE102017116411B4 (de) | 2017-07-20 | 2022-02-03 | Infineon Technologies Ag | Elektronischen Steuerungseinheit, Gatewayschaltung für eine elektronische Airbag-Steuerungseinheit, Sicherheitssystem für ein Fahrzeug und Umgebungssensorelement |
US10650278B1 (en) | 2017-07-21 | 2020-05-12 | Apple Inc. | Semantic labeling of point clouds using images |
US10579063B2 (en) | 2017-07-21 | 2020-03-03 | Uatc, Llc | Machine learning for predicting locations of objects perceived by autonomous vehicles |
US10395144B2 (en) | 2017-07-24 | 2019-08-27 | GM Global Technology Operations LLC | Deeply integrated fusion architecture for automated driving systems |
US10542930B1 (en) | 2017-07-25 | 2020-01-28 | BlueOwl, LLC | Audio assessment for analyzing sleep trends using machine learning techniques |
CN107451659B (zh) | 2017-07-27 | 2020-04-10 | 清华大学 | 用于位宽分区的神经网络加速器及其实现方法 |
CN107368926B (zh) | 2017-07-28 | 2018-07-10 | 中南大学 | 一种智能环境运载机器人识别楼层的多自然传感参数融合处理方法 |
JP7002729B2 (ja) | 2017-07-31 | 2022-01-20 | 株式会社アイシン | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
CN110959160A (zh) | 2017-08-01 | 2020-04-03 | 华为技术有限公司 | 一种手势识别方法、装置及设备 |
CN109389552B (zh) | 2017-08-02 | 2023-03-28 | 中山大学 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
US11170288B2 (en) | 2017-08-03 | 2021-11-09 | Facebook, Inc. | Systems and methods for predicting qualitative ratings for advertisements based on machine learning |
KR102541559B1 (ko) | 2017-08-04 | 2023-06-08 | 삼성전자주식회사 | 관심 객체를 검출하는 방법 및 장치 |
KR102601604B1 (ko) | 2017-08-04 | 2023-11-13 | 삼성전자주식회사 | 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치 |
US10656657B2 (en) | 2017-08-08 | 2020-05-19 | Uatc, Llc | Object motion prediction and autonomous vehicle control |
US10423934B1 (en) | 2017-08-10 | 2019-09-24 | Zoox, Inc. | Automated vehicle diagnostics and maintenance |
US10860924B2 (en) | 2017-08-18 | 2020-12-08 | Microsoft Technology Licensing, Llc | Hardware node having a mixed-signal matrix vector unit |
US10167800B1 (en) | 2017-08-18 | 2019-01-01 | Microsoft Technology Licensing, Llc | Hardware node having a matrix vector unit with block-floating point processing |
CN108229647A (zh) | 2017-08-18 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络结构的生成方法和装置、电子设备、存储介质 |
US20190228037A1 (en) | 2017-08-19 | 2019-07-25 | Wave Computing, Inc. | Checkpointing data flow graph computation for machine learning |
US10216189B1 (en) | 2017-08-23 | 2019-02-26 | Uber Technologies, Inc. | Systems and methods for prioritizing object prediction for autonomous vehicles |
US11455565B2 (en) | 2017-08-31 | 2022-09-27 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
US10783381B2 (en) | 2017-08-31 | 2020-09-22 | Tusimple, Inc. | System and method for vehicle occlusion detection |
US10629080B2 (en) | 2017-08-31 | 2020-04-21 | Uatc Llc | Autonomous vehicles featuring vehicle intention system |
US20190072978A1 (en) | 2017-09-01 | 2019-03-07 | GM Global Technology Operations LLC | Methods and systems for generating realtime map information |
US11430331B2 (en) | 2017-09-08 | 2022-08-30 | Uatc, Llc | Power and thermal management systems and methods for autonomous vehicles |
US20190079526A1 (en) | 2017-09-08 | 2019-03-14 | Uber Technologies, Inc. | Orientation Determination in Object Detection and Tracking for Autonomous Vehicles |
US10402646B2 (en) | 2017-09-21 | 2019-09-03 | Amazon Technologies, Inc. | Object detection and avoidance for aerial vehicles |
CN107507134B (zh) | 2017-09-21 | 2020-09-11 | 大连理工大学 | 基于卷积神经网络的超分辨率方法 |
JP7022203B2 (ja) | 2017-09-22 | 2022-02-17 | エフ.ホフマン-ラ ロシュ アーゲー | 組織画像からのアーチファクト除去 |
US10551297B2 (en) | 2017-09-22 | 2020-02-04 | Saudi Arabian Oil Company | Thermography image processing with neural networks to identify corrosion under insulation (CUI) |
US10891715B2 (en) | 2017-09-22 | 2021-01-12 | Continental Automotive Systems, Inc. | Deep neural network for image enhancement |
US20190095946A1 (en) | 2017-09-25 | 2019-03-28 | Get Attached, Inc. | Automatically analyzing media using a machine learning model trained on user engagement information |
US10546197B2 (en) | 2017-09-26 | 2020-01-28 | Ambient AI, Inc. | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
KR20200129168A (ko) | 2017-09-27 | 2020-11-17 | 구글 엘엘씨 | 고해상도 이미지 세분화를 위한 종단간 네트워크 모델 |
US10679129B2 (en) | 2017-09-28 | 2020-06-09 | D5Ai Llc | Stochastic categorical autoencoder network |
US10872531B2 (en) | 2017-09-29 | 2020-12-22 | Uber Technologies, Inc. | Image processing for vehicle collision avoidance system |
CA3076912C (en) | 2017-09-29 | 2023-05-02 | United Parcel Service Of America, Inc. | Predictive parcel damage identification, analysis, and mitigation |
CN107742311B (zh) | 2017-09-29 | 2020-02-18 | 北京易达图灵科技有限公司 | 一种视觉定位的方法及装置 |
WO2019067695A1 (en) | 2017-10-01 | 2019-04-04 | Airspace Systems, Inc. | FLIGHT CONTROL USING VISION BY COMPUTER |
US20190101914A1 (en) | 2017-10-02 | 2019-04-04 | Allstate Insurance Company | Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions |
US10579897B2 (en) | 2017-10-02 | 2020-03-03 | Xnor.ai Inc. | Image based object detection |
US10678997B2 (en) | 2017-10-05 | 2020-06-09 | Microsoft Technology Licensing, Llc | Machine learned models for contextual editing of social networking profiles |
US10733262B2 (en) | 2017-10-05 | 2020-08-04 | Adobe Inc. | Attribute control for updating digital content in a digital medium environment |
US11748653B2 (en) | 2017-10-05 | 2023-09-05 | DataRobot, Inc. | Machine learning abstraction |
WO2019070290A1 (en) | 2017-10-06 | 2019-04-11 | Hitachi, Ltd. | MANAGEMENT AND EXECUTION OF A REPAIR |
DE102017123452A1 (de) | 2017-10-10 | 2019-04-11 | Connaught Electronics Ltd. | Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug |
US10652565B1 (en) | 2017-10-12 | 2020-05-12 | Amazon Technologies, Inc. | Image compression and decompression using embeddings |
CN107622258B (zh) | 2017-10-16 | 2020-10-30 | 中南大学 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
US20190122104A1 (en) | 2017-10-19 | 2019-04-25 | General Electric Company | Building a binary neural network architecture |
US20190122111A1 (en) | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions |
US20200250515A1 (en) | 2017-10-27 | 2020-08-06 | Google Llc | Systems and Methods for Improved Optimization of Machine-Learned Models |
US10467501B2 (en) | 2017-10-30 | 2019-11-05 | Sap Se | Computer vision architecture with machine learned image recognition models |
CN107729998B (zh) | 2017-10-31 | 2020-06-05 | 中国科学院计算技术研究所 | 一种用于神经网络处理器的方法 |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
EP3688671A4 (en) | 2017-11-02 | 2021-10-20 | The Trustees of Princeton University | PROCESS AND SYSTEM FOR THE SYNTHESIS OF A NEURONAL NETWORK |
KR102589303B1 (ko) | 2017-11-02 | 2023-10-24 | 삼성전자주식회사 | 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치 |
US11619927B2 (en) | 2017-11-03 | 2023-04-04 | Drishti Technologies, Inc. | Automatic analysis of real time conditions in an activity space |
WO2019093993A1 (en) | 2017-11-07 | 2019-05-16 | Google Llc | Semantic state based sensor tracking and updating |
US10591914B2 (en) | 2017-11-08 | 2020-03-17 | GM Global Technology Operations LLC | Systems and methods for autonomous vehicle behavior control |
WO2019092456A1 (en) | 2017-11-13 | 2019-05-16 | Cambridge Bio-Augmentation Systems Limited | Neural interface |
US20190147112A1 (en) | 2017-11-13 | 2019-05-16 | Facebook, Inc. | Systems and methods for ranking ephemeral content item collections associated with a social networking system |
US10678839B2 (en) | 2017-11-13 | 2020-06-09 | Facebook, Inc. | Systems and methods for ranking ephemeral content item collections associated with a social networking system |
US10824862B2 (en) | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
US10803328B1 (en) | 2017-11-15 | 2020-10-13 | Uatc, Llc | Semantic and instance segmentation |
US11556777B2 (en) | 2017-11-15 | 2023-01-17 | Uatc, Llc | Continuous convolution and fusion in neural networks |
US11475351B2 (en) | 2017-11-15 | 2022-10-18 | Uatc, Llc | Systems and methods for object detection, tracking, and motion prediction |
US10970553B2 (en) | 2017-11-15 | 2021-04-06 | Uatc, Llc | Semantic segmentation of three-dimensional data |
US11061402B2 (en) | 2017-11-15 | 2021-07-13 | Uatc, Llc | Sparse convolutional neural networks |
WO2019099622A1 (en) | 2017-11-15 | 2019-05-23 | Uber Technologies, Inc. | Autonomous vehicle lane boundary detection systems and methods |
US10803325B2 (en) | 2017-11-15 | 2020-10-13 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
KR102095335B1 (ko) | 2017-11-15 | 2020-03-31 | 에스케이텔레콤 주식회사 | 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법 |
US20190147255A1 (en) | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles |
US11080537B2 (en) | 2017-11-15 | 2021-08-03 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
US20190145765A1 (en) | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Three Dimensional Object Detection |
US10828790B2 (en) | 2017-11-16 | 2020-11-10 | Google Llc | Component feature detector for robotic systems |
US10698868B2 (en) | 2017-11-17 | 2020-06-30 | Accenture Global Solutions Limited | Identification of domain information for use in machine learning models |
KR102073351B1 (ko) | 2017-11-17 | 2020-02-05 | 주식회사 하이퍼커넥트 | 서버 및 그것의 동작 방법 |
EP3486674A1 (en) | 2017-11-17 | 2019-05-22 | Koninklijke Philips N.V. | Artificial intelligence-enabled localization of anatomical landmarks |
US10409898B2 (en) | 2017-11-17 | 2019-09-10 | Adobe Inc. | Generating a targeted summary of textual content tuned to a target audience vocabulary |
US10535138B2 (en) | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
US20180074506A1 (en) | 2017-11-21 | 2018-03-15 | GM Global Technology Operations LLC | Systems and methods for mapping roadway-interfering objects in autonomous vehicles |
CN107885214A (zh) | 2017-11-22 | 2018-04-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的加速自动驾驶视觉感知的方法及装置 |
US11989861B2 (en) | 2017-11-28 | 2024-05-21 | Intel Corporation | Deep learning-based real-time detection and correction of compromised sensors in autonomous machines |
JP2019101535A (ja) | 2017-11-29 | 2019-06-24 | コニカミノルタ株式会社 | 教師データ作成装置および該方法ならびに画像セグメンテーション装置および該方法 |
KR20200100672A (ko) | 2017-12-04 | 2020-08-26 | 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 | 신경망 가속기의 시스템 및 아키텍쳐 |
US10762396B2 (en) | 2017-12-05 | 2020-09-01 | Utac, Llc | Multiple stage image based object detection and recognition |
US10693740B2 (en) | 2017-12-07 | 2020-06-23 | Accenture Global Solutions Limited | Data transformation of performance statistics and ticket information for network devices for use in machine learning models |
US10528824B2 (en) | 2017-12-11 | 2020-01-07 | GM Global Technology Operations LLC | Artificial neural network for lane feature classification and localization |
US10768628B2 (en) | 2017-12-12 | 2020-09-08 | Uatc, Llc | Systems and methods for object detection at various ranges using multiple range imagery |
RU2691214C1 (ru) | 2017-12-13 | 2019-06-11 | Общество с ограниченной ответственностью "Аби Продакшн" | Распознавание текста с использованием искусственного интеллекта |
US10599958B2 (en) | 2017-12-14 | 2020-03-24 | Avigilon Corporation | Method and system for classifying an object-of-interest using an artificial neural network |
KR101969864B1 (ko) | 2017-12-15 | 2019-04-18 | 동국대학교 산학협력단 | 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법 |
US20190185010A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for self capability aware route planning in autonomous driving vehicles |
US11587264B2 (en) | 2017-12-18 | 2023-02-21 | Motorola Solutions, Inc. | Method and device for generating an augmented image |
EP3727980A4 (en) | 2017-12-18 | 2021-08-04 | PlusAI Corp | METHOD AND SYSTEM FOR PERSONALIZED MOTION PLANNING IN AUTONOMOUS DRIVING VEHICLES |
US11183274B2 (en) | 2017-12-18 | 2021-11-23 | International Business Machines Corporation | Analysis of answers to questions |
US10713502B2 (en) | 2017-12-19 | 2020-07-14 | Micron Technology, Inc. | Providing autonomous vehicle assistance |
DE102017130566B4 (de) | 2017-12-19 | 2021-07-22 | Mekra Lang Gmbh & Co. Kg | Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem |
US10402986B2 (en) | 2017-12-20 | 2019-09-03 | Facebook, Inc. | Unsupervised video segmentation |
US10175697B1 (en) | 2017-12-21 | 2019-01-08 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
WO2019126755A1 (en) | 2017-12-21 | 2019-06-27 | Fugro N.V. | Generating and classifying training data for machine learning functions |
US10872254B2 (en) | 2017-12-22 | 2020-12-22 | Texas Instruments Incorporated | Digital mirror systems for vehicles and methods of operating the same |
US10748247B2 (en) | 2017-12-26 | 2020-08-18 | Facebook, Inc. | Computing high-resolution depth images using machine learning techniques |
US10657418B2 (en) | 2017-12-27 | 2020-05-19 | International Business Machines Corporation | Object detection on local devices using remotely generated machine learning models |
CN108111873B (zh) | 2017-12-29 | 2020-04-14 | 国网山东省电力公司泰安供电公司 | 一种基于机器学习的gis图像数据传输方法 |
US10755115B2 (en) | 2017-12-29 | 2020-08-25 | Here Global B.V. | Method, apparatus, and system for generating synthetic image data for machine learning |
WO2019127363A1 (zh) | 2017-12-29 | 2019-07-04 | 清华大学 | 神经网络权重编码方法、计算装置及硬件系统 |
US20190204842A1 (en) | 2018-01-02 | 2019-07-04 | GM Global Technology Operations LLC | Trajectory planner with dynamic cost learning for autonomous driving |
US11170006B2 (en) | 2018-01-03 | 2021-11-09 | Facebook, Inc. | Machine-learning model for ranking diverse content |
US10657391B2 (en) | 2018-01-05 | 2020-05-19 | Uatc, Llc | Systems and methods for image-based free space detection |
US20190217791A1 (en) | 2018-01-12 | 2019-07-18 | Uber Technologies, Inc. | Systems and Methods for Streaming Processing for Autonomous Vehicles |
US10896763B2 (en) | 2018-01-12 | 2021-01-19 | Koninklijke Philips N.V. | System and method for providing model-based treatment recommendation via individual-specific machine learning models |
EP3514494A1 (en) | 2018-01-19 | 2019-07-24 | Zenuity AB | Constructing and updating a behavioral layer of a multi layered road network high definition digital map |
US10909368B2 (en) | 2018-01-23 | 2021-02-02 | X Development Llc | Crop type classification in images |
CN108399362B (zh) | 2018-01-24 | 2022-01-07 | 中山大学 | 一种快速行人检测方法及装置 |
US20180150081A1 (en) | 2018-01-24 | 2018-05-31 | GM Global Technology Operations LLC | Systems and methods for path planning in autonomous vehicles |
WO2019147804A1 (en) | 2018-01-26 | 2019-08-01 | Ge Inspection Technologies, Lp | Generating natural language recommendations based on an industrial language model |
US10345822B1 (en) * | 2018-01-26 | 2019-07-09 | Ford Global Technologies, Llc | Cognitive mapping for vehicles |
KR102098713B1 (ko) | 2018-01-29 | 2020-04-08 | 주식회사 유엑스팩토리 | Cnn과 rnn이 하나의 고성능 저전력 칩으로 집적된 이기종 프로세서 구조 |
WO2019152308A1 (en) | 2018-01-30 | 2019-08-08 | D5Ai Llc | Self-organizing partially ordered networks |
US10962973B2 (en) | 2018-01-30 | 2021-03-30 | Uatc, Llc | Autonomous vehicle safe stop |
US10586280B2 (en) | 2018-01-30 | 2020-03-10 | PointPredictive Inc. | Risk-based machine learning classsifier |
CN110096937A (zh) | 2018-01-31 | 2019-08-06 | 北京四维图新科技股份有限公司 | 一种用于辅助车辆自动驾驶的图像识别的方法及装置 |
WO2019152888A1 (en) | 2018-02-02 | 2019-08-08 | Nvidia Corporation | Safety procedure analysis for obstacle avoidance in autonomous vehicle |
US20190244138A1 (en) | 2018-02-08 | 2019-08-08 | Apple Inc. | Privatized machine learning using generative adversarial networks |
CN111133448A (zh) | 2018-02-09 | 2020-05-08 | 辉达公司 | 使用安全到达时间控制自动驾驶车辆 |
US10996683B2 (en) | 2018-02-09 | 2021-05-04 | Skydio, Inc. | Aerial vehicle touchdown detection |
US10489126B2 (en) | 2018-02-12 | 2019-11-26 | Oracle International Corporation | Automated code generation |
CN110147698A (zh) | 2018-02-13 | 2019-08-20 | Kpit技术有限责任公司 | 用于车道检测的系统和方法 |
US10955851B2 (en) | 2018-02-14 | 2021-03-23 | Zoox, Inc. | Detecting blocking objects |
US10839578B2 (en) | 2018-02-14 | 2020-11-17 | Smarter Reality, LLC | Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures |
KR101996167B1 (ko) | 2018-02-14 | 2019-07-03 | 동국대학교 산학협력단 | 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법 |
US10805629B2 (en) | 2018-02-17 | 2020-10-13 | Google Llc | Video compression through motion warping using learning-based motion segmentation |
CN111133447B (zh) | 2018-02-18 | 2024-03-19 | 辉达公司 | 适于自主驾驶的对象检测和检测置信度的方法和系统 |
US10628432B2 (en) | 2018-02-19 | 2020-04-21 | Microsoft Technology Licensing, Llc | Personalized deep models for smart suggestions ranking |
US20190266610A1 (en) | 2018-02-21 | 2019-08-29 | Accenture Global Solutions Limited | Transaction management using machine learning and similarity analysis |
CN111788589A (zh) | 2018-02-23 | 2020-10-16 | Asml荷兰有限公司 | 训练用于计算光刻术的机器学习模型的方法 |
CN110197270B (zh) | 2018-02-27 | 2020-10-30 | 上海寒武纪信息科技有限公司 | 集成电路芯片装置及相关产品 |
KR102022388B1 (ko) | 2018-02-27 | 2019-09-18 | (주)캠시스 | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 |
WO2019168869A1 (en) | 2018-02-27 | 2019-09-06 | Nvidia Corporation | Real-time detection of lanes and boundaries by autonomous vehicles |
US11501105B2 (en) | 2018-03-02 | 2022-11-15 | Zoox, Inc. | Automatic creation and updating of maps |
WO2019173481A1 (en) | 2018-03-06 | 2019-09-12 | Phantom AI, Inc. | Lane line reconstruction using future scenes and trajectory |
KR101967339B1 (ko) | 2018-03-06 | 2019-04-09 | 단국대학교 산학협력단 | 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법 |
US10157331B1 (en) | 2018-03-08 | 2018-12-18 | Capital One Services, Llc | Systems and methods for image preprocessing to improve accuracy of object recognition |
US10223611B1 (en) | 2018-03-08 | 2019-03-05 | Capital One Services, Llc | Object detection using image classification models |
US10621513B2 (en) | 2018-03-08 | 2020-04-14 | Capital One Services, Llc | System and method for deploying and versioning machine learning models |
US10572757B2 (en) | 2018-03-09 | 2020-02-25 | Ricoh Co., Ltd. | User interface for object detection and labeling |
US10628686B2 (en) | 2018-03-12 | 2020-04-21 | Waymo Llc | Neural networks for object detection and characterization |
US10755112B2 (en) | 2018-03-13 | 2020-08-25 | Toyota Research Institute, Inc. | Systems and methods for reducing data storage in machine learning |
US10798368B2 (en) | 2018-03-13 | 2020-10-06 | Lyft, Inc. | Exposure coordination for multiple cameras |
CN111837144A (zh) | 2018-03-13 | 2020-10-27 | 奇跃公司 | 使用机器学习的增强图像深度感测 |
US11500099B2 (en) | 2018-03-14 | 2022-11-15 | Uatc, Llc | Three-dimensional object detection |
US20190286972A1 (en) | 2018-03-14 | 2019-09-19 | Microsoft Technology Licensing, Llc | Hardware accelerated neural network subgraphs |
US20190287028A1 (en) | 2018-03-15 | 2019-09-19 | Arm Ltd. | Systems, devices, and/or processes for behavioral content processing |
KR102329590B1 (ko) | 2018-03-19 | 2021-11-19 | 에스알아이 인터내셔널 | 딥 신경망들의 동적 적응 |
US11429862B2 (en) | 2018-03-20 | 2022-08-30 | Sri International | Dynamic adaptation of deep neural networks |
US11657087B2 (en) | 2018-03-19 | 2023-05-23 | Verily Life Sciences Llc | Surgical video retrieval based on preoperative images |
US10901508B2 (en) | 2018-03-20 | 2021-01-26 | X Development Llc | Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control |
WO2019183087A1 (en) | 2018-03-20 | 2019-09-26 | Phantom AI, Inc. | Data augmentation using computer simulated objects for autonomous control systems |
WO2019182782A1 (en) | 2018-03-21 | 2019-09-26 | Zoox, Inc. | Generating maps without shadows |
US10699477B2 (en) | 2018-03-21 | 2020-06-30 | Zoox, Inc. | Generating maps without shadows |
US20190294975A1 (en) | 2018-03-21 | 2019-09-26 | Swim.IT Inc | Predicting using digital twins |
US10836379B2 (en) | 2018-03-23 | 2020-11-17 | Sf Motors, Inc. | Multi-network-based path generation for vehicle parking |
US10627818B2 (en) | 2018-03-28 | 2020-04-21 | Zoox, Inc. | Temporal prediction model for semantic intent understanding |
WO2019191578A1 (en) | 2018-03-30 | 2019-10-03 | Wave Computing, Inc. | Data flow graph computation for machine learning |
US10140544B1 (en) | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
CN108491889A (zh) | 2018-04-02 | 2018-09-04 | 深圳市易成自动驾驶技术有限公司 | 图像语义分割方法、装置及计算机可读存储介质 |
US10468062B1 (en) | 2018-04-03 | 2019-11-05 | Zoox, Inc. | Detecting errors in sensor data |
US10776939B2 (en) | 2018-04-03 | 2020-09-15 | Altumview Systems Inc. | Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles |
US10887433B2 (en) | 2018-04-03 | 2021-01-05 | Pony Ai Inc. | System and method for incremental data processing |
US20190311290A1 (en) | 2018-04-06 | 2019-10-10 | Mentor Graphics Corporation | Deep Learning Based Test Compression Analyzer |
US10414395B1 (en) | 2018-04-06 | 2019-09-17 | Zoox, Inc. | Feature-based prediction |
US10725475B2 (en) | 2018-04-09 | 2020-07-28 | Toyota Jidosha Kabushiki Kaisha | Machine learning enhanced vehicle merging |
US10769494B2 (en) | 2018-04-10 | 2020-09-08 | Pony Ai Inc. | Enhanced training information generation |
US20190310651A1 (en) * | 2018-04-10 | 2019-10-10 | Uber Technologies, Inc. | Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications |
US10740914B2 (en) | 2018-04-10 | 2020-08-11 | Pony Ai Inc. | Enhanced three-dimensional training data generation |
JP7182895B2 (ja) | 2018-04-13 | 2022-12-05 | 株式会社東芝 | 情報処理装置、プログラム、および情報処理方法 |
CN108520247B (zh) | 2018-04-16 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 对图像中的对象节点的识别方法、装置、终端及可读介质 |
US11132444B2 (en) | 2018-04-16 | 2021-09-28 | International Business Machines Corporation | Using gradients to detect backdoors in neural networks |
US10816992B2 (en) | 2018-04-17 | 2020-10-27 | Baidu Usa Llc | Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs) |
CN111566441B (zh) | 2018-04-18 | 2022-08-09 | 移动眼视力科技有限公司 | 利用相机进行车辆环境建模 |
US20200151692A1 (en) | 2018-04-18 | 2020-05-14 | Sbot Technologies, Inc. d/b/a Caper Inc. | Systems and methods for training data generation for object identification and self-checkout anti-theft |
US10321728B1 (en) | 2018-04-20 | 2019-06-18 | Bodygram, Inc. | Systems and methods for full body measurements extraction |
US11030486B2 (en) | 2018-04-20 | 2021-06-08 | XNOR.ai, Inc. | Image classification through label progression |
US10950021B2 (en) | 2018-04-23 | 2021-03-16 | Accenture Global Solutions Limited | AI-driven design platform |
DE102018206208A1 (de) | 2018-04-23 | 2019-10-24 | Robert Bosch Gmbh | Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems |
US10565475B2 (en) | 2018-04-24 | 2020-02-18 | Accenture Global Solutions Limited | Generating a machine learning model for objects based on augmenting the objects with physical properties |
CN108549934B (zh) | 2018-04-25 | 2020-06-19 | 福州瑞芯微电子股份有限公司 | 一种基于自动集群神经网络芯片组的运算方法和装置 |
US20190329790A1 (en) | 2018-04-25 | 2019-10-31 | Uber Technologies, Inc. | Systems and Methods for Using Machine Learning to Determine Passenger Ride Experience |
CN108647591A (zh) | 2018-04-25 | 2018-10-12 | 长沙学院 | 一种基于视觉-语义特征的视频中行为识别方法和系统 |
US11334753B2 (en) | 2018-04-30 | 2022-05-17 | Uatc, Llc | Traffic signal state classification for autonomous vehicles |
US11138745B2 (en) | 2018-04-30 | 2021-10-05 | Uatc, Llc | Object association for autonomous vehicles |
US11244195B2 (en) | 2018-05-01 | 2022-02-08 | Adobe Inc. | Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images |
US10803743B2 (en) | 2018-05-02 | 2020-10-13 | Lyft, Inc. | Monitoring ambient light for object detection |
US11494200B2 (en) | 2018-05-02 | 2022-11-08 | Microsoft Technology Licensing, Llc. | Configuring an electronic device using artificial intelligence |
US10699140B2 (en) | 2018-05-04 | 2020-06-30 | Qualcomm Incorporated | System and method for capture and distribution of information collected from signs |
US20190340499A1 (en) | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Quantization for dnn accelerators |
US11645493B2 (en) | 2018-05-04 | 2023-05-09 | Microsoft Technology Licensing, Llc | Flow for quantized neural networks |
EP3752962A1 (en) | 2018-05-07 | 2020-12-23 | Google LLC | Application development platform and software development kits that provide comprehensive machine learning services |
CN112703457A (zh) | 2018-05-07 | 2021-04-23 | 强力物联网投资组合2016有限公司 | 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统 |
JP6799197B2 (ja) | 2018-05-10 | 2020-12-09 | ヌヴォトンテクノロジージャパン株式会社 | ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム |
US20190349571A1 (en) | 2018-05-11 | 2019-11-14 | Ford Global Technologies, Llc | Distortion correction for vehicle surround view camera projections |
US10748021B2 (en) | 2018-05-11 | 2020-08-18 | Samsung Electronics Co., Ltd. | Method of analyzing objects in images recorded by a camera of a head mounted device |
WO2019220436A2 (en) | 2018-05-14 | 2019-11-21 | BrainVu Ltd. | Driver predictive mental response profile and application to automated vehicle brain interface control |
US10776626B1 (en) | 2018-05-14 | 2020-09-15 | Amazon Technologies, Inc. | Machine learning based identification of visually complementary item collections |
US11164016B2 (en) | 2018-05-17 | 2021-11-02 | Uatc, Llc | Object detection and property determination for autonomous vehicles |
US20190354850A1 (en) | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Identifying transfer models for machine learning tasks |
US11126873B2 (en) | 2018-05-17 | 2021-09-21 | Zoox, Inc. | Vehicle lighting state determination |
US11301733B2 (en) | 2018-05-18 | 2022-04-12 | Google Llc | Learning data augmentation strategies for object detection |
US11138471B2 (en) | 2018-05-18 | 2021-10-05 | Google Llc | Augmentation of audiographic images for improved machine learning |
CN108710865B (zh) | 2018-05-28 | 2022-04-22 | 电子科技大学 | 一种基于神经网络的司机异常行为检测方法 |
US20190373322A1 (en) | 2018-05-29 | 2019-12-05 | Sony Interactive Entertainment LLC | Interactive Video Content Delivery |
US11491350B2 (en) | 2018-05-30 | 2022-11-08 | Siemens Healthcare Gmbh | Decision support system for individualizing radiotherapy dose |
TWI681366B (zh) | 2018-05-31 | 2020-01-01 | 廣達電腦股份有限公司 | 非線性延展裁切影像之方法及系統 |
US20190370575A1 (en) | 2018-05-31 | 2019-12-05 | Uber Technologies, Inc. | Systems and Methods for Implementing Trip Checks for Vehicles |
CN108764185B (zh) | 2018-06-01 | 2022-07-19 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
US20190370398A1 (en) | 2018-06-01 | 2019-12-05 | SayMosaic Inc. | Method and apparatus for searching historical data |
US20190042944A1 (en) | 2018-06-08 | 2019-02-07 | Intel Corporation | Artificial neural network training using flexible floating point tensors |
US11334960B2 (en) | 2018-06-08 | 2022-05-17 | Uatc, Llc | Systems and methods for pipelined processing of sensor data using hardware |
US20190378049A1 (en) | 2018-06-12 | 2019-12-12 | Bank Of America Corporation | Ensemble of machine learning engines coupled to a graph structure that spreads heat |
US20190378051A1 (en) | 2018-06-12 | 2019-12-12 | Bank Of America Corporation | Machine learning system coupled to a graph structure detecting outlier patterns using graph scanning |
US11740630B2 (en) | 2018-06-12 | 2023-08-29 | Skydio, Inc. | Fitness and sports applications for an autonomous unmanned aerial vehicle |
WO2019241022A1 (en) | 2018-06-13 | 2019-12-19 | Nvidia Corporation | Path detection for autonomous machines using deep neural networks |
CN110832275B (zh) | 2018-06-14 | 2021-05-18 | 北京嘀嘀无限科技发展有限公司 | 基于双目图像更新高分辨率地图的系统和方法 |
US11341356B2 (en) | 2018-06-15 | 2022-05-24 | Uatc, Llc | System and method for determining object intention through visual attributes |
US11370423B2 (en) | 2018-06-15 | 2022-06-28 | Uatc, Llc | Multi-task machine-learned models for object intention determination in autonomous driving |
US11048265B2 (en) | 2018-06-18 | 2021-06-29 | Zoox, Inc. | Occlusion aware planning |
US10642275B2 (en) | 2018-06-18 | 2020-05-05 | Zoox, Inc. | Occulsion aware planning and control |
US11966838B2 (en) | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
US11501140B2 (en) | 2018-06-19 | 2022-11-15 | International Business Machines Corporation | Runtime reconfigurable neural network processor core |
US10726264B2 (en) | 2018-06-25 | 2020-07-28 | Microsoft Technology Licensing, Llc | Object-based localization |
CN108845574B (zh) | 2018-06-26 | 2021-01-12 | 北京旷视机器人技术有限公司 | 目标识别与追踪方法、装置、设备及介质 |
WO2020006154A2 (en) | 2018-06-26 | 2020-01-02 | Itay Katz | Contextual driver monitoring system |
CN108898177A (zh) | 2018-06-26 | 2018-11-27 | 广东电网有限责任公司 | 一种输电线路走廊地表分类方法、系统、介质及设备 |
US10685159B2 (en) | 2018-06-27 | 2020-06-16 | Intel Corporation | Analog functional safety with anomaly detection |
US11454975B2 (en) | 2018-06-28 | 2022-09-27 | Uatc, Llc | Providing actionable uncertainties in autonomous vehicles |
US10921817B1 (en) | 2018-06-29 | 2021-02-16 | Zoox, Inc. | Point cloud filtering with semantic segmentation |
US10810445B1 (en) | 2018-06-29 | 2020-10-20 | Zoox, Inc. | Pipeline with point cloud filtering |
CN109086867B (zh) | 2018-07-02 | 2021-06-08 | 武汉魅瞳科技有限公司 | 一种基于fpga的卷积神经网络加速系统 |
US11500477B2 (en) | 2018-07-02 | 2022-11-15 | Google Llc | Systems and methods for interacting and interfacing with an artificial intelligence system |
KR20200004700A (ko) | 2018-07-04 | 2020-01-14 | 삼성전자주식회사 | 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치 |
US10685188B1 (en) | 2018-07-06 | 2020-06-16 | Facebook, Inc. | Systems and methods for training machine learning models for language clusters |
US11537906B2 (en) | 2018-07-12 | 2022-12-27 | The Regents Of The University Of California | Machine learning based target localization for autonomous unmanned vehicles |
JP7140580B2 (ja) | 2018-07-13 | 2022-09-21 | マクセル株式会社 | ステレオ撮像装置 |
US11254325B2 (en) | 2018-07-14 | 2022-02-22 | Moove.Ai | Vehicle-data analytics |
CN112771622A (zh) | 2018-07-18 | 2021-05-07 | 辉达公司 | 用于推理、高级处理和机器学习应用程序的虚拟化计算平台 |
US10901416B2 (en) | 2018-07-19 | 2021-01-26 | Honda Motor Co., Ltd. | Scene creation system for autonomous vehicles and methods thereof |
US11042157B2 (en) | 2018-07-23 | 2021-06-22 | Baidu Usa Llc | Lane/object detection and tracking perception system for autonomous vehicles |
US20200033865A1 (en) | 2018-07-24 | 2020-01-30 | Qualcomm Incorporated | Managing Cleaning Robot Behavior |
US10768629B2 (en) | 2018-07-24 | 2020-09-08 | Pony Ai Inc. | Generative adversarial network enriched driving simulation |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US20200034665A1 (en) | 2018-07-30 | 2020-01-30 | DataRobot, Inc. | Determining validity of machine learning algorithms for datasets |
US11353871B2 (en) | 2018-07-30 | 2022-06-07 | Pony Ai Inc. | Systems and methods for vehicle smart seats |
US11284051B2 (en) | 2018-07-30 | 2022-03-22 | Pony Ai Inc. | Systems and methods for autonomous vehicle interactive content presentation |
WO2020025696A1 (en) | 2018-07-31 | 2020-02-06 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method and system for augmented imaging using multispectral information |
US11584379B2 (en) | 2018-08-06 | 2023-02-21 | Honda Motor Co., Ltd. | System and method for learning naturalistic driving behavior based on vehicle dynamic data |
US10706308B2 (en) | 2018-08-07 | 2020-07-07 | Accenture Global Solutions Limited | Image processing for automated object identification |
US10609434B2 (en) | 2018-08-07 | 2020-03-31 | Adobe Inc. | Machine-learning based multi-step engagement strategy generation and visualization |
US10733638B1 (en) | 2018-08-08 | 2020-08-04 | Facebook, Inc. | Analyzing tracking requests generated by client devices based on attributes describing items |
US11068627B2 (en) | 2018-08-09 | 2021-07-20 | Zoox, Inc. | Procedural world generation |
WO2020034663A1 (en) | 2018-08-13 | 2020-02-20 | The Hong Kong Polytechnic University | Grid-based image cropping |
US11861458B2 (en) | 2018-08-21 | 2024-01-02 | Lyft, Inc. | Systems and methods for detecting and recording anomalous vehicle events |
US20200065879A1 (en) | 2018-08-22 | 2020-02-27 | Midea Group Co., Ltd. | Methods and systems for home device recommendation |
US10871444B2 (en) | 2018-08-30 | 2020-12-22 | Saudi Arabian Oil Company | Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system |
US10755575B2 (en) | 2018-08-30 | 2020-08-25 | Cisco Technology, Inc. | Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety |
US11307584B2 (en) | 2018-09-04 | 2022-04-19 | Skydio, Inc. | Applications and skills for an autonomous unmanned aerial vehicle |
US20200074233A1 (en) | 2018-09-04 | 2020-03-05 | Luminar Technologies, Inc. | Automatically generating training data for a lidar using simulated vehicles in virtual space |
US20200158822A1 (en) | 2018-09-06 | 2020-05-21 | Airspace Systems, Inc. | Unmanned aerial vehicle radar detection |
US10839230B2 (en) | 2018-09-06 | 2020-11-17 | Ford Global Technologies, Llc | Multi-tier network for task-oriented deep neural network |
WO2020056157A1 (en) | 2018-09-12 | 2020-03-19 | Electra Vehicles, Inc. | Systems and methods for managing energy storage systems |
US11427223B2 (en) | 2018-09-14 | 2022-08-30 | Uatc, Llc | Driving surface friction estimations for autonomous vehicles |
US11465630B2 (en) | 2018-09-14 | 2022-10-11 | Uatc, Llc | Driving surface friction estimations using vehicle steering |
US11195030B2 (en) | 2018-09-14 | 2021-12-07 | Honda Motor Co., Ltd. | Scene classification |
EP3627399A1 (en) | 2018-09-19 | 2020-03-25 | Tata Consultancy Services Limited | Systems and methods for real time configurable recommendation using user data |
GB2577485B (en) | 2018-09-20 | 2022-06-15 | Jaguar Land Rover Ltd | Control system for a vehicle |
US11449771B2 (en) | 2018-09-21 | 2022-09-20 | Woven Planet North America, Inc. | Systems and methods for processing vehicle data |
DE102018216413A1 (de) | 2018-09-26 | 2020-03-26 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen |
US10846888B2 (en) | 2018-09-26 | 2020-11-24 | Facebook Technologies, Llc | Systems and methods for generating and transmitting image sequences based on sampled color information |
CN109359731B (zh) | 2018-09-27 | 2022-01-28 | 中科物栖(北京)科技有限责任公司 | 一种基于芯片设计缺陷的神经网络处理方法及装置 |
US11526713B2 (en) | 2018-09-28 | 2022-12-13 | Intel Corporation | Embedding human labeler influences in machine learning interfaces in computing environments |
US10943101B2 (en) | 2018-09-28 | 2021-03-09 | Accenture Global Solutions Limited | Target recognition and verification using image processing techniques and/or artifical intelligence |
KR102354615B1 (ko) | 2018-09-28 | 2022-01-24 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템 |
EP3807821A1 (en) | 2018-09-28 | 2021-04-21 | Apple Inc. | Distributed labeling for supervised learning |
US11169531B2 (en) | 2018-10-04 | 2021-11-09 | Zoox, Inc. | Trajectory prediction on top-down scenes |
WO2020076356A1 (en) | 2018-10-08 | 2020-04-16 | Google Llc | Systems and methods for providing feedback for artificial intelligence-based image capture devices |
CN109389207A (zh) | 2018-10-09 | 2019-02-26 | 四川理工学院 | 一种自适应神经网络学习方法及神经网络系统 |
US11403565B2 (en) | 2018-10-10 | 2022-08-02 | Wipro Limited | Method and system for generating a learning path using machine learning |
KR102545105B1 (ko) | 2018-10-10 | 2023-06-19 | 현대자동차주식회사 | 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 |
US11068724B2 (en) | 2018-10-11 | 2021-07-20 | Baidu Usa Llc | Deep learning continuous lane lines detection system for autonomous vehicles |
US11704568B2 (en) | 2018-10-16 | 2023-07-18 | Carnegie Mellon University | Method and system for hand activity sensing |
US11430025B2 (en) | 2018-10-19 | 2022-08-30 | Airbnb, Inc. | Synthetic data generation modeling system |
US11676244B2 (en) | 2018-10-19 | 2023-06-13 | Mineral Earth Sciences Llc | Crop yield prediction at field-level and pixel-level |
CN112889089B (zh) | 2018-10-19 | 2024-03-05 | 克莱米特有限责任公司 | 用于标识卫星影像中的云和云影的机器学习技术 |
US11163998B2 (en) | 2018-10-22 | 2021-11-02 | Woven Planet North America, Inc. | Systems and methods for automated image labeling for images captured from vehicles |
US11055866B2 (en) | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
US11568260B2 (en) | 2018-10-29 | 2023-01-31 | Google Llc | Exponential modeling with deep learning features |
KR20200052444A (ko) | 2018-10-30 | 2020-05-15 | 삼성전자주식회사 | 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들 |
CN109579856A (zh) | 2018-10-31 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 高精度地图生成方法、装置、设备及计算机可读存储介质 |
US11829143B2 (en) | 2018-11-02 | 2023-11-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
US11403492B2 (en) | 2018-11-02 | 2022-08-02 | Aurora Operations, Inc. | Generating labeled training instances for autonomous vehicles |
US11604992B2 (en) | 2018-11-02 | 2023-03-14 | Microsoft Technology Licensing, Llc | Probabilistic neural network architecture generation |
US20200143279A1 (en) | 2018-11-06 | 2020-05-07 | DeepSig Inc. | Radio frequency band segmentation, signal detection and labelling using machine learning |
CN111158355A (zh) | 2018-11-07 | 2020-05-15 | 富华科精密工业(深圳)有限公司 | 自动导航云服务器及自动导航控制方法 |
WO2020097221A1 (en) | 2018-11-08 | 2020-05-14 | Evangelos Simoudis | Systems and methods for managing vehicle data |
US11481665B2 (en) | 2018-11-09 | 2022-10-25 | Hewlett Packard Enterprise Development Lp | Systems and methods for determining machine learning training approaches based on identified impacts of one or more types of concept drift |
US11124185B2 (en) | 2018-11-13 | 2021-09-21 | Zoox, Inc. | Perception collision avoidance |
CN113016005A (zh) | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | 联合无监督对象分割与修复 |
US11755018B2 (en) | 2018-11-16 | 2023-09-12 | Uatc, Llc | End-to-end interpretable motion planner for autonomous vehicles |
US11494937B2 (en) | 2018-11-16 | 2022-11-08 | Uatc, Llc | Multi-task multi-sensor fusion for three-dimensional object detection |
US20200162489A1 (en) | 2018-11-16 | 2020-05-21 | Airspace Systems, Inc. | Security event detection and threat assessment |
US11217012B2 (en) | 2018-11-16 | 2022-01-04 | Uatc, Llc | System and method for identifying travel way features for autonomous vehicle motion control |
US11449713B2 (en) | 2018-11-16 | 2022-09-20 | Uatc, Llc | Attention based feature compression and localization for autonomous devices |
US11461963B2 (en) | 2018-11-16 | 2022-10-04 | Uatc, Llc | Systems and methods for generating synthetic light detection and ranging data via machine learning |
US11461583B2 (en) | 2018-11-16 | 2022-10-04 | Uatc, Llc | Binary feature compression for autonomous devices |
US11610115B2 (en) | 2018-11-16 | 2023-03-21 | Nvidia Corporation | Learning to generate synthetic datasets for training neural networks |
US11354820B2 (en) | 2018-11-17 | 2022-06-07 | Uatc, Llc | Image based localization system |
US11346950B2 (en) | 2018-11-19 | 2022-05-31 | Huawei Technologies Co., Ltd. | System, device and method of generating a high resolution and high accuracy point cloud |
US10904072B2 (en) | 2018-11-19 | 2021-01-26 | Accenture Global Solutions Limited | System and method for recommending automation solutions for technology infrastructure issues |
US11636681B2 (en) | 2018-11-21 | 2023-04-25 | Meta Platforms, Inc. | Anticipating future video based on present video |
KR20200063329A (ko) | 2018-11-21 | 2020-06-05 | 삼성전자주식회사 | 영상 처리 장치 및 그 제어방법 |
US10853670B2 (en) | 2018-11-21 | 2020-12-01 | Ford Global Technologies, Llc | Road surface characterization using pose observations of adjacent vehicles |
US11423196B2 (en) | 2018-11-28 | 2022-08-23 | Toyota Research Institute, Inc. | Systems and methods for predicting responses of a particle to a stimulus |
US10867444B2 (en) | 2018-11-29 | 2020-12-15 | Adobe Inc. | Synthetic data generation for training a machine learning model for dynamic object compositing in scenes |
US11215997B2 (en) | 2018-11-30 | 2022-01-04 | Zoox, Inc. | Probabilistic risk assessment for trajectory evaluation |
US20200175354A1 (en) | 2018-12-03 | 2020-06-04 | Deep Learn, Inc. | Time and accuracy estimate-based selection of machine-learning predictive models |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
CN109615073B (zh) | 2018-12-03 | 2021-06-04 | 郑州云海信息技术有限公司 | 一种神经网络模型的构建方法、设备以及存储介质 |
US20200175371A1 (en) | 2018-12-04 | 2020-06-04 | Bank Of America Corporation | System and method for self constructing deep neural network design through adversarial learning |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
DE102018130821A1 (de) | 2018-12-04 | 2020-06-04 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt |
US11093783B2 (en) | 2018-12-05 | 2021-08-17 | Subaru Corporation | Vehicle detection apparatus |
US11048318B2 (en) | 2018-12-06 | 2021-06-29 | Intel Corporation | Reducing microprocessor power with minimal performance impact by dynamically adapting runtime operating configurations using machine learning |
JP7369921B2 (ja) | 2018-12-10 | 2023-10-27 | 株式会社小糸製作所 | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 |
KR20200070831A (ko) | 2018-12-10 | 2020-06-18 | 삼성전자주식회사 | 인공 신경망을 압축하기 위한 장치 및 방법 |
CN110084086A (zh) | 2018-12-11 | 2019-08-02 | 安徽江淮汽车集团股份有限公司 | 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法 |
CN111326023B (zh) | 2018-12-13 | 2022-03-29 | 丰翼科技(深圳)有限公司 | 一种无人机航线预警方法、装置、设备及存储介质 |
US10915783B1 (en) | 2018-12-14 | 2021-02-09 | Amazon Technologies, Inc. | Detecting and locating actors in scenes based on degraded or supersaturated depth data |
US11092966B2 (en) | 2018-12-14 | 2021-08-17 | The Boeing Company | Building an artificial-intelligence system for an autonomous vehicle |
CN112912896A (zh) | 2018-12-14 | 2021-06-04 | 苹果公司 | 机器学习辅助的图像预测 |
CN113196173A (zh) | 2018-12-14 | 2021-07-30 | Asml荷兰有限公司 | 用于对图像图案分组以确定图案化过程中晶片行为的设备和方法 |
US20200193313A1 (en) | 2018-12-14 | 2020-06-18 | Parallel Machines, Inc. | Interpretability-based machine learning adjustment during production |
KR20210006971A (ko) | 2018-12-18 | 2021-01-19 | 구글 엘엘씨 | 지오로케이션 예측을 위한 시스템 및 방법 |
US10846831B2 (en) | 2018-12-19 | 2020-11-24 | GM Global Technology Operations LLC | Computing system for rectifying ultra-wide fisheye lens images |
US10937186B2 (en) | 2018-12-19 | 2021-03-02 | Fca Us Llc | Techniques for precisely locating landmarks in monocular camera images with deep learning |
JP7293644B2 (ja) | 2018-12-20 | 2023-06-20 | カシオ計算機株式会社 | 画像識別装置、識別器学習方法、画像識別方法及びプログラム |
US10817732B2 (en) | 2018-12-20 | 2020-10-27 | Trimble Inc. | Automated assessment of collision risk based on computer vision |
EP3877911A1 (en) | 2018-12-21 | 2021-09-15 | Waymo LLC | Searching an autonomous vehicle sensor data repository |
US11443515B2 (en) | 2018-12-21 | 2022-09-13 | Ambient AI, Inc. | Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management |
CN109978132A (zh) | 2018-12-24 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 一种精细化车辆识别的神经网络方法及系统 |
WO2020139357A1 (en) | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | Using image pre-processing to generate a machine learning model |
US11087173B2 (en) | 2018-12-27 | 2021-08-10 | Beijing Didi Infinity Technology And Development Co., Ltd. | Using image pre-processing to generate a machine learning model |
US11023745B2 (en) | 2018-12-27 | 2021-06-01 | Beijing Didi Infinity Technology And Development Co., Ltd. | System for automated lane marking |
WO2020139355A1 (en) | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | System for automated lane marking |
CN109934163B (zh) | 2018-12-27 | 2022-07-08 | 北京航空航天大学 | 一种基于场景先验和特征再融合的航空图像车辆检测方法 |
US20220078637A1 (en) | 2018-12-28 | 2022-03-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Wireless device, a network node and methods therein for updating a first instance of a machine learning model |
US11170299B2 (en) | 2018-12-28 | 2021-11-09 | Nvidia Corporation | Distance estimation to objects and free-space boundaries in autonomous machine applications |
US20200209857A1 (en) | 2018-12-31 | 2020-07-02 | Uber Technologies, Inc. | Multimodal control system for self driving vehicle |
KR102097120B1 (ko) | 2018-12-31 | 2020-04-09 | 주식회사 애자일소다 | 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법 |
US20200210840A1 (en) | 2018-12-31 | 2020-07-02 | Microsoft Technology Licensing, Llc | Adjusting precision and topology parameters for neural network training based on a performance metric |
US20200331476A1 (en) | 2018-12-31 | 2020-10-22 | Chongqing Jinkang New Energy Vehicle, Ltd. | Automatic lane change with minimum gap distance |
US20200209874A1 (en) | 2018-12-31 | 2020-07-02 | Chongqing Jinkang New Energy Vehicle, Ltd. | Combined virtual and real environment for autonomous vehicle planning and control testing |
US20200218722A1 (en) | 2019-01-04 | 2020-07-09 | SayMosaic Inc. | System and method for natural language processing (nlp) based searching and question answering |
KR20200085490A (ko) | 2019-01-07 | 2020-07-15 | 에스케이플래닛 주식회사 | 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체 |
WO2020146445A1 (en) | 2019-01-08 | 2020-07-16 | Philip Christopher Du Toit | Classifying perceived objects based on activity |
US11294472B2 (en) | 2019-01-11 | 2022-04-05 | Microsoft Technology Licensing, Llc | Augmented two-stage hand gesture input |
CN109886997B (zh) | 2019-01-23 | 2023-07-11 | 平安科技(深圳)有限公司 | 基于目标检测的识别框确定方法、装置及终端设备 |
US10692002B1 (en) | 2019-01-28 | 2020-06-23 | StradVision, Inc. | Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same |
CN111488770A (zh) | 2019-01-28 | 2020-08-04 | 初速度(苏州)科技有限公司 | 交通标志识别方法、神经网络模型的训练方法和装置 |
US10373026B1 (en) | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments |
CN109948428B (zh) | 2019-01-28 | 2022-12-09 | 上海理工大学 | 面向传感信息处理的gpu集群深度学习边缘计算系统 |
US11087175B2 (en) | 2019-01-30 | 2021-08-10 | StradVision, Inc. | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them |
US20200242511A1 (en) | 2019-01-30 | 2020-07-30 | Oracle International Corporation | Dynamic Data Selection for a Machine Learning Model |
US10628688B1 (en) | 2019-01-30 | 2020-04-21 | Stadvision, Inc. | Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system |
WO2020157761A1 (en) | 2019-01-31 | 2020-08-06 | Amnon Buxboim | Automated evaluation of embryo implantation potential |
US10824947B2 (en) | 2019-01-31 | 2020-11-03 | StradVision, Inc. | Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same |
US10943355B2 (en) | 2019-01-31 | 2021-03-09 | Uatc, Llc | Systems and methods for detecting an object velocity |
US10540572B1 (en) | 2019-01-31 | 2020-01-21 | StradVision, Inc. | Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same |
US10776673B2 (en) | 2019-01-31 | 2020-09-15 | StradVision, Inc. | Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same |
US10726279B1 (en) | 2019-01-31 | 2020-07-28 | StradVision, Inc. | Method and device for attention-driven resource allocation by using AVM and reinforcement learning to thereby achieve safety of autonomous driving |
US10997461B2 (en) * | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11607170B2 (en) | 2019-02-01 | 2023-03-21 | Starkey Laboratories, Inc. | Detection of physical abuse or neglect using data from ear-wearable devices |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
BR112021015306A2 (pt) | 2019-02-05 | 2021-10-05 | Urugus S.A. | Método e sistema para transferir automaticamente conhecimento em algoritmos de aprendizado por máquina |
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
EP3924971A1 (en) | 2019-02-11 | 2021-12-22 | Flagship Pioneering Innovations VI, LLC | Machine learning guided polypeptide analysis |
US11635767B2 (en) | 2019-02-13 | 2023-04-25 | Semyon Nisenzon | System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles |
US10568570B1 (en) | 2019-02-14 | 2020-02-25 | Trungram Gyaltrul Sherpa | Methods and systems for providing a preferred fitness state of a user |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US10726374B1 (en) | 2019-02-19 | 2020-07-28 | Icertis, Inc. | Risk prediction based on automated analysis of documents |
US11977388B2 (en) | 2019-02-21 | 2024-05-07 | Nvidia Corporation | Quantizing autoencoders in a neural network |
US10970911B2 (en) | 2019-02-21 | 2021-04-06 | Facebook Technologies, Llc | Graphics processing chip with machine-learning based shader |
US11635764B2 (en) | 2019-02-22 | 2023-04-25 | Uatc, Llc. | Motion prediction for autonomous devices |
US11562176B2 (en) | 2019-02-22 | 2023-01-24 | Cisco Technology, Inc. | IoT fog as distributed machine learning structure search platform |
CN109902732B (zh) | 2019-02-22 | 2021-08-27 | 哈尔滨工业大学(深圳) | 车辆自动分类方法及相关装置 |
WO2020176442A1 (en) | 2019-02-25 | 2020-09-03 | Walmart Apollo, Llc | Systems and methods of product recognition through multi-model image processing |
US11658880B2 (en) | 2019-02-27 | 2023-05-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Transfer learning for radio resource management |
US11710034B2 (en) | 2019-02-27 | 2023-07-25 | Intel Corporation | Misuse index for explainable artificial intelligence in computing environments |
CA3125524A1 (en) | 2019-02-28 | 2020-09-03 | Skidmore Owings & Merrill Llp | Machine learning tool for structures |
CN110223301B (zh) | 2019-03-01 | 2021-08-03 | 华为技术有限公司 | 一种图像裁剪方法和电子设备 |
CN109949257B (zh) | 2019-03-06 | 2021-09-10 | 西安电子科技大学 | 基于深度学习的感兴趣区域压缩感知图像重构方法 |
US10949997B2 (en) | 2019-03-08 | 2021-03-16 | Ford Global Technologies, Llc | Vehicle localization systems and methods |
CN109978161B (zh) | 2019-03-08 | 2022-03-04 | 吉林大学 | 一种通用的卷积-池化同步处理卷积核系统 |
US10930065B2 (en) | 2019-03-08 | 2021-02-23 | X Development Llc | Three-dimensional modeling with two dimensional data |
US11648945B2 (en) | 2019-03-11 | 2023-05-16 | Nvidia Corporation | Intersection detection and classification in autonomous machine applications |
CN109902186B (zh) | 2019-03-12 | 2021-05-11 | 北京百度网讯科技有限公司 | 用于生成神经网络的方法和装置 |
AU2019201716A1 (en) | 2019-03-13 | 2020-10-01 | Canon Kabushiki Kaisha | System and method of generating a neural network architecture |
US20200294162A1 (en) | 2019-03-13 | 2020-09-17 | Opendoor Labs Inc. | Value prediction error generation system |
US11983909B2 (en) | 2019-03-14 | 2024-05-14 | Hewlett-Packard Development Company, L.P. | Responding to machine learning requests from multiple clients |
WO2020185234A1 (en) | 2019-03-14 | 2020-09-17 | Hewlett-Packard Development Company, L.P. | Preprocessing sensor data for machine learning |
CN109871828B (zh) | 2019-03-15 | 2022-12-02 | 京东方科技集团股份有限公司 | 视频识别方法和识别装置、存储介质 |
CN109975308B (zh) | 2019-03-15 | 2023-03-24 | 维库(厦门)信息技术有限公司 | 一种基于深度学习的表面检测方法 |
GB2618443B (en) | 2019-03-15 | 2024-02-28 | Nvidia Corp | Techniques to train a neural network using transformations |
US11468582B2 (en) | 2019-03-16 | 2022-10-11 | Nvidia Corporation | Leveraging multidimensional sensor data for computationally efficient object detection for autonomous machine applications |
DE112020000369T5 (de) | 2019-03-16 | 2021-10-21 | Nvidia Corporation | Objekterfassung unter verwendung von verzerrten polygonen, die zur parkplatzerfassung geeignet ist |
US11580386B2 (en) | 2019-03-18 | 2023-02-14 | Electronics And Telecommunications Research Institute | Convolutional layer acceleration unit, embedded system having the same, and method for operating the embedded system |
EP3942752A1 (en) | 2019-03-19 | 2022-01-26 | Liveperson, Inc. | Dynamic communications routing to disparate endpoints |
US10402641B1 (en) | 2019-03-19 | 2019-09-03 | Capital One Services, Llc | Platform for document classification |
US20200302288A1 (en) | 2019-03-20 | 2020-09-24 | Gyrfalcon Technology Inc. | Using output equalization in training an artificial intelligence model in a semiconductor solution |
JP7240916B2 (ja) | 2019-03-22 | 2023-03-16 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US11559221B2 (en) | 2019-03-22 | 2023-01-24 | Siemens Healthcare Gmbh | Multi-task progressive networks for patient modeling for medical scans |
US11548533B2 (en) | 2019-03-23 | 2023-01-10 | Uatc, Llc | Perception and motion prediction for autonomous devices |
US20200302662A1 (en) | 2019-03-23 | 2020-09-24 | Uatc, Llc | System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors |
US11423563B2 (en) | 2019-03-23 | 2022-08-23 | Uatc, Llc | Depth estimation for autonomous devices |
US11544167B2 (en) | 2019-03-23 | 2023-01-03 | Uatc, Llc | Systems and methods for generating synthetic sensor data via machine learning |
US11021148B2 (en) | 2019-03-25 | 2021-06-01 | Zoox, Inc. | Pedestrian prediction based on attributes |
US11351991B2 (en) | 2019-03-25 | 2022-06-07 | Zoox, Inc. | Prediction based on attributes |
CN113632096A (zh) | 2019-03-25 | 2021-11-09 | 祖克斯有限公司 | 基于属性的行人预测 |
CN109951710B (zh) | 2019-03-26 | 2021-07-02 | 中国民航大学 | 基于深度学习的机坪监控视频压缩方法及系统 |
US11199415B2 (en) | 2019-03-26 | 2021-12-14 | Lyft, Inc. | Systems and methods for estimating vehicle position based on contextual sensor information |
US10790919B1 (en) | 2019-03-26 | 2020-09-29 | Electronic Arts Inc. | Personalized real-time audio generation based on user physiological response |
US11276216B2 (en) | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
US11740335B2 (en) | 2019-03-27 | 2023-08-29 | Zoox, Inc. | Identifying and/or removing false positive detections from LIDAR sensor output |
US10657934B1 (en) | 2019-03-27 | 2020-05-19 | Electronic Arts Inc. | Enhancements for musical composition applications |
US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
US20200311601A1 (en) | 2019-03-29 | 2020-10-01 | Optum, Inc. | Hybrid rule-based and machine learning predictions |
KR20210134638A (ko) | 2019-03-29 | 2021-11-10 | 인텔 코포레이션 | 자율 차량 시스템 |
US10661902B1 (en) | 2019-03-29 | 2020-05-26 | QuantumID Technologies Inc | Artificial intelligence system for estimating excess non-sapient payload capacity on mixed-payload aeronautic excursions |
US11709495B2 (en) | 2019-03-29 | 2023-07-25 | SafeAI, Inc. | Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control |
US10559386B1 (en) | 2019-04-02 | 2020-02-11 | Kpn Innovations, Llc | Methods and systems for an artificial intelligence support network for vibrant constituional guidance |
US11877801B2 (en) | 2019-04-02 | 2024-01-23 | Medicrea International | Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures |
EP3948772A4 (en) | 2019-04-04 | 2022-06-01 | Presagen Pty Ltd | METHOD AND SYSTEM OF EMBRYO SELECTION |
US11250062B2 (en) | 2019-04-04 | 2022-02-15 | Kpn Innovations Llc | Artificial intelligence methods and systems for generation and implementation of alimentary instruction sets |
US11636380B2 (en) | 2019-04-09 | 2023-04-25 | Nxp B.V. | Method for protecting a machine learning model against extraction using an ensemble of a plurality of machine learning models |
CN111797657A (zh) | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 车辆周边障碍检测方法、装置、存储介质及电子设备 |
EP3722992B1 (en) | 2019-04-10 | 2023-03-01 | Teraki GmbH | System and method for pre-processing images captured by a vehicle |
US10943132B2 (en) | 2019-04-10 | 2021-03-09 | Black Sesame International Holding Limited | Distant on-road object detection |
CN113678142A (zh) | 2019-04-11 | 2021-11-19 | 安捷伦科技有限公司 | 基于深度学习的经由回归层的实例分割训练 |
US10928508B2 (en) | 2019-04-12 | 2021-02-23 | Ford Global Technologies, Llc | Camera and radar fusion |
US11373044B2 (en) | 2019-04-12 | 2022-06-28 | Asapp, Inc. | Maintaining machine language model state across communications channels |
CN109961491B (zh) | 2019-04-12 | 2023-05-26 | 上海联影医疗科技股份有限公司 | 多模态图像截断补偿方法、装置、计算机设备和介质 |
JP2020173744A (ja) | 2019-04-15 | 2020-10-22 | 株式会社日立製作所 | 機械学習を用いた画像処理方式,およびそれを用いた電子制御装置 |
EP3725354B1 (en) | 2019-04-15 | 2023-04-12 | Nxp B.V. | Audio controller |
US20200327449A1 (en) | 2019-04-15 | 2020-10-15 | Accenture Global Solutions Limited | User retention platform |
CN109901595A (zh) | 2019-04-16 | 2019-06-18 | 山东大学 | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 |
JP7188255B2 (ja) | 2019-04-16 | 2022-12-13 | 富士通株式会社 | 学習方法、学習プログラムおよび学習装置 |
US11790171B2 (en) | 2019-04-16 | 2023-10-17 | Covera Health | Computer-implemented natural language understanding of medical reports |
US11809993B2 (en) | 2019-04-18 | 2023-11-07 | Google Llc | Systems and methods for determining graph similarity |
US11126890B2 (en) | 2019-04-18 | 2021-09-21 | Adobe Inc. | Robust training of large-scale object detectors with a noisy dataset |
US10893070B2 (en) | 2019-04-18 | 2021-01-12 | Facebook, Inc. | Detecting a page for a real-world entity, an imposter of a real-world entity, or a non-real-world entity that complies with or violates a policy of an online system |
CN110060202B (zh) | 2019-04-19 | 2021-06-08 | 湖北亿咖通科技有限公司 | 一种单目slam算法的初始化方法及系统 |
EP3959848A4 (en) | 2019-04-23 | 2022-06-22 | Deepsig Inc. | COMMUNICATION SIGNAL PROCESSING BY MEANS OF A MACHINE LEARNING NETWORK |
US20200342968A1 (en) | 2019-04-24 | 2020-10-29 | GE Precision Healthcare LLC | Visualization of medical device event processing |
US11257272B2 (en) | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
JP7472170B2 (ja) | 2019-04-26 | 2024-04-22 | エヌビディア コーポレーション | 自律マシン・アプリケーションにおける交差点姿勢検出 |
CN110175671B (zh) | 2019-04-28 | 2022-12-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
CN110111340B (zh) | 2019-04-28 | 2021-05-14 | 南开大学 | 基于多路割的弱监督实例分割方法 |
US11176493B2 (en) | 2019-04-29 | 2021-11-16 | Google Llc | Virtualizing external memory as local to a machine learning accelerator |
GB2583509B (en) | 2019-05-01 | 2023-02-22 | Advanced Risc Mach Ltd | System and method for fault detection and correction |
US10789402B1 (en) | 2019-05-01 | 2020-09-29 | Xilinx, Inc. | Compiler and hardware abstraction layer architecture for a neural network accelerator |
US10924661B2 (en) | 2019-05-02 | 2021-02-16 | International Business Machines Corporation | Generating image capture configurations and compositions |
US10475208B1 (en) | 2019-05-02 | 2019-11-12 | Capital One Services, Llc | Vehicle analysis platform |
US11556615B2 (en) | 2019-05-03 | 2023-01-17 | Tesla, Inc. | Data path for scalable matrix node engine with mixed data formats |
US11557392B2 (en) | 2019-05-03 | 2023-01-17 | Gyrus Acmi, Inc. | Context and state aware treatment room efficiency |
CN110135485A (zh) | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
US11556861B2 (en) | 2019-05-06 | 2023-01-17 | Google Llc | Debugging correctness issues in training machine learning models |
US11461664B2 (en) | 2019-05-07 | 2022-10-04 | Kpn Innovations, Llc. | Methods and systems for an artificial intelligence alimentary professional support network for vibrant constitutional guidance |
US10949684B2 (en) | 2019-05-08 | 2021-03-16 | Ford Global Technologies, Llc | Vehicle image verification |
US10832418B1 (en) | 2019-05-09 | 2020-11-10 | Zoox, Inc. | Object velocity from images |
CN110334801A (zh) | 2019-05-09 | 2019-10-15 | 苏州浪潮智能科技有限公司 | 一种卷积神经网络的硬件加速方法、装置、设备及系统 |
US20200356107A1 (en) | 2019-05-10 | 2020-11-12 | Uber Technologies, Inc. | Walkway Detection for Autonomous Light Electric Vehicle |
US20200364508A1 (en) | 2019-05-14 | 2020-11-19 | Nvidia Corporation | Using decay parameters for inferencing with neural networks |
EP3739486A1 (en) | 2019-05-14 | 2020-11-18 | CrowdStrike, Inc. | Applications of machine learning models to a binary search engine based on an inverted index of byte sequences |
US11263467B2 (en) | 2019-05-15 | 2022-03-01 | Apical Limited | Image processing |
CN110069071B (zh) | 2019-05-15 | 2022-06-14 | 深圳铂石空间科技有限公司 | 无人机导航方法与装置、存储介质、电子设备 |
US11701771B2 (en) | 2019-05-15 | 2023-07-18 | Nvidia Corporation | Grasp generation using a variational autoencoder |
US11475277B2 (en) | 2019-05-16 | 2022-10-18 | Google Llc | Accurate and interpretable classification with hard attention |
US11869037B2 (en) | 2019-05-17 | 2024-01-09 | gStore LLC | Integrating content-delivery platforms into programmatic environments generated by executed applications |
KR102071179B1 (ko) | 2019-05-20 | 2020-01-29 | 주식회사 루닛 | 데이터 셋의 연속적인 학습 방법 및 장치 |
KR102043143B1 (ko) | 2019-05-20 | 2019-11-11 | 호서대학교 산학협력단 | 인공신경망을 이용한 agv 주행제어 방법 및 장치 |
US20200372402A1 (en) | 2019-05-24 | 2020-11-26 | Bank Of America Corporation | Population diversity based learning in adversarial and rapid changing environments |
US11610142B2 (en) | 2019-05-28 | 2023-03-21 | Ati Technologies Ulc | Safety monitor for image misclassification |
JP7383870B2 (ja) | 2019-05-30 | 2023-11-21 | モービルアイ ビジョン テクノロジーズ リミテッド | デバイス、方法、システムおよびコンピュータプログラム |
CN110225341B (zh) | 2019-06-03 | 2020-08-28 | 中国科学技术大学 | 一种任务驱动的码流结构化图像编码方法 |
KR20200142266A (ko) | 2019-06-12 | 2020-12-22 | (주)리터너블 | 객체 인식 시스템 및 이를 사용한 객체 인식 방법 |
US11928557B2 (en) | 2019-06-13 | 2024-03-12 | Lyft, Inc. | Systems and methods for routing vehicles to capture and evaluate targeted scenarios |
US11113568B2 (en) | 2019-06-14 | 2021-09-07 | Canon Kabushiki Kaisha | Devices, systems, and methods for device-error analysis using computer vision and machine learning |
US11823460B2 (en) | 2019-06-14 | 2023-11-21 | Tusimple, Inc. | Image fusion for autonomous vehicle operation |
US11494930B2 (en) | 2019-06-17 | 2022-11-08 | SafeAI, Inc. | Techniques for volumetric estimation |
CN112101562B (zh) | 2019-06-18 | 2024-01-30 | 第四范式(北京)技术有限公司 | 机器学习建模过程的实现方法和系统 |
KR20220024718A (ko) | 2019-06-18 | 2022-03-03 | 몰로코, 인크. | 머신 러닝 서비스를 제공하기 위한 방법 및 시스템 |
US20200402155A1 (en) | 2019-06-20 | 2020-12-24 | Bank Of America Corporation | Systems for providing real-time resource distribution to a resource event having standard delayed resource availability |
US11501109B2 (en) | 2019-06-20 | 2022-11-15 | Western Digital Technologies, Inc. | Non-volatile memory die with on-chip data augmentation components for use with machine learning |
US11087463B2 (en) | 2019-06-21 | 2021-08-10 | StraxCorp Pty. Ltd. | Image analysis method and system for assessing bone fragility |
US11192558B2 (en) | 2019-06-24 | 2021-12-07 | Here Global B.V. | Method, apparatus, and system for providing road curvature data |
JP2022538813A (ja) | 2019-06-25 | 2022-09-06 | エヌビディア コーポレーション | 自律マシン・アプリケーションのための交差点領域検出及び分類 |
CN110310264B (zh) | 2019-06-25 | 2021-07-20 | 北京邮电大学 | 一种基于dcnn的大尺度目标检测方法、装置 |
US20200410288A1 (en) | 2019-06-26 | 2020-12-31 | Here Global B.V. | Managed edge learning in heterogeneous environments |
US11158056B2 (en) | 2019-06-26 | 2021-10-26 | Intel Corporation | Surround camera system with seamless stitching for arbitrary viewpoint selection |
US11657094B2 (en) | 2019-06-28 | 2023-05-23 | Meta Platforms Technologies, Llc | Memory grounded conversational reasoning and question answering for assistant systems |
DE102019209565A1 (de) | 2019-06-28 | 2020-12-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes |
US11163990B2 (en) | 2019-06-28 | 2021-11-02 | Zoox, Inc. | Vehicle control system and method for pedestrian detection based on head detection in sensor data |
WO2020264010A1 (en) | 2019-06-28 | 2020-12-30 | Zoox, Inc. | Low variance region detection for improved detection |
US11170567B2 (en) | 2019-06-28 | 2021-11-09 | Woven Planet North America, Inc. | Dynamic object detection model based on static map collection data |
US20210006835A1 (en) | 2019-07-01 | 2021-01-07 | Microsoft Technology Licensing, Llc | Blurring to improve visual quality in an area of interest in a frame |
CN110414362A (zh) | 2019-07-02 | 2019-11-05 | 安徽继远软件有限公司 | 基于生成式对抗网络的电力图像数据增广方法 |
US11467588B2 (en) | 2019-07-03 | 2022-10-11 | Denso International America, Inc. | Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence |
US20210004795A1 (en) | 2019-07-03 | 2021-01-07 | Sap Se | Anomaly and fraud detection using duplicate event detector |
KR20210004306A (ko) | 2019-07-04 | 2021-01-13 | 삼성전자주식회사 | 뉴럴 네트워크 장치 및 뉴럴 네트워크의 파라미터 양자화 방법 |
US11023749B2 (en) | 2019-07-05 | 2021-06-01 | Zoox, Inc. | Prediction on top-down scenes based on action data |
US11475675B2 (en) | 2019-07-08 | 2022-10-18 | Uatc, Llc | Systems and methods for identifying unknown instances |
US11681925B2 (en) | 2019-07-08 | 2023-06-20 | Vianai Systems, Inc. | Techniques for creating, analyzing, and modifying neural networks |
CN110321965B (zh) | 2019-07-10 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 物体重识别模型的训练方法、物体重识别的方法及装置 |
US11829896B2 (en) | 2019-07-11 | 2023-11-28 | Ghost Autonomy Inc. | Uncertainty-based data filtering in a vehicle |
US20210011908A1 (en) | 2019-07-11 | 2021-01-14 | Ghost Locomotion Inc. | Model-based structured data filtering in an autonomous vehicle |
US20210012239A1 (en) | 2019-07-12 | 2021-01-14 | Microsoft Technology Licensing, Llc | Automated generation of machine learning models for network evaluation |
US11379287B2 (en) | 2019-07-17 | 2022-07-05 | Factualvr, Inc. | System and method for error detection and correction in virtual reality and augmented reality environments |
US11191342B2 (en) | 2019-07-18 | 2021-12-07 | L'oreal | Techniques for identifying skin color in images having uncontrolled lighting conditions |
CN110473173A (zh) | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
CN110599537A (zh) | 2019-07-25 | 2019-12-20 | 中国地质大学(武汉) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 |
US11941976B2 (en) | 2019-07-25 | 2024-03-26 | Pony Ai Inc. | System and method for sharing data collected from the street sensors |
US10893107B1 (en) | 2019-07-25 | 2021-01-12 | Amazon Technologies, Inc. | Techniques for managing processing resources |
US20210030276A1 (en) | 2019-07-29 | 2021-02-04 | DawnLight Technologies Inc. | Remote Health Monitoring Systems and Method |
CN112308095A (zh) | 2019-07-30 | 2021-02-02 | 顺丰科技有限公司 | 图片预处理及模型训练方法、装置、服务器及存储介质 |
US11200456B2 (en) | 2019-07-31 | 2021-12-14 | GE Precision Healthcare LLC | Systems and methods for generating augmented training data for machine learning models |
CN110399875A (zh) | 2019-07-31 | 2019-11-01 | 山东浪潮人工智能研究院有限公司 | 一种基于深度学习与像素投影的通用表格信息提取方法 |
CN110426051B (zh) | 2019-08-05 | 2021-05-18 | 武汉中海庭数据技术有限公司 | 一种车道线绘制方法、装置及存储介质 |
US11182903B2 (en) | 2019-08-05 | 2021-11-23 | Sony Corporation | Image mask generation using a deep neural network |
US11449709B2 (en) | 2019-08-08 | 2022-09-20 | Nvidia Corporation | Domain restriction of neural networks through synthetic data pre-training |
US11531883B2 (en) | 2019-08-12 | 2022-12-20 | Bank Of America Corporation | System and methods for iterative synthetic data generation and refinement of machine learning models |
US11537880B2 (en) | 2019-08-12 | 2022-12-27 | Bank Of America Corporation | System and methods for generation of synthetic data cluster vectors and refinement of machine learning models |
US11348339B2 (en) | 2019-08-13 | 2022-05-31 | Uatc, Llc | Association and tracking for autonomous devices |
US11593753B2 (en) | 2019-08-13 | 2023-02-28 | United Parcel Service Of America, Inc. | Multi-phase consolidation optimization tool |
US11556992B2 (en) | 2019-08-14 | 2023-01-17 | Royal Bank Of Canada | System and method for machine learning architecture for enterprise capitalization |
US11634162B2 (en) | 2019-08-16 | 2023-04-25 | Uatc, Llc. | Full uncertainty for motion planning in autonomous vehicles |
CN110543837B (zh) | 2019-08-16 | 2022-03-15 | 北京航空航天大学 | 一种基于潜在目标点的可见光机场飞机检测方法 |
US11302009B2 (en) | 2019-08-19 | 2022-04-12 | Fotonation Limited | Method of image processing using a neural network |
US11144754B2 (en) | 2019-08-19 | 2021-10-12 | Nvidia Corporation | Gaze detection using one or more neural networks |
US11594036B2 (en) | 2019-08-21 | 2023-02-28 | Micron Technology, Inc. | Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection |
US11232110B2 (en) | 2019-08-23 | 2022-01-25 | Capital One Services, Llc | Natural language keyword tag extraction |
CN110516665A (zh) | 2019-08-23 | 2019-11-29 | 上海眼控科技股份有限公司 | 识别图像叠加文字区域的神经网络模型构建方法与系统 |
CN110619283B (zh) | 2019-08-26 | 2023-01-10 | 海南撰云空间信息技术有限公司 | 一种无人机正射影像道路自动提取方法 |
CN110619282B (zh) | 2019-08-26 | 2023-01-10 | 海南撰云空间信息技术有限公司 | 一种无人机正射影像建筑物自动提取方法 |
CN110569899B (zh) | 2019-09-03 | 2022-06-10 | 嘉陵江亭子口水利水电开发有限公司 | 坝面缺陷分类模型训练方法及装置 |
CN110619330A (zh) | 2019-09-18 | 2019-12-27 | 上海眼控科技股份有限公司 | 识别模型的训练方法、装置、计算机设备及识别方法 |
CN110751280A (zh) | 2019-09-19 | 2020-02-04 | 华中科技大学 | 一种应用于卷积神经网络的可配置卷积加速器 |
CN110659628A (zh) | 2019-10-09 | 2020-01-07 | 山东浪潮人工智能研究院有限公司 | 一种基于深度学习的煤矿监控视频解压缩方法及系统 |
CN110599864A (zh) | 2019-10-28 | 2019-12-20 | 苏州智行众维智能科技有限公司 | 一种基于室内交通场景模拟传感器建模和验证装置及方法 |
CN110826566B (zh) | 2019-11-01 | 2022-03-01 | 北京环境特性研究所 | 一种基于深度学习的目标切片提取方法 |
US10819923B1 (en) | 2019-11-19 | 2020-10-27 | Waymo Llc | Thermal imaging for self-driving cars |
CN110966991B (zh) | 2019-11-21 | 2021-07-02 | 中国人民解放军国防科技大学 | 一种无控制点下的单幅无人机影像定位方法 |
CN110956185B (zh) | 2019-11-21 | 2023-04-18 | 大连理工大学人工智能大连研究院 | 一种图像显著目标的检测方法 |
CN110631593B (zh) | 2019-11-25 | 2020-02-21 | 奥特酷智能科技(南京)有限公司 | 一种用于自动驾驶场景的多传感器融合定位方法 |
DE102019008316A1 (de) | 2019-11-29 | 2020-08-13 | Daimler Ag | Verfahren zur Objekterkennung und Abstandsbestimmung |
CN111126453B (zh) | 2019-12-05 | 2022-05-03 | 重庆邮电大学 | 基于注意力机制和切割填充的细粒度图像分类方法及系统 |
CN110688992B (zh) | 2019-12-09 | 2020-08-04 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
CN111027549A (zh) | 2019-12-10 | 2020-04-17 | 北京服装学院 | 一种针对女上装关键点识别方法 |
CN111027575B (zh) | 2019-12-13 | 2022-06-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
US10902551B1 (en) | 2019-12-17 | 2021-01-26 | X Development Llc | True positive transplant |
US10796355B1 (en) | 2019-12-27 | 2020-10-06 | Capital One Services, Llc | Personalized car recommendations based on customer web traffic |
US11536574B2 (en) | 2019-12-27 | 2022-12-27 | Intel Corporation | System and method for acceleration-based vector field maps |
US10732261B1 (en) | 2019-12-31 | 2020-08-04 | Aurora Innovation, Inc. | Generating data using radar observation model based on machine learning |
CN111062973B (zh) | 2019-12-31 | 2021-01-01 | 西安电子科技大学 | 基于目标特征敏感性和深度学习的车辆跟踪方法 |
US11341170B2 (en) | 2020-01-10 | 2022-05-24 | Hearst Magazine Media, Inc. | Automated extraction, inference and normalization of structured attributes for product data |
CN111047225B (zh) | 2020-01-10 | 2021-03-23 | 惠州光弘科技股份有限公司 | 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法 |
CN111275618B (zh) | 2020-01-12 | 2023-09-29 | 杭州电子科技大学 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
CN111275080B (zh) | 2020-01-14 | 2021-01-08 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像分类模型训练方法、分类方法及装置 |
US10845943B1 (en) | 2020-02-14 | 2020-11-24 | Carmax Business Services, Llc | Systems and methods for generating a 360-degree viewing experience |
CN111275129A (zh) | 2020-02-17 | 2020-06-12 | 平安科技(深圳)有限公司 | 一种图像数据的增广策略选取方法及系统 |
CN111461110B (zh) | 2020-03-02 | 2023-04-28 | 华南理工大学 | 一种基于多尺度图像和加权融合损失的小目标检测方法 |
CN111598095B (zh) | 2020-03-09 | 2023-04-07 | 浙江工业大学 | 一种基于深度学习的城市道路场景语义分割方法 |
CN111444821B (zh) | 2020-03-24 | 2022-03-25 | 西北工业大学 | 一种城市道路标志自动识别方法 |
US11455793B2 (en) | 2020-03-25 | 2022-09-27 | Intel Corporation | Robust object detection and classification using static-based cameras and events-based cameras |
US11568655B2 (en) | 2020-03-26 | 2023-01-31 | Intel Corporation | Methods and devices for triggering vehicular actions based on passenger actions |
US11597393B2 (en) | 2020-03-26 | 2023-03-07 | Intel Corporation | Systems, methods, and devices for driving control |
US11586854B2 (en) | 2020-03-26 | 2023-02-21 | Intel Corporation | Devices and methods for accurately identifying objects in a vehicle's environment |
US11886968B2 (en) | 2020-03-27 | 2024-01-30 | Intel Corporation | Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems |
CN111445420B (zh) | 2020-04-09 | 2023-06-06 | 北京爱芯科技有限公司 | 卷积神经网络的图像运算方法、装置和电子设备 |
CN111461052B (zh) | 2020-04-13 | 2023-05-23 | 安徽大学 | 基于迁移学习的多个生育期小麦倒伏区域识别方法 |
CN111461053B (zh) | 2020-04-13 | 2023-05-23 | 安徽大学 | 基于迁移学习的多个生育期小麦倒伏区域识别系统 |
CN111539514B (zh) | 2020-04-16 | 2023-06-06 | 北京百度网讯科技有限公司 | 用于生成神经网络的结构的方法和装置 |
CN111428943B (zh) | 2020-04-23 | 2021-08-03 | 福瑞泰克智能系统有限公司 | 障碍物车辆轨迹预测的方法、设备和计算机设备 |
KR102189262B1 (ko) | 2020-04-29 | 2020-12-11 | 주식회사 글로벌브릿지 | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 |
CN111565318A (zh) | 2020-05-06 | 2020-08-21 | 中国科学院重庆绿色智能技术研究院 | 一种基于稀疏样本的视频压缩方法 |
CN111582216B (zh) | 2020-05-15 | 2023-08-04 | 安徽师范大学 | 一种无人驾驶车载交通信号灯识别系统及方法 |
CN111693972B (zh) | 2020-05-29 | 2022-11-15 | 东南大学 | 一种基于双目序列图像的车辆位置与速度估计方法 |
CN111783545A (zh) | 2020-06-02 | 2020-10-16 | 山西潞安环保能源开发股份有限公司五阳煤矿 | 一种基于生成对抗网络的煤矿无人机图像增强方法 |
CN111767801B (zh) | 2020-06-03 | 2023-06-16 | 中国地质大学(武汉) | 一种基于深度学习的遥感影像水域自动提取方法及系统 |
CN111814623A (zh) | 2020-06-29 | 2020-10-23 | 浙江工业大学 | 一种基于深度神经网络的车辆车道偏离视觉检测方法 |
CN111860499B (zh) | 2020-07-01 | 2022-07-12 | 电子科技大学 | 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法 |
CN111783971B (zh) | 2020-07-02 | 2024-04-09 | 上海赛昉科技有限公司 | 一种用于深度神经网络的可高度灵活配置的数据后处理器 |
CN111882579A (zh) | 2020-07-03 | 2020-11-03 | 湖南爱米家智能科技有限公司 | 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备 |
CN111899227A (zh) | 2020-07-06 | 2020-11-06 | 北京交通大学 | 基于无人机作业的铁路扣件缺陷自动采集辨识方法 |
CN111768002B (zh) | 2020-07-10 | 2021-06-22 | 南开大学 | 一种基于弹性有效位的深度神经网络量化方法 |
CN111814902A (zh) | 2020-07-21 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 目标检测模型训练方法、目标识别方法、装置和介质 |
CN111898507B (zh) | 2020-07-22 | 2022-06-03 | 武汉大学 | 一种预测无标签遥感影像地表覆盖类别的深度学习方法 |
CN111898523A (zh) | 2020-07-29 | 2020-11-06 | 电子科技大学 | 一种基于迁移学习的遥感图像特种车辆目标检测方法 |
CN111897639B (zh) | 2020-07-29 | 2022-12-27 | 平安科技(深圳)有限公司 | 图像增广方法、装置、计算机设备及存储介质 |
CN111899245B (zh) | 2020-07-30 | 2021-03-09 | 推想医疗科技股份有限公司 | 图像分割、模型的训练方法及装置,电子设备及存储介质 |
CN111881856B (zh) | 2020-07-31 | 2023-01-31 | 蚂蚁胜信(上海)信息技术有限公司 | 基于图像的车辆定损方法和装置 |
CN112101175B (zh) | 2020-09-09 | 2024-05-10 | 沈阳帝信人工智能产业研究院有限公司 | 基于局部图像的高速公路车辆检测及多属性特征提取方法 |
CN112115953B (zh) | 2020-09-18 | 2023-07-11 | 南京工业大学 | 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法 |
CN112232497A (zh) | 2020-10-12 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种编译ai芯片的方法、系统、设备及介质 |
CN112329552B (zh) | 2020-10-16 | 2023-07-14 | 爱驰汽车(上海)有限公司 | 基于汽车的障碍物检测方法及装置 |
CN112348783B (zh) | 2020-10-27 | 2022-08-05 | 基建通(三亚)国际科技有限公司 | 基于图像的人物识别方法、装置及计算机可读存储介质 |
CN112183739B (zh) | 2020-11-02 | 2022-10-04 | 中国科学技术大学 | 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构 |
CN112308799A (zh) | 2020-11-05 | 2021-02-02 | 山东交通学院 | 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 |
CN112288658B (zh) | 2020-11-23 | 2023-11-28 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
-
2019
- 2019-02-01 US US16/265,729 patent/US10997461B2/en active Active
-
2020
- 2020-01-28 KR KR1020237039946A patent/KR20230162149A/ko active Search and Examination
- 2020-01-28 EP EP20708802.2A patent/EP3918613A1/en active Pending
- 2020-01-28 WO PCT/US2020/015371 patent/WO2020159960A1/en unknown
- 2020-01-28 CA CA3128025A patent/CA3128025A1/en active Pending
- 2020-01-28 IL IL309614A patent/IL309614A/en unknown
- 2020-01-28 JP JP2021544312A patent/JP7467485B2/ja active Active
- 2020-01-28 KR KR1020217026370A patent/KR102605807B1/ko active IP Right Grant
- 2020-01-28 IL IL285153A patent/IL285153B2/en unknown
- 2020-01-28 SG SG11202108322QA patent/SG11202108322QA/en unknown
- 2020-01-28 CN CN202080023715.2A patent/CN113614851A/zh active Pending
- 2020-01-28 AU AU2020215680A patent/AU2020215680A1/en active Pending
-
2021
- 2021-04-20 US US17/301,965 patent/US11748620B2/en active Active
-
2023
- 2023-09-01 US US18/459,954 patent/US20240070460A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190000843A (ko) * | 2017-06-23 | 2019-01-03 | 우버 테크놀로지스, 인크. | 자율 주행 가능 차량용 충돌-회피 시스템 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102657675B1 (ko) * | 2023-01-20 | 2024-04-16 | 주식회사 핀텔 | 디지털트윈을 이용한 인공지능모델의 평가방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP2022523319A (ja) | 2022-04-22 |
IL285153A (en) | 2021-09-30 |
AU2020215680A1 (en) | 2021-08-26 |
JP7467485B2 (ja) | 2024-04-15 |
US20210342637A1 (en) | 2021-11-04 |
WO2020159960A1 (en) | 2020-08-06 |
CA3128025A1 (en) | 2020-08-06 |
KR102605807B1 (ko) | 2023-11-23 |
IL285153B2 (en) | 2024-05-01 |
US20200250473A1 (en) | 2020-08-06 |
US11748620B2 (en) | 2023-09-05 |
CN113614851A (zh) | 2021-11-05 |
US10997461B2 (en) | 2021-05-04 |
IL285153B1 (en) | 2024-01-01 |
IL309614A (en) | 2024-02-01 |
EP3918613A1 (en) | 2021-12-08 |
SG11202108322QA (en) | 2021-08-30 |
KR20230162149A (ko) | 2023-11-28 |
US20240070460A1 (en) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102618662B1 (ko) | 자율 주행을 위한 3차원 특징 예측 | |
KR102605807B1 (ko) | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 | |
US11288524B2 (en) | Estimating object properties using visual image data | |
KR20230079505A (ko) | 트레이닝 데이터를 획득하기 위한 시스템 및 방법 | |
JP2024073621A (ja) | 視覚画像データを用いたオブジェクト属性の推定 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |