KR20210126072A

KR20210126072A - 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정

Info

Publication number: KR20210126072A
Application number: KR1020217028802A
Authority: KR
Inventors: 제임스 엔서니 머스크; 스웁닐 쿠마 사하이; 아쇽 쿠마 엘루스와미
Original assignee: 테슬라, 인크.
Priority date: 2019-02-19
Filing date: 2020-02-07
Publication date: 2021-10-19
Also published as: KR20240005151A; CN113692587A; IL285623B1; KR102618700B1; US10956755B2; US11790664B2; AU2020224581A1; WO2020171983A1; CA3130097A1; US20240127599A1; IL309617A; US20220284712A1; EP3928249A1; US11288524B2; IL285623A; JP2022520968A; US20200265247A1; US20210326610A1

Abstract

일 실시예는 시스템을 포함한다. 시스템은, 차량의 카메라를 사용하여 캡처된 이미지를 기반으로 이미지 데이터를 수신하고, 상기 차량으로부터 오브젝트의 거리를 적어도 부분적으로(at least in part) 식별하기 위해, 트레이닝된 머신 러닝 모델에 대한 입력의 기초로 상기 이미지 데이터를 활용하도록 구성된 하나 이상의 프로세서를 포함하고, 상기 트레이닝된 머신 러닝 모델은 트레이닝 이미지와 방출 거리 센서의 상관 출력을 사용하여 트레이닝되고, 상기 하나 이상의 프로세서는 메모리와 커플링(coupled)된다.

Description

시각적 이미지 데이터를 사용하는 오브젝트 특성 추정

관련 출원에 대한 상호 참조

본 출원은 미국 출원에 기초한 우선권 주장 출원으로, 미국 출원 제16/279,657 호 "비주얼 이미지 데이터를 이용한 오브젝트 특성 추정"이라는 제목으로 2019년 2월 19일에 출원된 출원에 대한 우선권을 주장한다. 이의 개시 내용은 본 출원에 의해 전체적으로 통합된다.

자율 주행 시스템은 일반적으로 차량에 비전 및 방출 거리 센서(예: 레이더 센서, 라이다(lidar) 센서, 초음파 센서 등)를 포함한 수많은 센서를 장착하는데 의존한다.

각 센서에서 캡처한 데이터는 차량의 주변 환경을 이해하고 차량을 제어하는 방법을 결정하는 데 도움이 된다. 비전 센서를 사용하여 캡처된 이미지 데이터에서 오브젝트를 식별하고 방출 거리 센서를 이용하여 감지된 오브젝트의 거리를 확인할 수 있다. 탐지된 장애물과 명확한 주행가능 경로에 기초하여 스티어링 및 속도 조정을 적용할 수 있다. 그러나 센서의 수와 유형이 증가함에 따라 시스템의 복잡성과 비용도 증가한다.

예를 들어, 라이다(lidar)와 같은 방출 거리 센서는 종종 대량 시장(mass market) 차량에 포함시키기에는 비싸다. 또한, 각 추가 센서는 자율 주행 시스템에 대한 입력 대역폭 요구 사항을 증가시킨다. 따라서, 차량에서 최적의 센서 구성을 찾는 것이 필요하다. 설정(configuration)은 주변 환경을 정확하게 설명하고 차량을 안전하게 제어하기 위해 캡처된 데이터의 양과 유형을 제한하지 않고 총 센서 수를 제한해야 한다.

일 실시예는 시스템을 포함한다.

시스템은, 차량의 카메라를 사용하여 캡처된 이미지를 기반으로 이미지 데이터를 수신하고, 상기 차량으로부터 오브젝트의 거리를 적어도 부분적으로(at least in part) 식별하기 위해, 트레이닝된 머신 러닝 모델에 대한 입력의 기초로 상기 이미지 데이터를 활용하도록 구성된 하나 이상의 프로세서를 포함하고, 상기 트레이닝된 머신 러닝 모델은 트레이닝 이미지와 방출 거리 센서의 상관 출력을 사용하여 트레이닝되고, 상기 하나 이상의 프로세서는 메모리와 커플링(coupled)된다.

또 다른 실시예에는, 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램 제품은 비일시적인 컴퓨터 판독 가능한 저장 매체로 구현되며, 컴퓨터 명령어들을 포함한다.

상기 컴퓨터 명령어들은 차량의 카메라를 사용하여 캡처된 이미지를 기반으로 이미지 데이터를 수신하고, 상기 차량으로부터 오브젝트의 거리를 적어도 부분적으로 식별하기 위해 상기 이미지 데이터를 트레이닝된 머신 러닝 모델에 대한 입력의 기초로 활용하기 위한 것이고, 상기 트레이닝된 머신 러닝 모델은 트레이닝 이미지와 방출 거리 센서의 상관 출력을 사용하여 트레이닝된다.

한편, 또 다른 실시예는 방법을 포함한다. 상기 방법은 차량의 카메라를 이용하여 캡처된 이미지를 기반으로 선택한 이미지를 수신하는 동작; 차량의 방출 거리 센서를 기반으로 거리 데이터를 수신하는 동작; 선택한 이미지를 트레이닝된 머신 러닝 모델에 대한 입력으로 사용하여 오브젝트를 식별하는 동작; 수신된 거리 데이터로부터 식별된 오브젝트의 거리 추정을 추출하는 동작; 선택한 이미지에 추출된 상기 거리 추정에 대해 추가하여 트레이닝 이미지를 생성하는 동작; 상기 트레이닝 이미지를 포함하는 트레이닝 데이터 세트를 이용하여 거리 측정을 예측하기 위해 제2 머신 러닝 모델을 트레이닝하는 동작; 제2 카메라가 장착된 제2 차량에 대해 상기 트레이닝된 제2 머신 러닝 모델을 제공하는 동작을 포함한다.

본 발명의 다양한 실시예는 다음과 같은 상세한 설명 및 도면들에 의해 개시된다.
도 1은 자율 주행을 위한 딥 러닝 시스템의 실시예를 도시한 블록 다이어그램이다.
도 2는 오브젝트 특성을 예측하기 위한 트레이닝 데이터를 생성하는 프로세스의 실시예를 도시한 흐름 다이어그램이다.
도 3은 자율 주행을 위한 머신 러닝 모델을 트레이닝 및 적용하는 과정의 실시예를 도시한 흐름 다이어그램이다.
도 4는 자율 주행을 위한 머신 러닝 모델을 트레이닝 및 적용하는 과정의 실시예를 도시한 흐름 다이어그램이다.
도 5는 머신 러닝 네트워크 트레이닝을 위한 보조 센서 데이터를 캡처한 일례를 도시한 다이어그램이다.
도 6은 오브젝트 특성을 예측하는 일예를 도시한 다이어그램이다.

본 발명은, 프로세스; 장치; 시스템; 대상들의 조합; 컴퓨터 판독 가능한 저장 매체 상에 구현된 컴퓨터 프로그램 제품; 및/또는 저장된 및/또는 프로세서와 커플링된 메모리에 의해 제공되는 명령어를 실행하도록 구성된 프로세서를 포함하는 여러 가지 방법으로 구현될 수 있다. 본 명세서에서, 이러한 구현, 또는 본 발명이 가질 수 있는 임의의 다른 형태는, 기술들(techniques)로 참조될 수 있다. 일반적으로, 개시된 프로세스의 단계의 순서는 본 발명의 범위 내에서 변경될 수 있다. 달리 명시되지 않는 한, 작업을 수행하기 위해 구성된 것으로 묘사되는 프로세서 또는 메모리와 같은 컴포넌트는 주어진 시간에 작업을 수행하도록 일시적으로 구성된 일반 컴포넌트 또는 작업을 수행하기 위해 제조되는 특정 컴포넌트로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 '프로세서'는 컴퓨터 프로그램 명령어들과 같은 데이터를 처리하기 위해 구성된 하나 이상의 장치, 회로 및/또는 처리 코어를 지칭한다.

본 발명의 하나 이상의 실시예에 대한 자세한 설명은 본 발명의 원리를 설명하는 첨부 도면과 함께 아래에서 제공된다. 본 발명은 이러한 실시예와 관련하여 기재되어 있으나, 본 발명은 임의의 실시예에 한정되지 않는다. 본 발명의 범위는 청구항에 의해서만 제한되며, 본 발명은 수많은 대안, 수정 및 등가물을 포함한다. 본 발명에 대한 철저한 이해를 제공하기 위해 다음과 같은 설명에 수많은 구체적인 세부 사항이 명시되어 있다. 이러한 세부 사항은 예시의 목적을 위해 제공되며 본 발명은 이러한 특정 세부 사항의 일부 또는 전부 없이도 청구항에 따라 실시될 수 있다. 명확한 설명을 위해, 본 발명과 관련된 기술 분야에서 공지된 기술자료는 본 발명이 불필요하게 방해받지 않도록 상세히 설명되지 않았다.

비전 데이터에서 매우 정확한 머신 러닝 결과를 생성하는 머신 러닝 트레이닝 기술이 개시된다. 보조 센서 데이터(예: 레이더 및 라이다(lidar) 결과)를 사용하여, 오브젝트 거리와 같은 오브젝트 특성을 정확하게 추정하기 위해 보조 데이터는 비전 데이터에서 식별된 오브젝트와 연관된다. 다양한 실시예에서, 비전 데이터와 보조 데이터의 수집 및 연관은 자동으로 수행되고, 인간의 개입이 거의 필요하지 않다. 예를 들어, 비전 기술을 사용하여 식별된 오브젝트는 수동으로 레이블을 지정할 필요가 없으므로 머신 러닝 트레이닝의 효율성을 크게 향상시킨다. 대신, 높은 정확도로 오브젝트 특성을 예측하기 위해, 트레이닝 데이터는 자동으로 생성되어, 머신 러닝 모델을 트레이닝하는데 사용된다. 예를 들어, 비전 데이터의 스냅샷 및 레이더 데이터와 같은 연관된 관련 데이터의 스냅샷을 수집하여, 차량으로부터 데이터를 자동으로 수집할 수 있다. 일부 실시예에서, 비전 레이더와 관련된 연관 타겟(association targets)의 서브셋(subset)만 샘플링된다. 차량 군집(fleet)에서 수집된 융합(fusion) 데이터는 자동으로 수집되어 캡처된 데이터를 모방하는 신경망을 트레이닝하는데 사용된다. 트레이닝된 머신 러닝 모델은 비전 데이터만 사용하여 거리, 방향 및 속도와 같은 오브젝트 특성을 정확하게 예측하기 위해 차량에 배포될 수 있다. 예를 들어, 전용 거리 센서에 대한 요구 없이 카메라의 이미지를 사용하여 오브젝트 거리를 결정할 수 있도록 머신 러닝 모델이 트레이닝되면, 더 이상 자율 주행 차량에 전용 거리 센서를 포함할 필요가 없을 수 있다.

전용 거리 센서와 함께 사용할 경우, 이러한 머신 러닝 모델은 리던던트(redundant) 또는 보조 거리 데이터 소스(source)로 사용되어 정확도를 향상시키고 내결함성(fault tolerance)을 제공할 수 있다. 식별된 오브젝트 및 이에 대응하는 특성은 차량의 셀프 드라이빙 또는 운전자 보조(assistant) 동작과 같은 자율 주행 기능을 구현하는 데 사용될 수 있다. 예를 들어, 개시된 기술을 사용하여 식별된 합류(merging) 차량을 피하기 위해 자율 주행 차량을 제어할 수 있다.

메모리와 커플링된 하나 이상의 프로세서를 포함하는 시스템은 차량의 카메라를 이용하여 캡처된 이미지에 기반한 이미지 데이터를 수신하도록 구성된다. 예를 들어, 자율 주행 차량에 설치된 인공 지능(AI) 프로세서와 같은 프로세서는 차량의 전방(forward-facing) 카메라 등의 카메라로부터 이미지 데이터를 수신한다. 측면(side-facing) 카메라와 후면(rear-facing) 카메라와 같은 추가 카메라도 사용될 수 있다. 이미지 데이터는 적어도 부분적으로 차량으로부터 오브젝트의 거리를 식별하기 위해 머신 러닝 트레이닝된 모델에 대한 입력의 기초로 활용된다. 예를 들어, 캡처된 이미지는 AI 프로세서에서 실행되는 딥 러닝 네트워크 모델과 같은 머신 러닝 모델에 대한 입력으로 사용된다. 이 모델은 이미지 데이터에서 식별된 오브젝트의 거리를 예측하는 데 사용된다. 차량 및 보행자와 같은 주변(surrounding) 오브젝트는 이미지 데이터로부터 식별될 수 있고, 딥 러닝 시스템을 사용하여 정확성과 방향을 추론할 수 있다. 다양한 실시예에서, 트레이닝된 머신 러닝 모델은 방출(emitting) 거리 센서의 트레이닝 이미지 및 상관 출력(correlated output)을 사용하여 트레이닝된다. 방출 거리 센서는 센서로부터 오브젝트의 거리를 감지하는 신호(예: 무선 신호, 초음파 신호, 빛 신호 등)를 방출할 수 있다. 예를 들어, 차량에 장착된 레이더 센서가 레이더를 방출하여 주변 장애물의 거리와 방향을 식별한다. 그 다음, 거리는 차량 카메라에서 캡처한 트레이닝 이미지에서 식별된 오브젝트와 상관된다(correlated). 연관된 트레이닝 이미지는 거리 측정에 어노테이트되고(annotated), 머신 러닝 모델을 트레이닝시키는데 이용된다. 일부 실시예에서, 모델은 오브젝트의 속도와 같은 추가 특성(properties)을 예측하는데 사용된다. 예를 들어, 레이더에 의해 결정된 오브젝트의 속도는 오브젝트 속도와 방향을 예측하는 머신 러닝 모델을 트레이닝하는 트레이닝 이미지의 오브젝트와 연관된다.

일부 실시예에서, 차량에는 차량의 환경 및 차량 동작(operating) 파라미터를 캡쳐하는 센서가 장착된다. 캡처된 데이터에는 비전 데이터(예: 비디오 및/또는 스틸 이미지) 및 레이더, 라이다(lidar), 관성(inertia), 오디오, 주행거리계(odometry), 위치 및/또는 기타 형태의 센서 데이터와 같은 추가적인 보조(auxiliary) 데이터가 포함된다. 예를 들어, 센서 데이터는 차량, 보행자, 차량 차선, 차량 교통, 장애물, 교통 관제 표지판, 교통 사운드 등을 캡처할 수 있다. 주행거리계(odometry) 및 다른 유사한 센서들은 차량 속도, 스티어링, 방향, 방향 변화, 위치 변화, 고도 변화, 속도 변화 등과 같은 차량 동작 파라미터를 캡처한다. 캡처된 비전 및 보조 데이터는 트레이닝 데이터 세트를 생성하기 위해 차량에서 트레이닝 서버로 전송된다. 일부 실시예에서, 전송된 비전 및 보조 데이터는 상관되고, 트레이닝 데이터를 자동으로 생성하는 데 사용된다. 트레이닝 데이터는 매우 정확한 머신 러닝 결과를 생성하기 위해 머신 러닝 모델을 트레이닝하는데 사용된다. 일부 실시예에서, 캡처된 데이터의 타임 시리즈(series)가 트레이닝 데이터를 생성하는데 사용된다. 지상 검증(ground truth)은 타임 시리즈 엘리먼트의 그룹에 기초하여 결정되고, 그룹에서 단일 이미지와 같은 적어도 하나의 엘리먼트를 어노테이트(annotate) 하는데 사용된다. 예를 들어, 30초 등의 시간 구간 동안 일련의 이미지와 레이더 데이터가 캡처된다. 이미지 데이터에서 식별되고 타임 시리즈를 가로질러(across) 추적된 차량은 타임 시리즈로부터의 대응하는 레이더 거리 및 방향과 연관된다. 레이더 거리 데이터 등 연관된 보조 데이터는 타임 시리즈에 대해 캡처된 이미지 및 거리 데이터를 분석한 후 차량과 연관된다. 타임 시리즈에 걸쳐 이미지 및 보조 데이터를 분석함으로써, 비슷한 거리를 가진 다수의 오브젝트 등의 모호성(ambiguities)은 지상 검증을 결정하기 위해 높은 정확도로 해결될 수 있다. 예를 들면, 캡처된 이미지 하나만 사용하는 경우, 한 차량이 다른 차량을 가리거나 두 차량이 서로 가까이 있게 되면 두 차량의 서로 다른 거리를 정확하게 추정하기에 대응하는 레이더 데이터가 충분하지 않을 수 있다. 그러나, 타임 시리즈 동안 차량들을 추적함으로써, 레이더에 의해 식별된 거리는, 차량이 분리되어 있고, 다른 방향으로 이동하며, 및/또는 다른 속도로 주행하는 경우 등에 정확한(correct) 차량들과 적절하게 연관될 수 있다. 다양한 실시예에서, 보조 데이터가 오브젝트와 적절히 연관되면, 타임 시리즈의 하나 이상의 이미지는 트레이닝 이미지로 변환되고, 거리, 속도 및/또는 기타 적절한 오브젝트 특성과 같은 대응하는 지상 검증과 어노테이트된다.

다양한 실시예에서, 보조 센서 데이터를 사용하여 트레이닝된 머신 러닝 모델은 물리적인 보조 센서 없이도 보조 센서의 결과를 정확하게 예측할 수 있다. 예를 들어, 트레이닝 차량에는 트레이닝 데이터를 수집하기 위해 고가 및/또는 운용하기 쉽지 않은 센서를 포함하는 보조 센서를 장착할 수 있다. 트레이닝 데이터를 사용하여 레이더, 라이다 또는 다른 센서와 같은 보조 센서의 결과를 예측하기 위한 머신 러닝 모델을 트레이닝할 수 있다. 트레이닝된 모델은 비전 센서만 있는 양산(production) 차량과 같은 차량에 배포된다. 보조 센서는 요구된다기 보다는, 추가(secondary) 데이터 소스로 사용될 수 있다. 센서 재보정(re-calibrating), 센서 유지 보수, 추가 센서 비용 및 추가 센서에 대한 추가 대역폭 및 계산 요구 사항을 포함하여, 센서 수를 줄이는 것에는 많은 장점이 있다. 일부 실시예에서, 트레이닝된 모델은 보조 센서가 실패한 경우에 사용된다. 트레이닝된 머신 러닝 모델은 추가 보조 센서에 의존하는 대신, 하나 이상의 비전 센서의 입력을 사용하여 보조 센서의 결과를 예측한다. 예측된 결과는 감지한 오브젝트(예: 보행자, 고정 차량, 움직이는 차량, 연석(curbs), 장애물, 도로 장벽 등)와 거리와 방향이 필요한 자율 주행 기능을 구현하는 데 사용할 수 있다. 예측된 결과를 사용하여 신호등, 신호 표지판, 도로 표지판 등과 같은 교통 관제 오브젝트의 거리와 방향을 감지할 수 있다. 이전 예시들에서 비전 센서와 오브젝트 거리가 사용되지만, 대체 센서와 예측된 특성들도 가능하다.

도 1은 자율 주행을 위한 딥러닝 시스템의 실시예를 도시하는 블록 다이어그램이다.

딥 러닝 시스템에는 차량의 셀프 드라이빙 및/또는 운전자 보조 동작뿐만 아니라 머신 러닝 모델 트레이닝을 위한 데이터 수집 및 처리에 함께 사용할 수 있는 서로 다른 컴포넌트가 포함되어 있다. 다양한 실시예에서, 딥러닝 시스템은 차량에 설치되고 차량으로부터 캡쳐된 데이터는 차량 또는 다른 비슷한 차량의 딥 러닝 시스템을 트레이닝하고 개선하는데 사용될 수 있다. 딥 러닝 시스템은 비전 데이터를 입력으로 이용하여, 오브젝트를 식별하고 거리 및 방향 등의 오브젝트 특성들 예측하는 등 자율 주행 기능을 구현하는 데 사용될 수 있다.

도시된 일예에서, 딥 러닝 시스템(100)은 비전 센서(101), 추가 센서(103), 이미지 프리-프로세서(105), 딥 러닝 네트워크(107), 인공 지능(AI) 프로세서(109), 차량 제어 모듈(111) 및 네트워크 인터페이스(113)를 포함하는 딥 러닝 네트워크이다. 다양한 실시예에서, 서로 다른 컴포넌트들은 통신으로 연결된다. 예를 들어, 비전 센서(101)에서 캡처한 이미지 데이터는 이미지 프리-프로세서(105)로 피딩된다. 이미지 프리-프로세서(105)에서 처리된 센서 데이터는 AI 프로세서(109)에서 실행되는 딥 러닝 네트워크(107)로 피딩된다. 일부 실시예에서, 추가 센서(103)의 센서 데이터는 딥 러닝 네트워크(107)에 대한 입력으로 사용된다. AI 프로세서(109)에서 실행되는 딥 러닝 네트워크(107)의 출력은 차량 제어 모듈(111)로 피딩된다. 다양한 실시예에서, 차량 제어 모듈(111)은 차량의 속도, 브래이킹 및/또는 스티어링 등 차량의 작동을 제어하고 연결한다.

다양한 실시예에서, 센서 데이터 및/또는 머신 러닝 결과가 네트워크 인터페이스(113)를 통해 원격 서버(도시되지 않음)로 전송될 수 있다. 예를 들어, 비전 센서(101) 및/또는 추가 센서(103)에서 캡처한 데이터와 같은 센서 데이터는 차량의 성능, 편안함 및/또는 안전성을 개선하기 위한 트레이닝 데이터를 수집하기 위해 네트워크 인터페이스(113)를 통해 원격 트레이닝 서버로 전송될 수 있다. 다양한 실시예에서, 네트워크 인터페이스(113)는 원격 서버와 통신하고, 전화를 걸거나, 문자 메시지를 보내고 수신하며, 차량의 동작에 따라 센서 데이터를 전송하는 데 사용된다. 일부 실시예에서, 딥 러닝 시스템(100)은 추가 또는 적은 수의 컴포넌트를 적절히 포함할 수 있다. 예를 들어, 일부 실시예에서 이미지 프리-프로세서(105)는 선택적 컴포넌트이다. 또 다른 예로, 일부 실시예에서, 후처리 컴포넌트(도시되지 않음)는 출력이 차량 제어 모듈(111)에 제공되기 전에 딥 러닝 네트워크(107)의 출력에 대한 후처리를 수행하는데 사용된다.

일부 실시예에서, 비전 센서(101)는 이미지 데이터를 캡처하기 위한 하나 이상의 카메라 센서를 포함한다. 다양한 실시예에서, 비전 센서(101)는 차량, 차량의 다른 위치에서, 또는 하나 이상의 다른 방향으로 지향되는 차량에 부착될 수 있다. 예를 들어, 비전 센서(101)는 전방, 후방, 측면 방향 등에 차량의 전방, 측면, 후방 및/또는 지붕 등에 부착될 수 있다. 몇몇 실시예에서, 비전 센서(101)는 높은 다이나믹 레인지 카메라 및/또는 서로 다른 시야(Field of View)를 가진 카메라와 같은 이미지 센서일 수 있다. 예를 들어, 일부 실시예에서는 8대의 서라운드 카메라가 차량에 부착되어 있으며, 최대 250m까지 차량 주변으로 360도 가시성(visibility)를 제공한다. 몇몇 실시예에서, 카메라 센서는 와이드 포워드 카메라, 좁은 포워드 카메라, 후방 시야(rear view) 카메라, 포워드룩킹사이드(forward looking side) 카메라 및 리어워드룩킹사이드(rearward looking side) 카메라를 포함한다.

몇몇 실시예에서, 비전 센서(101)는 차량 제어 모듈(111)을 구비한 차량에 장착되지 않는다. 예를 들어, 비전 센서(101)는 주변 차량에 장착 및/또는 도로 또는 주위에 부착될 수 있고, 센서 데이터 캡처를 위한 딥 러닝 시스템의 일부로 포함될 수 있다. 다양한 실시예에서, 비전 센서(101)에는 차량이 주행하는 도로를 포함하여 차량의 주변 환경을 캡처하는 하나 이상의 카메라가 포함된다. 예를 들어, 하나 이상의 전면 및/또는 기둥(pillar) 카메라는 차량 주변 환경에서 차량, 보행자, 교통 관제 오브젝트, 도로, 연석, 장애물 등과 같은 오브젝트의 이미지를 캡처한다. 또 다른 일예로, 카메라는 차량이 주행하는 차선으로 진입(cut into)하려는 차량을 포함하여 이웃(neighboring) 차량의 이미지 데이터를 포함하는 이미지 데이터의 타임 시리즈를 캡처한다. 비전 센서(101)에는 스틸 이미지 및/또는 비디오를 캡처할 수 있는 이미지 센서가 포함될 수 있다. 데이터는 시간 구간에 걸쳐 캡처된 데이터의 시퀀스와 같이, 시간 구간에 걸쳐 캡처되고 다른 센서 데이터를 포함한 다른 차량 데이터와 동기화될 수 있다. 예를 들어, 오브젝트를 식별하는 데 사용되는 이미지 데이터는 15초 또는 다른 적절한 구간에 걸쳐 레이더 및 주행거리계(odometry) 데이터와 함께 캡처될 수 있다.

몇몇 실시예에서. 추가 센서(103)는 비전 센서(101)에 더하여 센서 데이터를 캡처하기 위한 추가 센서들을 포함한다. 다양한 실시예에서, 추가 센서(103)는, 차량의 다른 위치에서, 및/또는 하나 이상의 다른 방향으로 지향되는(oriented) 차량에 부착될 수 있다. 예를 들어, 추가 센서(103)는 차량의 전방, 측면, 후방 및/또는 지붕 등에 포워드 대향(facing), 리어 대향, 사이드 대향 등의 방향으로 부착될 수 있다. 몇몇 실시예에서, 추가 센서(103)는 레이더, 초음파 및/또는 라이더 센서와 같은 방출 센서일 수 있다. 몇몇 실시예에서, 추가 센서(103)는 비시각적(non-visual) 센서를 포함한다. 추가 센서(103)는 레이더, 오디오, 라이다(lidar), 관성(inertia), 주행거리계(odometry), 위치 및/또는 초음파 센서를 다른 것들 중 포함할 수 있다. 예를 들어, 단단하고 부드러운 오브젝트를 모두 감지할 수 있도록, 12개의 초음파 센서가 차량에 부착될 수 있다. 몇몇 실시예에서, 전방 대향 레이더는 주변 환경의 데이터를 캡처하는 데 활용된다. 다양한 실시예에서, 레이더 센서는 폭우, 안개, 먼지 및 기타 차량들에도 불구하고 주변의 세부 사항(detail)을 캡처할 수 있다.

몇몇 실시예에서는, 추가 센서(103)는 차량 제어 모듈(111)을 장착한 차량에는 장착되지 않는다. 예를 들어, 비전 센서(101)와 유사하게, 추가 센서(103)는 이웃 차량에 장착 및/또는 도로 또는 환경에 부착될 수 있고, 센서 데이터 캡처를 위한 딥 러닝 시스템의 일부로 포함될 수 있다. 몇몇 실시예에서, 추가 센서(103)는 차량이 주행하는 도로를 포함하여 차량의 주변 환경을 캡쳐하는 하나 이상의 센서를 포함한다. 예를 들어, 전방 레이더 센서는 차량의 전방 시야(field of view)에서 오브젝트의 거리 데이터를 캡처한다.

추가 센서는 주행거리계, 위치 및/또는 차량 궤적(trajectory)과 관련된 정보를 포함하는 차량 제어 정보를 캡처할 수 있다. 센서 데이터는 시간 구간에 걸쳐 캡처된 데이터의 시퀀스와 같이, 시간 구간 동안 캡처될 수 있고, 비전 센서(101)에서 캡처한 이미지 데이터와 연관될 수 있다. 몇몇 실시예에서, 추가 센서(103)는 차량의 위치 및/또는 위치 변경을 결정하기 위한 글로벌 위치 시스템(GPS) 센서와 같은 위치 센서를 포함한다. 다양한 실시예에서, 추가 센서(103)인 하나 이상의 센서는 선택적이고, 트레이닝 데이터를 캡처하기 위해 설계된 차량에만 포함된다. 추가 센서(103)인 하나 이상의 센서도 없는 차량은 트레이닝된 머신 러닝 모델과 본원에 개시된 기술을 사용하여 출력을 예측함으로써 추가 센서(103)의 결과를 시뮬레이션할 수 있다. 예를 들어, 전방 레이더 또는 라이다 센서가 없는 차량은 딥 러닝 네트워크(107)의 모델과 같이 트레이닝된 머신 러닝 모델을 적용하여 이미지 데이터를 사용하는 선택적인 센서의 결과를 예측할 수 있다.

몇몇 실시예에서, 이미지 프리-프로세서(105)는 비전 센서(101)의 센서 데이터를 전처리하는 데 사용된다. 예를 들어, 이미지 프리-프로세서(105)는 센서 데이터를 전처리하고, 센서 데이터를 하나 이상의 컴포넌트로 분할하고, 하나 이상의 컴포넌트를 후처리하는 데 사용될 수 있다. 몇몇 실시예에서, 이미지 프리-프로세서(105)는 그래픽 처리 장치(GPU), 중앙 처리 장치(CPU), 이미지 신호 프로세서 또는 특수 이미지 프로세서이다. 다양한 실시예에서, 이미지 프리-프로세서(105)는 높은 다이나믹 레인지 데이터를 처리하는 톤-매퍼(tone-mapper) 프로세서이다. 몇몇 실시예에서, 이미지 프리-프로세서(105)는 인공 지능(AI) 프로세서(109)의 일부로서 구현된다. 예를 들어, 이미지 프리 프로세서(105)는 AI 프로세서(109)의 컴포넌트일 수 있다. 몇몇 실시예에서, 이미지 프리-프로세서(105)는 이미지를 정규화(normalize)하거나 이미지를 변환(transform)하는 데 사용될 수 있다. 예를 들어, 어안(fisheye) 렌즈로 캡처된 이미지가 워프(warp)될 수 있고, 이미지 프리-프로세서(105)는 이러한 워핑을 제거하거나 수정하기 위해, 이미지를 변환할 수 있다. 몇몇 실시예에서, 전처리 단계에서 노이즈, 왜곡(distortion) 및/또는 블러(blurriness)가 제거되거나 줄어든다. 다양한 실시예에서, 이미지는 머신 러닝 분석의 결과를 개선하기 위해 조정되거나 정규화된다. 예를 들어, 이미지의 화이트 밸런스는 일광(daylight), 화창함(sunny), 흐림(cloudy), 황혼(dusk), 일출(sunrise), 일몰(sunset) 및 야간 조건과 같은 다양한 조명 동작 조건을 고려하여 조정된다.

몇몇 실시예에서, 딥 러닝 네트워크(107)는 주행 환경을 분석하여, 오브젝트 및 거리, 속도 또는 다른 적절한 파라미터와 같은 오브젝트들의 대응(corresponding) 특성을 결정하는 주행 환경을 분석하는데 포함되는 차량 제어 파라미터를 결정하는 데 사용되는 딥 러닝 네트워크이다. 예를 들어, 딥 러닝 네트워크(107)는 센서 데이터 등의 입력에 대해 트레이닝되는 컨볼루셔널 신경망(CNN) 등의 인공 신경망일 수 있고, 그 출력은 차량 제어 모듈(111)로 제공된다. 한 예로, 출력은 적어도 감지(detect)된 오브젝트의 거리 추정이 포함될 수 있다. 또 다른 예로, 출력은 적어도 차량의 차선으로 합류할 가능성이 있는 잠재적 차량들, 그들의 거리, 및 그들의 속도를 포함할 수 있다. 몇몇 실시예에서, 딥 러닝 네트워크(107)는 적어도 이미지 센서 데이터를 입력으로 수신하고, 이미지 센서 데이터의 오브젝트를 식별하고, 오브젝트의 거리를 예측한다. 추가 입력은 차량의 동작 특성과 같은 차량 주변 환경 및/또는 차량 사양(specifications)을 설명하는 장면(scene) 데이터를 포함할 수 있다. 장면 데이터는 비, 습식 도로, 눈, 진흙, 고밀도 교통, 고속도로, 도시, 학교 구역 등과 같은 차량 주변의 환경을 설명하는 장면 태그를 포함할 수 있다. 몇몇 실시예에서, 딥 러닝 네트워크(107)의 출력은 식별된 오브젝트 등의 오브젝트를 표현하는 큐보이드(cuboids)를 포함하여 차량 주변의 환경에 대한 3차원 표현(representation)이다.

몇몇 실시예에서, 딥 러닝 네트워크(107)의 출력은 대상 목적지로 차량을 네비게이팅하는 것을 포함하는 자율 주행에 사용된다. 몇몇 실시예에서, 인공 지능(AI) 프로세서(109)는 딥 러닝 네트워크(107)를 실행하기 위한 하드웨어 프로세서이다. 몇몇 실시예에서, AI 프로세서(109)는 센서 데이터에 대한 컨볼루셔널 신경망(CNN)을 이용하여 추론(inference)을 수행하기 위한 특별한 AI 프로세서이다. AI 프로세서(109)는 센서 데이터의 비트 깊이에 최적화될 수 있다. 몇몇 실시예에서, AI 프로세서(109)는, 다른 것들 중에서, 컨볼루션, 도트-제품, 벡터 및/또는 매트릭스 동작을 포함하는 신경망 운영과 같은 딥 러닝 작업에 최적화되어 있다. 몇몇 실시예에서, AI 프로세서(109)는 그래픽 프로세싱 유닛(GPU)을 사용하여 구현된다. 다양한 실시예에서, AI 프로세서(109)는 메모리와 커플링되어 있고, 메모리는 AI 프로세서에 명령어를 제공하는데, 명령어가 실행되면 AI 프로세서로 하여금 수신된 입력 센서 데이터에 대한 딥 러닝 분석을 수행하고 자율 주행에 사용되는 오브젝트 거리 등의 머신 러닝 결과를 결정하도록 한다. 몇몇 실시예에서, AI 프로세서(109)는 데이터를 트레이닝 데이터로 사용할 수 있도록 준비함에 있어서 센서 데이터를 처리하는 데 사용된다.

몇몇 실시예에서, 차량 제어 모듈(111)은 인공 지능(AI) 프로세서(109)의 출력을 처리하고 출력을 차량 제어 작업으로 변환(translate)하는 데 활용된다. 몇몇 실시예에서, 차량 제어 모듈(111)은 자율 주행을 위해 차량을 제어하는 데 활용된다. 다양한 실시예에서, 차량 제어 모듈(111)은 차량의 속도, 가속, 스티어링, 브래이킹 등을 조정할 수 있다. 예를 들어, 몇몇 실시예에서, 차량 제어 모듈(111)은 차선 내에서 차량의 위치를 유지하고, 차량을 다른 차선으로 합류(merge)시키고, 차량의 차선 합류를 담당하도록 차량의 속도와 차선 위치를 조정하는 차량을 제어하는 데 사용된다.

몇몇 실시예에서, 차량 제어 모듈(111)은 브레이크 라이트, 회전 신호, 헤드라이트 등과 같은 차량 조명을 제어하는 데 사용된다. 몇몇 실시예에서, 차량 제어 모듈(111)은 차량의 사운드 시스템, 오디오 경고 재생, 마이크 활성화, 경적 활성화 등 차량 오디오 조건을 제어하는 데 사용된다. 몇몇 실시예에서, 차량 제어 모듈(111)은 운전자 및/또는 승객에게 잠재적 충돌 또는 의도된 목적지의 접근 방식과 같은 운전 이벤트를 알리는 경고 시스템을 포함한 알림 시스템을 제어하는 데 사용된다. 몇몇 실시예에서 차량 제어 모듈(111)은 비전 센서(101) 및 차량의 추가 센서(103)와 같은 센서를 조정하는 데 사용된다. 예를 들어, 차량 제어 모듈(111)은 오리엔테이션(orientation) 수정, 출력 해상도 및/또는 포맷 변경, 캡처 레이트 증가 또는 감소, 캡처된 동적 범위 조정, 카메라의 초점 조정, 센서 활성화 및/또는 비활성화와 같은 하나 이상의 센서의 파라미터를 변경하는 데 사용될 수 있다. 몇몇 실시예에서, 차량 제어 모듈(111)은 필터의 주파수 레인지 수정, 특징(feature) 및/또는 에지 감지 파라미터 조정, 채널 조정 및 비트 깊이 등과 같은 이미지 프리 프로세서(105)의 파라미터를 변경하는 데 사용될 수 있다. 다양한 실시예에서, 차량 제어 모듈(111)은 차량의 셀프 드라이빙 및/또는 운전자 보조 제어를 구현하는 데 사용된다. 몇몇 실시예에서, 차량 제어 모듈(111)은 메모리와 커플링된 프로세서를 이용하여 구현된다. 몇몇 실시예에서, 차량 제어 모듈(111)은 어플리케이션-스페시픽 집적 회로(ASIC), 프로그래머블 로직 디바이스(PLD) 또는 다른 적절한 처리 하드웨어를 이용하여 구현된다.

몇몇 실시예에서, 네트워크 인터페이스(113)는 트레이닝 데이터를 포함하는 데이터를 전송 및/또는 수신하기 위한 통신 인터페이스이다. 다양한 실시예에서, 네트워크 인터페이스(113)는 원격 서버와의 인터페이싱, 센서 데이터 전송, 잠재적인 트레이닝 데이터 전송, 업데이트된 머신 러닝 모델을 포함한 딥 러닝 네트워크에 대한 업데이트를 수신하고, 음성 통화를 연결하고, 문자 메시지를 전송 및/또는 수신하는 등을 위한 셀룰러 또는 무선 인터페이스를 포함한다. 예를 들어, 네트워크 인터페이스(113)는 잠재적인 트레이닝 데이터로 사용하기 위해 캡처된 센서 데이터를 머신 러닝 모델을 트레이닝하기 위한 원격 트레이닝 서버로 전송하는 데 사용될 수 있다. 또 다른 일예로, 네트워크 인터페이스(113)는 비전 센서(101), 추가 센서(103), 이미지 프리-프로세서(105), 딥 러닝 네트워크(107), AI 프로세서(109), 및/또는 차량 제어 모듈(111)에 대한 명령어들 및/또는 동작 파라미터를 위한 업데이트를 수신하는 데 사용될 수 있다. 딥 러닝 네트워크(107)의 머신 러닝 모델은 네트워크 인터페이스(113)를 사용하여 업데이트될 수 있다. 또 다른 예로, 네트워크 인터페이스(113)는 비전 센서(101)의 펌웨어 및 이미지 처리 파라미터와 같은 이미지 프리-프로세서(105)의 추가 센서(103) 및/또는 작동 파라미터를 업데이트하는 데 사용될 수 있다.

도 2는 오브젝트 특성을 예측하기 위한 트레이닝 데이터를 생성하는 프로세스의 실시예를 도시한 흐름 다이어그램이다. 예를 들어, 이미지 데이터는 트레이닝 데이터를 자동 생성하기 위한 추가적인 보조 센서의 센서 데이터로부터 센서 데이터에 어노테이트(annotate)된다. 몇몇 실시예에서, 센서 및 관련된 보조 데이터로 구성된 엘리먼트들의 타임 시리즈가 차량에서 수집되고, 트레이닝 데이터를 생성하는 데 사용된다. 다양한 실시예에서, 도 2의 과정은 대응하는 지상 검증(ground truth)으로 트레이닝 데이터를 자동으로 라벨링(label)하는 데 사용된다. 지상 검증 및 이미지 데이터는 이미지 데이터에서 식별된 오브젝트의 속성을 예측하기 위한 트레이닝 데이터로 패키징된다. 다양한 실시예에서, 센서 및 관련된 보조 데이터는 도 1의 딥 러닝 시스템을 이용하여 캡처된다. 예를 들어, 다양한 실시예에서, 센서 데이터는 도 1의 비전 센서(101)로부터 캡처되고, 관련 데이터는 도 1의 추가 센서로부터 캡처된다.

몇몇 실시예에서, 도 2의 프로세스는 기존 예측이 부정확하거나 개선될 수 있을 때 자동으로 데이터를 수집하기 위해 수행된다. 예를 들어, 자율 주행 차량이 비전 데이터로부터 거리 및 방향 등의 하나 이상의 오브젝트 특성을 결정하기 위한 예측이 수행된다. 상기 예측은 방출 거리 센서로부터 수신된 거리 데이터와 비교된다. 상기 예측이 허용 가능한(acceptable) 정확도 임계값 내에 있는지 여부를 결정할 수 있다. 몇몇 실시예에서, 상기 예측이 개선될 수 있다고 결정될 수 있다. 상기 예측이 충분히 정확하지 않은 경우, 머신 러닝 모델을 개선하기 위한 선별된 트레이닝 예제들의 세트를 생성하기 위해 도 2의 프로세스가 예측 시나리오에 적용될 수 있다.

201에서, 비전 데이터가 수신된다. 비전 데이터는 비디오 및/또는 스틸 이미지와 같은 이미지 데이터일 수 있다. 다양한 실시예에서, 비전 데이터는 차량에서 캡처되어 트레이닝 서버로 전송된다. 비전 데이터는 엘리먼트들의 타임 시리즈를 생성하기 위해 시간 구간 동안 캡처될 수 있다. 다양한 실시예에서, 엘리먼트는 엘리먼트의 순서를 유지하기 위해 타임스탬프를 포함한다. 엘리먼트들의 타임 시리즈를 캡처함으로써, 타임 시리즈 내의 오브젝트는 단일 입력 이미지 및 해당 관련 데이터 등의 단일 입력 샘플에서 식별하기 어려운 오브젝트를 분명히 구분(disambiguate)하기 위해 타임 시리즈를 가로질러(across) 추적될 수 있다. 예를 들어, 다가오는 헤드라이트 쌍은 처음에는 둘 다 하나의 차량에 속하는 것으로 보일 수 있지만, 헤드라이트가 분리되면 각 헤드라이트가 각각의 오토바이에 속하는 것으로 식별된다. 몇몇 시나리오에서, 이미지 데이터 내의 오브젝트가 203에서 수신된 보조 관련 데이터의 오브젝트보다 더 쉽게 구별될 수 있다. 예를 들어, 밴과 나란히 있는 벽으로부터 밴의 추정된 거리인 거리 데이터만 사용해서는 차이를 분명히 드러내기 어려울 수 있다. 그러나, 이미지 데이터의 대응하는 타임 시리즈를 가로질러 밴을 추적함으로써, 올바른 거리 데이터가 식별된 밴과 연관될 수 있다. 다양한 실시예에서, 타임시리즈로 캡처된 센서 데이터는 머신 러닝 모델이 입력으로 사용하는 포맷으로 캡처된다. 예를 들어, 센서 데이터는 원시(raw) 또는 처리된 이미지 데이터일 수 있다.

다양한 실시예에서, 데이터의 타임 시리즈가 수신되는 경우, 타임 시리즈는 타임스탬프를 타임 시리즈의 각 엘리먼트와 연관시켜 구성될 수 있다. 예를 들어 타임스탬프는 타임 시리즈의 적어도 첫 번째 엘리먼트와 연관된다. 타임스탬프는 203에서 수신된 데이터 등의 관련된 데이터를 사용하여 타임 시리즈 엘리먼트를 보정하는 데 사용될 수 있다. 다양한 실시예에서, 타임 시리즈의 길이는 10초, 30초 또는 다른 적절한 길이 등의 고정된(fixed) 길이일 수 있다. 시간 길이는 설정 가능(configurable)할 수 있다. 다양한 실시예에서, 타임 시리즈는 차량의 평균 속도 등의 차량의 속도에 기초할 수 있다. 예를 들어, 느린 속도에서, 동일 속도에 대해 더 짧은 시간 길이를 사용해도 괜찮은 것보다 더 긴 운행 거리에 걸쳐 데이터를 캡처하기 위해 타임 시리즈의 길이가 증가할 수 있다. 일부 실시예에서, 타임 시리즈의 엘리먼트 수는 설정 가능하다. 엘리먼트의 수는 운행 거리에 따라 기초할 수 있다. 예를 들어, 고정된 기간동안 빠르게 이동하는 차량은 느리게 이동하는 차량보다 타임 시리즈에서 더 많은 엘리먼트들을 포함한다. 추가 엘리먼트들은 캡처된 환경(environment)의 신뢰도(fidelity)를 높이고(increase), 예측된 머신 러닝 결과의 정확성을 개선할 수 있다. 다양한 실시예에서, 엘리먼트들의 수는 센서가 캡처하는 캡처하는 초당 프레임 조정에 의하여 및/또는 불필요한 중간 프레임을 폐기(discard)함에 따라 조정된다.

203에서, 수신된 비전 데이터와 관련된 데이터가 수신된다. 다양한 실시예에서, 관련 데이터는 201에서 수신된 비전 데이터와 함께 트레이닝 서버로부터 수신된다. 일부 실시예에서, 관련 데이터는 초음파, 레이더, 라이다 또는 다른 적절한 센서와 같은 차량의 추가 센서의 센서 데이터이다. 관련 데이터는 차량의 추가 센서에 의해 캡처된 거리, 방향, 속도, 위치, 방향, 위치 변경, 방향 변경 및/또는 기타 관련 데이터일 수 있다.

관련 데이터는 201에서 수신한 비전 데이터에서 식별된 특징들에 대한 지상 검증을 결정하는 데 사용될 수 있다. 예를 들어, 레이더 센서의 거리 및 방향 측정을 사용하여 비전 데이터에서 식별된 오브젝트의 오브젝트 거리와 방향을 결정한다. 몇몇 실시예에서, 수신된 관련 데이터는 201에서 수신된 비전 데이터의 타임 시리즈에 대응하는 데이터의 타임 시리즈이다.

몇몇 실시예에서, 비전 데이터와 관련된 데이터는 맵 데이터를 포함한다. 예를 들어, 303에서, 도로 및/또는 위성 레벨 맵 데이터 등의 오프라인 데이터(offline data)가 수신된다. 지도 데이터는 도로(roads), 차량 차선(vehicle lanes), 교차로(intersections), 속도 제한(speed limits), 스쿨존(school zone) 등과 같은 특징을 식별하는데 사용된다. 예를 들어, 맵 데이터는 차량 차선의 경로를 설명할 수 있다. 차량 차선에서 확인된 차량의 예상 위치를 사용하여 감지된 차량의 예상 거리를 결정/확증(corroborate)할 수 있다. 다른 예로, 맵 데이터는 맵의 다른 도로와 연관된(associated) 속도 제한을 설명할 수 있다. 일부 실시예에서, 속도 제한 데이터는 확인된 차량의 속도 벡터를 검증하기 위해 사용될 수 있다.

205에서, 비전 데이터의 오브젝트가 식별된다. 몇몇 실시예에서, 비전 데이터는 차량의 주변 환경에서 오브젝트를 식별하는 입력으로 사용된다. 예를 들어, 차량, 보행자, 장애물 등은 비전 데이터에서 식별된다. 몇몇 실시예에서, 오브젝트는 트레이닝된 머신 러닝 모델을 가진 딥 러닝 시스템을 이용하여 식별된다. 다양한 실시예에서, 식별된 오브젝트에 대해 경계 상자(bounding box)가 생성된다. 경계 상자는 확인된 오브젝트의 외관을 아웃라인을 그리는, 큐보이드(cuboid) 등의 2차원 경계 상자 또는 3차원 경계 상자일 수 있다. 몇몇 실시예에서, 추가 데이터는 203에서 수신된 데이터 등의 오브젝트를 식별하는 데 사용된다. 추가 데이터를 사용하여 오브젝트 식별의 정확도를 높일 수 있다.

207에서, 지상 검증은 식별된 오브젝트에 대해 결정된다. 203에서 수신된 관련 데이터를 이용하여, 201에서 수신한 비전 데이터에서 205에서 식별된 오브젝트에 대해 지상 검증이 결정된다. 몇몇 실시예에서, 관련 데이터는 감지된 오브젝트의 깊이(depth)(및/또는 거리) 데이터이다. 거리 데이터를 식별된 오브젝트와 연관시킴으로써, 머신 러닝 모델은 감지된 오브젝트에 대한 지상 검증으로서의 관련 거리 데이터를 사용하여 오브젝트 거리를 추정하도록 트레이닝될 수 있다. 일부 실시예에서, 거리는 장애물, 장벽(barrier), 이동 차량, 정지 차량, 교통 통제 표지판, 보행자 등과 같은 감지된 오브젝트에 대한 것이고, 트레이닝을 위한 지상 검증으로 사용된다. 거리에 더하여, 방향, 속도, 가속 등과 같은 다른 오브젝트 파라미터에 대한 지상 검증이 결정될 수 있다. 예를 들어, 정확한 거리와 방향은 식별된 오브젝트에 대한 지상 검증으로 결정된다. 또 다른 일예로, 정확한 속도 벡터는 차량 및 보행자와 같은 식별된 오브젝트에 대한 지상 검증으로 결정된다.

다양한 실시예에서 비전 데이터와 관련 데이터는 타임스탬프에 의해 구성되며 대응되는 타임스탬프는 두 데이터 세트를 동기화하는 데 이용된다. 몇몇 실시예에서, 타임스탬프는 이미지 시퀀스 및 관련 데이터의 대응하는 시퀀스 등의 타임 시리즈를 동기화하는 데 사용된다. 데이터는 캡처 시간에 동기화될 수 있다. 예를 들어, 타임 시리즈의 각 엘리먼트가 캡처될 때 해당 관련 데이터 세트가 캡처되고 타임 시리즈 엘리먼트와 저장된다. 다양한 실시예에서, 관련 데이터의 시간 구간은 설정 가능하고(configurable)/가능하거나 타임 시리즈 엘리먼트들의 시간 구간과 매칭된다.

일부 실시예에서, 관련 데이터는 타임 시리즈 엘리먼트와 동일한 레이트로 샘플링된다.

다양한 실시예에서, 데이터의 타임 시리즈를 검토하는 것만으로, 지상 검증이 결정될 수 있다. 예를 들어, 비전 데이터의 서브셋만을 분석하면 오브젝트 및/또는 오브젝트의 속성을 잘못 식별할 수 있다. 전체 타임 시리즈에 걸쳐 분석을 확장함으로써, 모호성이 제거된다. 예를 들어, 은폐된(occluded) 차량은 타임 시리즈에서 더 빨리 또는 더 늦게 드러날 수 있다. 일단 식별되면, 종종 은폐되는 차량은 은폐된 경우라도 전체 타임 시리즈를 통해 추적될 수 있다. 유사하게, 비전 데이터에서 식별된 오브젝트에 대한 관련 데이터로부터 오브젝트 특성을 연관시킴으로써, 종종 은폐되는 차량에 대한 오브젝트 특성을 타임 시리즈를 통해 추적할 수 있다. 몇몇 실시예에서, 데이터는 관련 데이터를 비전 데이터와 연관할 때 모호성 포인트를 결정하기 위해 역방향으로(및/또는 순방향으로) 재생된다. 타임 시리즈 내 서로 다른 시간의 오브젝트는 전체 타임 시리즈에 걸쳐 오브젝트에 대한 오브젝트 특성을 결정하는 것을 돕는데 이용될 수 있다.

다양한 실시예에서, 임계값은 식별된 오브젝트의 지상 검증으로서 오브젝트 특성을 연관시킬지 여부를 결정하는데 이용된다. 예를 들어, 정확도(degree of certainty)가 높은 관련 데이터는 식별된 오브젝트와 연관되는 반면, 정확도가 임계값 미만인 관련 데이터는 식별된 오브젝트와 연관되지 않는다. 몇몇 실시예에서, 관련 데이터는 센서 데이터와 상충될 수 있다. 예를 들어, 초음파 및 레이더 데이터 출력이 상충될 수 있다.

또 다른 예로, 거리 데이터가 맵 데이터와 상충될 수 있다. 거리 데이터는 30미터에서 시작되는 학교 구역을 추정할 수 있는 반면, 지도 데이터의 정보는 20미터에서 시작하는 것과 동일한 스쿨존을 설명할 수 있다. 관련 데이터가 낮은 정확도를 갖는 경우, 관련 데이터가 폐기(discard)되고 지상 검증을 결정하는 데 이용되지 않을 수 있다.

몇몇 실시예에서, 지상 검증은 시맨틱(semantic) 라벨을 예측하기 위해 결정된다. 예를 들어, 감지된 차량은 예측된 거리와 방향을 기준으로 왼쪽 차선 또는 오른쪽 차선에 있는 것으로 라벨링될 수 있다. 몇몇 실시예에서, 감지된 차량은 사각지대(blind spot)에 있다거나, 양보(yield)해야 되는 차량이라거나, 또는 다른 적절한 의미론적 라벨로 라벨링될 수 있다. 몇몇 실시예에서, 차량은 결정된 지상 검증에 기초하여 지도에서 도로나 차선에 배치된다. 추가 예로, 결정된 지상 검증은 신호등, 차선, 주행가능(drivable) 공간 또는 자율 주행을 지원하는 기타 기능에 라벨링하는데 이용될 수 있다.

209에서, 트레이닝 데이터가 패키징된다. 예를 들어, 201에서 수신된 비전 데이터의 엘리먼트를 선택하여 207에서 결정된 지상 검증과 연관된다. 몇몇 실시예에서, 선택된 엘리먼트는 타임 시리즈의 엘리먼트이다. 선택한 엘리먼트는 머신 러닝 모델에 대한 트레이닝 이미지 등의 센서 데이터 입력을 나타내고, 지상 검증은 예측된 결과를 나타낸다. 다양한 실시예에서, 선택된 데이터는 트레이닝 데이터로서 어노테이트되고 준비된다. 일부 실시예에서, 트레이닝 데이터는 훈련, 검증, 및 테스팅 데이터(testing data)로 패키징된다. 결정된 지상 검증 및 선택된 트레이닝 엘리먼트에 기초하여, 트레이닝 데이터는 하나 이상의 관련 보조 센서와 관련된 결과를 예측하기 위해 머신 러닝 모델을 트레이닝하기 위해 패키징된다. 예를 들어, 트레이닝된 모델을 사용하여 레이더 또는 라이다 센서와 같은 센서를 사용하여 측정과 유사한 결과를 통해 오브젝트의 거리와 방향을 정확하게 예측할 수 있다. 다양한 실시예에서, 머신 러닝 결과는 자율 주행을 위한 기능을 구현하는 데 이용된다. 패키징된 트레이닝 데이터는 이제 머신 러닝 모델을 학습하는데 이용가능하다.

도 3은 자율 주행을 위한 머신 러닝 모델을 트레이닝 및 적용하는 과정의 실시예를 도시한 흐름 다이어그램이다. 예를 들어, 머신 러닝 모델을 트레이닝하는 트레이닝 데이터를 생성하기 위해, 기본(primary) 및 보조(secondary) 센서 데이터를 포함하는 입력 데이터가 수신 및 처리된다. 몇몇 실시예에서, 기본 센서 데이터는 자율 주행 시스템을 통해 캡처된 이미지 데이터에 대응하고, 보조 센서 데이터는 방출 거리 센서로부터 캡처된 센서 데이터에 대응한다. 보조 센서를 기반으로 출력을 예측하는 머신 러닝 모델을 트레이닝하기 위해, 보조 센서 데이터는 기본 센서 데이터를 어노테이트하는데 사용될 수 있다. 몇몇 실시예에서, 센서 데이터는 사용자가 수동으로 자율 주행을 해제(disengage)하거나 비전 데이터로부터의 거리 추정이 보조 센서의 거리 추정과 크게 차이가 나는 등의 특정 사용례(use case)에 기초하여 캡쳐된 센서 데이터에 대응된다. 몇몇 실시예에서, 기본 센서 데이터는 도 1의 비전 센서(101)의 센서 데이터이고, 보조 센서 데이터는 도 1의 추가 센서(103)의 하나 이상의 센서의 센서 데이터이다. 몇몇 실시예에서, 이 프로세스는 도 1의 딥 러닝 시스템(100)을 위한 머신 러닝 모델을 만들고 배포하는 데 이용된다.

301에서, 트레이닝 데이터가 준비된다. 몇몇 실시예에서, 이미지 데이터 및 보조 데이터를 포함한 센서 데이터가 수신되어 트레이닝 데이터 세트를 생성한다. 이미지 데이터는 하나 이상의 카메라로부터의 스틸 이미지 및/또는 비디오를 포함할 수 있다.

레이더, 라이다, 초음파 등의 추가 센서는 관련 보조 센서 데이터를 제공하는데 이용될 수 있다. 다양한 실시예에서, 이미지 데이터는 센서 데이터에서 감지된 오브젝트의 특성을 식별하는 데 도움이 되는 대응하는 보조 데이터와 페어링된다. 예를 들어, 보조 데이터의 거리 및/또는 속도 데이터를 사용하여 이미지 데이터에서 식별된 오브젝트의 거리 및/또는 속도를 정확하게 예측할 수 있다. 몇몇 실시예에서, 센서 데이터는 엘리먼트의 타임 시리즈이고, 지상 검증을 결정하는데 이용된다. 그 다음, 그룹의 지상 검증은 이미지 데이터의 프레임 등의 타임 시리즈의 서브셋과 연관된다. 타임 시리즈의 선택된 엘리먼트와 지상 검증은 트레이닝 데이터를 준비하는 데 이용된다. 몇몇 실시예에서, 트레이닝 데이터는 차량, 보행자, 장애물 등의 거리와 방향과 같은 이미지 데이터에서 식별된 오브젝트의 특성만을 추정하기 위해 머신 러닝모델을 트레이닝하도록 준비된다. 준비된 트레이닝 데이터는 트레이닝, 유효성 검증(validation) 및 테스트를 위한 데이터를 포함할 수 있다. 다양한 실시예에서, 센서 데이터는 서로 다른 포맷일 수 있다. 예를 들어, 센서 데이터는 스틸 이미지 데이터, 비디오 데이터, 레이더 데이터, 초음파 데이터, 오디오 데이터, 위치 데이터, 주행거리계(odometry) 데이터 등일 수 있다.

상기 주행거리계 데이터는, 적용된 가속, 적용된 브레이킹, 적용된 스티어링, 차량 위치, 차량 오리엔테이션, 차량 위치 변경, 차량 오리엔테이션 변화 등과 같은 차량 동작 파라미터가 포함될 수 있다. 다양한 실시예에서, 트레이닝 데이터는 트레이닝 데이터 세트를 생성하기 위해 조작되고(curated) 어노테이트된다. 몇몇 실시예에서, 트레이닝 데이터의 준비의 일부는 인간 큐레이터(curator)에 의해서 수행될 수 있다. 다양한 실시예에서, 트레이닝 데이터의 일부는 차량으로부터 캡처된 데이터로부터 자동으로 생성되고, 견고한(robust) 트레이닝 데이터 세트를 구축(build)하기 위해서 필요한 노력 및 시간을 크게 줄인다. 일부 실시예에서, 데이터의 포맷은 배치된(deployed) 딥 러닝 어플리케이션에서 사용되는 머신 러닝 모델과 호환 가능하다. 다양한 실시예에서, 트레이닝 데이터는 트레이닝된 모델의 정확도(accuracy)를 시험하기 위한 유효성검증(validation) 데이터를 포함한다. 몇몇 실시예에서, 도 2의 프로세스는 도 3의 301에서 수행된다.

303에서, 머신 러닝 모델은 트레이닝된다. 예를 들어, 머신 러닝 모델은 301에서 준비된 데이터를 사용하여 트레이닝된다. 몇몇 실시예에서, 모델은 컨볼루셔널 신경망(CNN) 등의 신경망이다. 다양한 실시예에서, 모델은 다수의 중간 계층(intermediate layer)를 포함한다. 다양한 실시예에서, 신경망은 다수의 컨벌루션(convolution) 및 풀링 계층(pooling layer)을 포함하는 다수의 계층을 포함할 수 있다. 몇몇 실시예에서, 트레이닝 모델은 수신된 센서 데이터로부터 생성된 유효성검증 데이터 세트를 사용하여 유효성검증된다. 몇몇 실시예에서, 머신 러닝 모델은 단일 입력 이미지로부터 거리 방출 센서 등의 센서의 출력을 예측하도록 트레이닝된다. 예를 들어, 카메라에서 캡처한 이미지에서 오브젝트의 거리 및 방향 속성을 추론할 수 있다. 또 다른 예로, 카메라에서 캡처한 이미지에서 차량이 합류(merge)을 시도할지 여부를 포함하여 주변 차량의 속도 벡터가 예측된다.

305에서, 트레이닝된 머신 러닝 모델이 배포된다. 예를 들어, 트레이닝된 머신 러닝 모델은 도 1의 딥 러닝 네트워크(107) 등의 딥 러닝 네트워크에 대한 업데이트로서 차량에 설치(install)된다. 일부 실시예에서, 오버 디 에어(over-the-air) 업데이트는 새로 트레이닝된 머신 러닝 모델을 설치하는데 사용된다. 예를 들어, 도 1의 네트워크 인터페이스(113)와 같은 차량의 네트워크 인터페이스를 통해 무선 업데이트를 수신할 수 있다. 일부 실시예에서, 업데이트는 WiFi 또는 셀룰러 네트워크와 같은 무선 네트워크를 사용하여 전송되는 펌웨어 업데이트이다. 일부 실시예에서, 새로운 머신 러닝 모델은 차량이 서비스될 때 설치된다.

307에서, 센서 데이터가 수신된다. 예를 들어, 센서 데이터는 차량의 하나 이상의 센서로부터 캡처된다. 몇몇 실시예에서, 센서는 도 1의 비전 센서(101)이다. 센서는 앞유리(windshield) 뒤에 장착된 어안 카메라, 기둥에 장착된 포워드 또는 사이드-대향(side-facing) 카메라, 리어-대향(rear-facing) 카메라 등과 같은 이미지 센서를 포함할 수 있다. 다양한 실시예에서, 센서 데이터는 포맷이 정해져 있거나, 303에서 트레이닝된 머신 러닝 모델이 입력으로 활용하는 포맷으로 변환된다. 몇몇 실시예에서, 센서 데이터는 전처리 단계 동안 도 1의 이미지 프리-프로세서(105)와 같은 이미지 프리-프로세서를 이용하여 전처리된다. 예를 들어, 왜곡, 노이즈 등을 제거하기 위해 이미지가 정규화될 수 있다. 일부 대체 실시예에서, 수신된 센서 데이터는 초음파 센서, 레이더, 라이다(LiDAR) 센서, 마이크 또는 다른 적절한 기술에서 캡처된 데이터이고, 305에서 배포된 트레이닝된 머신 러닝 모델에 대한 예상(expected) 입력으로 이용된다.

309에서, 트레이닝된 머신 러닝 모델이 적용된다. 예를 들어, 303에서 트레이닝된 머신 러닝 모델은 307에서 수신된 센서 데이터에 적용된다. 일부 실시예에서, 모델의 적용은 도 1의 딥 러닝 네트워크(107) 등의 딥 러닝 네트워크를 사용하는 도 1의 AI 프로세서(109)와 같은 AI 프로세서에 의해서 수행된다. 다양한 실시예에서, 트레이닝된 머신 러닝 모델을 적용함으로써, 이미지 데이터로부터 오브젝트 거리, 방향 및/또는 속도와 같은 하나 이상의 오브젝트 특성이 예측된다. 예를 들어, 이미지 데이터에서 서로 다른 오브젝트가 식별되고, 식별된 각 오브젝트에 대한 오브젝트 거리와 방향은 트레이닝된 머신 러닝 모델을 이용하여 추론된다. 또 다른 예로, 이미지 데이터에서 확인된 차량에 대해 차량의 속도 벡터가 추론된다. 속도 벡터는 주변 차량이 현재 차선으로 끼어들(cut into) 가능성이 있는지 여부 및/또는 차량이 안전 위험(safety risk)이 될 확률(likelihood)을 결정하는데 이용될 수 있다. 다양한 실시예에서, 차량, 보행자, 장애물, 차선, 교통 관제 신호, 지도 기능, 속도 제한, 주행가능 공간 등 및 그들의 관련 특성은 머신 러닝 모델을 적용하여 식별된다. 일부 실시예에서, 특징들은 3차원 속도 벡터와 같은 3차원으로 식별된다.

311에서, 자율 주행 차량이 제어된다. 예를 들어, 하나 이상의 자율 주행 특징은 차량의 다양한 측면에 의해서 구현된다. 예시들은 조종, 속도, 가속도, 및/또는 차량의 브래이킹 제어, 차선에서 차량의 위치 유지, 다른 차량 및/또는 장애물에 대한 차량의 위치 유지, 탑승자에게 알림 또는 경고 제공 등을 포함할 수 있다. 309에서 수행된 분석에 기초하여, 차량의 스티어링과 속도를 제어하여 두 차선 라인 사이와 다른 오브젝트로부터 안전한 거리에서 차량을 안전하게 유지하도록 제어될 수 있다. 예를 들어, 주변 오브젝트의 거리와 방향이 예측되고, 해당 주행가능 공간 및 운전 경로가 식별된다. 다양한 실시예에서, 도1의 차량 제어 모듈(111) 등의 차량 제어 모듈은 차량을 제어한다.

도 4는 자율 주행을 위한 머신 러닝 모델을 트레이닝 및 적용하는 과정의 실시예를 도시한 흐름 다이어그램이다. 몇몇 실시예에서, 도 4의 프로세스는 자율 주행을 위한 머신 러닝 모델을 훈련시키기 위한 센서 데이터를 수집하고 유지(retain)하는 데 활용된다. 몇몇 실시예에서, 도 4의 프로세스는 자율 주행 제어가 인에이블되어 있는지 여부에 관계없이 자율 주행으로 인에이블된 차량에 구현된다. 예를 들어, 센서 데이터는, 자율 주행이 해제(disengaged)된 직후, 차량이 인간 운전자에 의해 주행되는 동안, 및/또는 차량이 자율 주행하는 동안 수집될 수 있다. 몇몇 실시예에서, 도 4에 의해 기술된 기술은 도 1의 딥 러닝 시스템을 사용하여 구현된다. 몇몇 실시예에서, 도 4의 프로세스의 일부는 자율 주행을 위한 머신 러닝 모델을 적용하는 과정의 일부로 도 3의 307, 309 및/또는 311에서 수행된다.

401에서, 센서 데이터가 수신된다. 예를 들어, 센서가 장착된 차량은 센서 데이터를 캡처하고 차량에서 실행되는 신경망에 센서 데이터를 제공한다. 몇몇 실시예에서, 센서 데이터는 비전 데이터, 초음파 데이터, 레이더 데이터, 라이다(LiDAR) 데이터 또는 다른 적절한 센서 데이터일 수 있다. 예를 들어, 이미지는 높은 동적 범위의 포워드-대향(forward-facing) 카메라에서 캡처된다. 또 다른 예로, 초음파 데이터는 사이드-대향(side-facing) 초음파 센서에서 캡처된다. 일부 실시예에서, 차량에는 데이터를 캡처하기 위한 다수의 센서가 부착되어 있다. 예를 들어, 일부 실시예에서는 8대의 서라운드 카메라가 차량에 부착되어 있으며, 최대 250m까지 차량 주변으로 360도 가시성(visibility)를 제공한다. 일부 실시예에서, 카메라 센서는 와이드 포워드 카메라(wide forward camera), 내로우 포워드 카메라(narrow forward camera), 리어뷰 카메라(rear view camera), 포워드룩킹 카메라(forward looking camera), 및/또는 리어워드룩킹 사이드 카메라(rearward looking side camera)를 포함한다. 일부 실시예에서, 초음파 및/또는 레이더 센서는 주변 세부사항을 캡처하는데 사용된다.

다양한 실시예에서, 서로 다른 센서로부터 캡처된 데이터는 서로 다른 센서로부터 캡처된 데이터를 함께 연관시킬 수 있도록 캡처된 메타데이터와 연관된다. 예를 들어, 방향, 시야(field of view), 프레임 레이트, 해상도, 타임스탬프 및/또는 기타 캡처된 메타데이터가 센서 데이터와 함께 수신된다. 메타데이터를 사용하여 다양한 형식의 센서 데이터를 함께 연관시켜 차량 주변 환경을 더 잘 캡처할 수 있다. 일부 실시예에서, 센서 데이터는 차량의 위치, 방향, 위치 변화 및/또는 방향의 변화 등을 포함하는 주행거리계(odometry) 데이터를 포함한다. 예를 들어, 위치 데이터가 캡처되어 동일한 타임 프레임 동안 캡처된 다른 센서 데이터와 연관된다. 일예로, 이미지 데이터가 캡처될 때 캡처된 위치 데이터는 위치 정보를 이미지 데이터와 연관시키는데 이용된다. 다양한 실시예에서, 수신된 센서 데이터는 딥 러닝 분석을 위해 제공된다.

403에서, 센서 데이터는 전처리된다. 일부 실시예에서, 하나 이상의 전처리 패스(pass)는 센서 데이터에서 수행될 수 있다. 예를 들어, 데이터는, 노이즈를 제거하고 정렬 문제 및/또는 블러(blurring) 등을 수정하기 위해 전처리될 수 있다. 일부 실시예에서, 하나 이상의 다른 필터링 패스(filtering passes)가 데이터에 대해 수행된다. 예를 들어, 센서 데이터의 서로 다른 컴포넌트를 분리하기 위해 하이패스 필터(high-pass filter)는 데이터에 대해서 수행될 수 있고 로우패스 필터(low-pass filter)는 데이터에 대해서 수행될 수 있다. 다양한 실시예에서, 403에서 수행되는 전처리 단계는 선택적이고/이거나 신경망에 통합(incorporate)될 수 있다.

405에서, 센서 데이터의 딥 러닝 분석(deep learning analysis)이 시작(initiate)된다.

일부 실시예에서, 딥 러닝 분석은 401에서 수신된 센서 데이터에 대해 수행되고, 선택적으로 403에서 전처리된다. 다양한 실시예에서, 딥 러닝 분석은 컨벌루셔널 신경망(CNN)과 같은 신경망을 이용하여 수행된다. 다양한 실시예에서, 머신 러닝 모델은 도 3의 프로세스(process)를 이용하여 오프라인(offline)으로 트레이닝되고, 센서 데이터에 대한 추론(inference)을 수행하기 위해 차량에 배치(deploy)된다. 예를 들어, 모델은 거리, 방향 및/또는 속도와 같은 오브젝트 특성을 예측하도록 트레이닝될 수 있다. 일부 실시예에서, 모델은 보행자, 이동 차량, 주차된 차량, 장애물, 도로 차선, 주행가능 공간 등을 적절하게 식별하도록 트레이닝된다. 일부 실시예에서, 경계 상자는 이미지 데이터에서 식별된 각 오브젝트에 대해 결정되며, 각 식별된 오브젝트에 대해 거리와 방향이 예측된다. 일부 실시예에서, 경계 상자는 큐보이드(cuboid)와 같은 3차원 경계 상자이다. 경계 상자는 식별된 오브젝트의 외부 표면에 대한 윤곽을 그리고, 오브젝트 크기에 기초하여 조정될 수 있다. 예를 들어, 다른 크기의 차량은 다른 크기의 경계 상자 (또는 큐보이드)를 사용하여 표현된다. 일부 실시예에서, 딥 러닝 분석에 의해 추정되는 오브젝트 특성은 센서에 의해 측정되고 센서 데이터로 수신되는 특성과 비교된다. 다양한 실시예에서, 신경망은 하나 이상의 중간 계층(intermediate layers)을 포함하는 다중 계층을 포함하고/또는 하나 이상의 다른 신경망이 센서 데이터를 분석하기 위해 활용된다. 다양한 실시예에서, 센서 데이터 및/또는 딥 러닝 분석의 결과는 유지(retain)되고, 411에서 트레이닝 데이터의 자동 생성을 위하여 전송(transmit)된다.

다양한 실시예에서, 딥 러닝 분석은 추가적인 특징을 예측하기 위해서 이용된다. 예측된 특징은 자율 주행을 보조(assist)하기 위해 사용될 수 있다. 예를 들어, 감지된 차량은 차선 또는 도로에 할당(assign)될 수 있다. 다른 예로서, 감지된 차량은 사각지대(blind spot)에 있을지, 양보(yield)해야 하는 차량이 될지, 좌측 인접한 차선에 있는 차량이 될지, 우측 인접한 차선에 있는 차량이 될지, 또는 다른 적절한 속성(attribute)을 갖는지 결정될 수 있다. 마찬가지로, 딥 러닝 분석은 신호등, 주행가능 공간, 보행자, 장애물, 또는 운전을 위한 다른 적절한 특징을 식별할 수 있다.

407에서, 딥 러닝 분석의 결과가 차량 제어에 제공된다. 예를 들어, 결과는 자율 주행을 위해 차량을 제어 및/또는 자율 주행 기능(functionality) 구현하기 위해서 차량 제어 모듈에 제공된다. 일부 실시예에서, 405에서 딥 러닝 분석의 결과는 하나 이상의 다른 머신 러닝 모델을 사용하여 하나 이상의 추가적인 딥 러닝 패스(deep learning pass)를 통해서 전달(pass)된다. 예를 들어, 식별된 오브젝트 및 이들의 특성(properties)(예: 거리, 방향 등)을 이용하여 주행가능 공간을 결정할 수 있다. 주행가능 공간은 차량에 대한 주행가능 경로를 결정하는데 사용된다. 유사하게, 일부 실시예에서, 예측된 차량 속도 벡터가 감지된다. 예측된 속도 벡터에 적어도 일부에 기초하여 차량에 대해 결정된 경로는 끼어드는(cut-ins) 것을 예측하고 잠재적인 충돌을 방지하는 데 이용된다. 일부 실시예에서, 딥 러닝의 다양한 출력은 식별된 오브젝트, 식별된 오브젝트의 거리 및 방향, 차량의 예측 경로, 속도 제한, 피해야 할 장애물, 도로 조건 등을 포함한 식별된 교통 제어 신호를 포함하는 자율 주행을 위한 차량 환경을 3차원으로 표현하는데 이용된다. 일부 실시예에서, 차량 제어 모듈은 결정된 경로를 따라 차량을 제어하기 위해 결정된 결과를 활용한다. 일부 실시예에서, 차량 제어 모듈은 도 1의 차량 제어 모듈(111)이다.

409에서, 차량이 제어된다. 일부 실시예에서, 자율주행이 활성화된(activated) 차량은 도 1의 차량 제어 모듈(111)과 같은 차량 제어 모듈을 이용하여 제어된다. 차량 제어는 차량의 속도 및/또는 스티어링을 조절하여 차량을 다른 차량과 안전한 거리 및 차선에서 주변 환경을 고려하여 적절한 속도를 유지하도록 할 수 있다. 일부 실시예에서, 결과는 이웃 차량이 동일 차선으로 합류(merge)할 것을 예상하여 차량을 조정(adjust)하는데 사용된다. 다양한 실시예에서, 딥 러닝 분석의 결과를 이용하여, 차량 제어 모듈은 적절한 속도와 함께 결정된 경로를 따라, 예를 들어 차량을 조작하는 적절한 방법을 결정한다. 다양한 실시예에서, 속도 변화, 브래이킹 적용, 스티어링 조정 등 차량 제어의 결과가 유지되고, 트레이닝 데이터의 자동 생성에 사용된다. 다양한 실시예에서, 차량 제어 매개변수들(vehicle control parameters)은 유지되고, 411에서 트레이닝 데이터의 자동 생성을 위해 전송된다.

411에서, 센서 및 관련 데이터가 전송된다. 예를 들어, 401에서 수신된 센서 데이터는 405 및/또는 409에서 사용되는 차량 제어 파라미터에서 딥 러닝 분석의 결과와 함께 트레이닝 데이터의 자동 생성을 위해 컴퓨터 서버로 전송된다. 일부 실시예에서, 데이터는 데이터의 타임 시리즈이고, 모아진(gathered) 다양한 데이터는 원격 트레이닝 컴퓨터 서버에 의해 함께 연관된다. 예를 들어, 이미지 데이터는 거리, 방향 및/또는 속도 데이터와 같은 보조 센서 데이터와 연관되어 지상 검증을 생성한다. 다양한 실시예에서, 수집된 데이터는, 예를 들어, 와이파이(WiFi) 또는 셀룰러 연결(cellular connection)을 통하여, 차량으로부터 트레이닝 데이터 센터(training data center)로 무선 전송(transmit)된다. 다양한 실시예에서, 메타데이터(metadata)는 센서 데이터와 함께 전송된다. 예를 들어, 메타데이터는 낮 시간(time of day), 타임스탬프, 위치, 차량의 타입(type of vehicle), 차량 제어 및/또는 속도, 가속도, 브래이킹, 자율 주행이 인에이블되었는지 여부, 조종 각도(steering angle), 주행거리계 데이터 등과 같은 동작(operating) 매개변수를 포함할 수 있다. 추가적인 메타데이터는 마지막으로 이전에 전송된 센서 데이터 이후의 시간, 차량 유형, 날씨 컨디션들, 도로 컨디션들 등을 포함한다. 일부 실시예에서, 전송된 데이터는, 예를 들어 차량의 고유 식별자(unique identifiers)를 제거하여 익명화(anonymize)된다. 또 다른 예로, 유사한 차량 모델의 데이터는 개별 사용자와 그들의 그들 차량 사용이 식별되는 것을 방지(prevent)하기 위해서 병합(merge)된다.

일부 실시예에서, 데이터는 트리거(trigger)에 대한 응답으로만 전송된다. 예를 들어, 일부 실시예에서, 부정확한 예측은 딥 러닝 네트워크의 예측을 향상시키기 위해 큐레이트된(curated) 예시의 세트를 생성하기 위해서 데이터를 자동으로 수집하는센서 및 관련 데이터의 전송을 트리거링(trigger)한다. 예를 들어, 405에서 수행된 예측은 이미지 데이터만을 사용하여 차량의 거리와 방향을 추정하기 위해 방출 거리 센서로부터의 원거리 데이터와 예측을 비교하여 부정확하다고 판단된다. 예측 및 실제 센서 데이터가 임계값 보다 더 많은 크기로 다를 경우, 이미지 센서 데이터 및 관련 보조 데이터가 전송되어 트레이닝 데이터를 자동으로 생성하는 데 이용된다. 일부 실시예에서, 트리거는 급격한 회전, 도로 상의 분기(forks), 차선 병합, 갑작스런 정지(sudden stop), 교차로 또는 추가 트레이닝 데이터가 도움이 되고 수집하기 어려울 수 있는 다른 적절한 시나리오와 같은 특정 시나리오를 식별하는 데 사용될 수 있다. 예를 들어, 트리거는 자율 주행 특성의 갑작스러운 비활성화(deactivation) 또는 해제(disengagement)를 기초로 할 수 있다. 또 다른 예로, 속도의 변화 또는 가속도의 변화와 같은 차량 동작 특성(vehicle operating properties)은 트리거의 기초를 형성할 수 있다. 일부 실시예에서, 특정 임계(threshold) 미만의 정확도를 갖는 예측은 센서 및 관련 데이터의 전송을 트리거링한다. 예를 들어, 어떤 시나리오에서, 예측은 불린-정확(Boolean correct) 또는 불린-부정확(Boolean incorrect) 결과를 갖지 않을 수 있고, 대신에 예측의 정확도 값(accuracy value)을 결정함으로써 평가된다.

다양한 실시예에서, 센서 및 관련 데이터는 일정 시간 구간에 걸쳐서 캡처되고 데이터의 전체 타임 시리즈는 함께 전송된다. 시간 구간은 설정될 수 있고/설정될 수 있거나, 차량의 속도, 이동한 거리(distance traveled), 속도의 변화 등과 같은 하나 이상의 팩터(factors)를 기초로 할 수 있다. 일부 실시예에서, 캡처된 센서 및/또는 관련 데이터의 샘플링 레이트는 설정 가능하다. 예를 들어, 고속에서(higher speed), 급 정지(sudden braking) 동안, 급 가속(sudden acceleration) 동안, 급하게 스티어링하는(hard steering) 동안, 또는 추가적인 신뢰도(fidelity)를 필요로 하는 다른 적절한 시나리오에서, 샘플링 레이트가 증가(increase)한다.

도 5는 머신 러닝 네트워크 트레이닝을 위한 보조 센서 데이터를 캡처한 일례를 도시한 다이어그램이다. 도시된 예에서, 자율 주행 차량(501)은 적어도 센서(503 및 553)을 장착하고, 이웃 차량(511, 521, 561)의 오브젝트 특성을 측정하는 데 사용되는 센서 데이터를 캡처한다. 몇몇 실시예에서, 캡처된 센서 데이터는 자율 주행 차량(501)에 설치된 도 1의 딥 러닝 시스템(100)과 같은 딥 러닝 시스템을 이용하여 캡처 및 처리된다. 일부 실시예에서, 센서(503, 553)는 도 1의 추가 센서(103)이다. 일부 실시예에서, 캡처된 데이터는 도 2의 203에서 수신된 비전 데이터와 관련된 데이터 및/또는 도 4의 401에서 수신된 센서 데이터의 일부이다.

일부 실시예에서, 자율 주행 차량(501)의 센서(503, 553)은 레이더, 초음파 및/또는 라이다 센서와 같은 방출 거리 센서이다. 센서(503)은 포워드-대향(forward-facing) 센서이고, 센서(553)는 우측-대향(right-side facing) 센서이다. 리어-대향(rear-facing) 및 좌측-대향 센서(도시되지 않음)와 같은 추가 센서가 자율 주행 차량(501)에 부착될 수 있다. 긴 점선 화살표로 표시된 축(505 및 507)은 자율 주행 차량(501)의 기준(reference) 축이고, 센서(503) 및/또는 센서(553)을 이용하여 캡처된 데이터에 대한 기준 축으로 사용될 수 있다. 도시된 예에서, 축(505, 507)은 센서(503)과 자율 주행 차량(501)의 전면에서 중심에 있다. 일부 실시예에서, 3차원으로 특성(properties)을 추적하는데 추가 높이 축(도시되지 않음)이 이용된다. 다양한 실시예에서, 대체 축이 활용될 수 있다. 예를 들어, 기준 축은 자율 주행 차량(501)의 중심에 있을 수 있다. 일부 실시예에서, 센서(503, 553)의 각 센서는 자체 기준 축 및 좌표 시스템을 활용할 수 있다. 센서(503, 553)의 각 로컬 좌표 시스템을 사용하여 캡처 및 분석된 데이터는 자율 주행 차량(501)의 로컬(또는 전역(world)) 좌표 시스템으로 변환되고, 서로 다른 센서에서 캡처된 데이터는 동일한 참조 프레임을 사용하여 공유될 수 있다.

도시된 예에서, 센서(503, 553)의 시야(509, 559)는 각각 점선 화살표 사이의 점선 호(arc)로 묘사되어 있다. 묘사된 시야(509, 559)는 센서(503, 553)에서 각각 측정된 영역의 오버헤드 관점(perspectives)을 도시한다. 시야(509)에서 오브젝트의 특성은 센서(503)에 의해 캡처될 수 있고, 시야(559)의 오브젝트의 특성은 센서(553)에 의해 캡처될 수 있다. 예를 들어, 일부 실시예에서, 시야(509)의 오브젝트의 거리, 방향 및/또는 속도 측정은 센서(503)에 의해 캡처된다. 도시된 예에서, 센서(503)는 인접 차량(511, 521)의 거리와 방향을 캡처한다. 센서(503)는 주변 차량(561)이 시야(509) 영역을 벗어나기 때문에 인접 차량(561)을 측정하지 않는다. 대신, 인접 차량(561)의 거리와 방향은 센서(553)에 의해 캡처된다. 다양한 실시예에서, 하나의 센서에 의해 캡처되지 않은 오브젝트는 차량의 다른 센서에 의해 캡처될 수 있다. 도 5에 센서(503, 553) 만 구비된 것으로 묘사되어 있지만, 자율 주행 차량(501)에는 차량 주변에 360도 가시성을 제공하는 다수의 서라운드 센서(도시되지 않음)가 장착되어 있을 수 있다.

일부 실시예에서, 센서(503, 553)은 거리 및 방향 측정을 캡처한다. 거리 벡터(513)는 이웃 차량(511)의 거리와 방향을 묘사하고, 거리 벡터(523)는 이웃 차량(521)의 거리와 방향을 묘사하고, 거리 벡터(563)는 이웃 차량(561)의 거리와 방향을 나타낸다. 다양한 실시예에서, 캡처된 실제 거리 및 방향값은 센서(503, 553)에 의해 감지된 외부 표면에 대응하는 값의 세트이다. 도시된 예에서, 각 이웃 차량에 대해 측정된 거리 및 방향 세트는 거리 벡터(513, 523, 563)에 의해 근사화(approximate)된다. 일부 실시예에서, 센서(503, 553)은 각각의 시야(509, 559)에서 오브젝트의 속도 벡터(도시되지 않음)를 감지한다. 일부 실시예에서, 거리 및 속도 벡터는 3차원 벡터이다. 예를 들어, 벡터에는 높이(또는 고도) 컴포넌트(도시되지 않음)가 포함된다.

일부 실시예에서, 경계 상자는 감지된 이웃 차량(511, 521, 561)을 포함하여 감지된 오브젝트를 근사화한다. 경계 상자는 감지된 오브젝트의 외관을 근사화한다. 일부 실시예에서, 경계 상자는 큐보이드(cuboid) 또는 감지된 오브젝트의 또다른 체적 표현과 같은 3차원 경계 상자이다. 도 5의 예에서, 경계 상자는 이웃 차량(511, 521, 561) 주변의 사각형(rectangles)으로 도시된다. 다양한 실시예에서, 자율 주행 차량(501)으로부터의 거리와 방향은 경계 상자의 모서리(또는 표면)의 각 지점에 대해 결정될 수 있다.

다양한 실시예에서, 거리 벡터(513, 523, 563)는 동일한 순간에 캡처된 비전 데이터에 대한 관련 데이터이다. 거리 벡터(513, 523, 563)는 대응하는 비전 데이터에서 확인된 이웃 차량(511, 521, 561)의 거리와 방향을 어노테이트하는 데 사용된다. 예를 들어, 거리 벡터(513, 523, 563)는 이웃 차량(511, 521, 561)을 포함하는 트레이닝 이미지에 어노테이트하기 위한 지상 검증으로 사용될 수 있다. 일부 실시예에서, 도 5의 캡처된 센서 데이터에 대응하는 트레이닝 이미지는 중복되는 시야를 가진 센서로부터 매칭 시간에 캡처된 데이터를 활용한다. 예를 들어, 트레이닝 이미지가 이웃 차량(511, 521)만 캡처하고 이웃 차량(561)은 캡처하지 않은 포워드-대향 카메라에서 캡처된 이미지 데이터인 경우, 이웃 차량(511 및 521)만 트레이닝 이미지에서 식별되고, 그들의 대응하는 거리와 방향이 어노테이트된다. 유사하게, 이웃 차량(561)을 캡처한 우측 이미지는 이웃 차량(561)만의 거리와 방향에 대한 어노테이션을 포함한다. 다양한 실시예에서, 인가된 트레이닝 이미지는 어노테이트된 오브젝트 특성을 예측하기 위해 머신 러닝 모델을 트레이닝하기 위한 트레이닝 서버로 전송된다. 일부 실시예에서, 도 5의 캡처된 센서 데이터 및 대응하는 비전 데이터는 트레이닝 플랫폼으로 전송되는데, 트레이닝 플랫폼에서 센서 데이터 및 비전 데이터는 분석되고, 트레이닝 이미지는 선택되고 어노테이트된다. 예를 들어, 캡처된 데이터는 데이터의 타임 시리즈일 수 있고, 타임 시리즈는 관련 데이터를 비전 데이터에서 식별된 오브젝트와 연관시키기 위해 분석될 수 있다.

도 6은 오브젝트 특성을 예측하는 일예를 도시한 다이어그램이다. 도시된 예에서, 분석된 비전 데이터(601)는 자율 주행 차량의 포워드-대향 카메라와 같은 비전 센서에서 캡처한 이미지 데이터의 관점을 표현한다. 일부 실시예에서, 비전 센서는 도 1의 비전 센서(101) 중 하나이다. 일부 실시예에서, 차량의 전방 환경은 도 1의 딥 러닝 시스템(100)과 같은 딥 러닝 시스템을 이용하여 캡처 및 처리된다. 다양한 실시예에서, 도 6에 도시된 프로세스는 도 3의 307, 309 및/또는 311, 및/또는 도 4의 401, 403, 405, 407 및/또는 409에서 수행된다.

도시된 예에서, 분석된 비전 데이터(601)는 자율 주행 차량의 전방 환경을 캡처한다. 분석된 비전 데이터(601)은 감지된 차량 차선 라인(lane line)(603, 605, 607, 609)를 포함한다. 일부 실시예에서, 차량 차선 라인은 주행 특징들(features)을 식별하도록 트레이닝된 도 1의 딥 러닝 시스템(100)과 같은 딥 러닝 시스템을 사용하여 식별된다.

분석된 비전 데이터(601)는 감지된 오브젝트에 해당하는 경계 상자(611, 613, 615, 617, 619)도 포함한다. 다양한 실시예에서, 감지된 오브젝트는 캡처된 비전 데이터를 분석하여 식별된다. 캡처된 비전 데이터를 트레이닝된 머신 러닝 모델에 입력으로 사용하여, 감지된 오브젝트의 거리 및 방향과 같은 오브젝트 특성이 예측된다. 일부 실시예에서, 속도 벡터가 예측된다. 도시된 예에서, 경계 상자(611, 613, 615, 617, 619)의 감지된 오브젝트는 이웃 차량에 대응한다. 경계 상자(611, 613, 617)은 차량 차선 라인(603, 605)에 의해 정의된 차선의 차량에 대응한다. 경계 상자(615, 619)는 차량 차선 라인(607, 609)에 의해 정의된 합류(merging) 차선의 차량에 대응한다. 일부 실시예에서, 감지된 오브젝트를 표현하는데 사용되는 경계 상자는 3차원 경계 상자(도시되지 않음)이다.

다양한 실시예에서, 경계 상자(611, 613, 615, 617, 619)에 대해 예측된 오브젝트 특성은 도 2 내지 도 4의 프로세스를 사용하여 트레이닝된 머신 러닝 모델을 적용하여 예측된다. 예측된 오브젝트 특성은 도 5의 다이어그램에 묘사된 보조 센서를 사용하여 캡처될 수 있다. 도 5 및 도 6은 서로 다른 주행 시나리오를 묘사하지만, 도 5는 도 6과 비교하여 서로 다른 수의 감지된 오브젝트를 묘사하며, 트레이닝된 머신 러닝 모델은 충분한 트레이닝 데이터에 대해 트레이닝될 때 도 6의 시나리오에서 감지된 오브젝트의 오브젝트 특성을 정확하게 예측할 수 있다. 일부 실시예에서, 거리와 방향이 예측된다. 일부 실시예에서, 속도가 예측된다. 예측된 속성은 2 또는 3차원에서 예측될 수 있다. 도 1 내지 도 6에 대해 설명된 프로세스를 사용하여 트레이닝 데이터의 생성을 자동화함으로써 정확한 예측을 위한 트레이닝 데이터가 효율적이고 편리한 방식으로 생성된다. 일부 실시예에서, 식별된 오브젝트 및 대응하는 특성은 차량의 셀프-드라이빙 또는 운전자 보조 동작과 같은 자율 주행 기능을 구현하는 데 이용될 수 있다. 예를 들어, 차량의 스티어링 및 속도를 제어하여 차량을 두 차선 라인 사이와 다른 오브젝트와 안전한 거리에서 안전하게 유지하도록 제어할 수 있다.

이상의 실시예들은 이해의 명확성을 목적으로 몇 가지 세부 사항에 대해 설명되어 있지만, 본 발명은 제공된 세부 사항에 한정되지 않는다. 본 발명을 구현하는 방법에는 여러 가지 대안이 있다. 개시된 실시예는 예시적일 뿐 제한적이지 않다.

101: 비전 센서 103: 추가 센서
105: 이미지 프리-프로세서 107: 딥 러닝 네트워크
109: AI 프로세서 111: 차량 제어 모듈
113: 네트워크 인터페이스

Claims

시스템에 있어서,
하나 또는 이상의 프로세서; 및
상기 하나 또는 이상의 프로세서와 커플링된 메모리
를 포함하고, 상기 프로세서는,
차량의 카메라를 사용하여 캡처된 이미지를 기반으로 이미지 데이터를 수신하고,
상기 차량으로부터 오브젝트의 거리를 적어도 부분적으로(at least in part) 식별하기 위해, 트레이닝된 머신 러닝 모델에 대한 입력의 기초로 상기 이미지 데이터를 활용하도록 구성되고,
상기 트레이닝된 머신 러닝 모델은 트레이닝 이미지와 방출 거리 센서의 상관 출력을 사용하여 트레이닝된 것인,
시스템.
제1항에 있어서,
상기 하나 또는 이상의 프로세서는 상기 차량에 대하여 상기 오브젝트의 방향을 식별하도록 더 구성되는,
시스템.
제1항 또는 제2항에 있어서,
상기 하나 또는 이상의 프로세서는 상기 차량에 대하여 상기 오브젝트의 속도 벡터를 식별하도록 더 구성되는,
시스템.
제1항 내지 제3항에 있어서,
상기 방출 거리 센서는 레이다(radar) 센서를 포함하는,
시스템.
제1항 내지 제3항에 있어서,
상기 방출 거리 센서는 초음파(ultrasonic) 센서를 포함하는,
시스템.
제1항 내지 제3항에 있어서,
상기 방출 거리 센서는 라이다(lidar) 센서를 포함하는,
시스템.
제1항 내지 제6항에 있어서,
상기 오브젝트는: 보행자, 차량, 장애물, 장벽, 또는 교통 제어 오브젝트 중 어느 하나인,
시스템.
제1항 내지 제7항에 있어서,
상기 트레이닝 이미지 및 상기 방출 거리 센서의 상기 상관 출력은 트레이닝 차량에서 캡처된 것인,
시스템.
제1항 내지 제7항에 있어서,
상기 방출 거리 센서의 상기 출력은 상기 트레이닝 차량에서 제2오브젝트의 추정 거리와 상기 트레이닝 차량에 대한 상기 제2 오브젝트의 추정 방향을 포함하고,
상기 제2 오브젝트는 상기 트레이닝 이미지에서 식별되는,
시스템.
제9항에 있어서,
상기 트레이닝 이미지는 상기 트레이닝 차량의 이미지 센서를 이용하여 캡처된 이미지의 타임 시리즈 중 어느 하나인,
시스템.
제10항에 있어서.
상기 제2 오브젝트는 상기 이미지의 타임 시리즈에 포함된 복수의 이미지들을 분석하여 적어도 부분적으로 식별되는,
시스템.
제10항에 있어서,
상기 이미지의 타임 시리즈는 상기 방출 거리 센서에서 감지된 복수의 오브젝트 중 상기 제2 오브젝트에 대응하는 상기 방출 센서의 출력 부분(portion)을 명확히 구분하는데 이용되는,
시스템.
제1항 내지 제12항에 있어서,
상기 차량으로부터 상기 오브젝트의 상기 식별된 거리는 상기 오브젝트와 연관된 시맨틱(semantic) 라벨을 예측하는 데 이용되는,
시스템.
제1항 내지 제13항에 있어서,
상기 트레이닝된 머신 러닝 모델은 출력 이미지에 기초하여 상기 방출 거리 센서의 거리 출력을 예측하도록 트레이닝된,
시스템.
제1항 내지 제14항에 있어서,
상기 차량에 대한 상기 오브젝트의 상대 위치를 결정하기 위해, 상기 트레이닝된 머신 러닝 모델을 이용하여 식별된 상기 오브젝트의 상기 거리가 상기 차량 상에 포함되는 설치된(installed) 방출 거리 센서의 출력과 결합하여(in combination with) 사용되는,
시스템.
컴퓨터 프로그램 제품에 있어서,
상기 컴퓨터 프로그램 제품은 비일시적인(non-transitory) 컴퓨터 판독 가능한 저장 매체로 구현되고, 컴퓨터 명령어들을 포함하고,
상기 컴퓨터 명령어들은:
차량의 카메라를 사용하여 캡처된 이미지를 기반으로 이미지 데이터를 수신하고,
차량으로부터 오브젝트의 거리를 적어도 부분적으로 식별하도록, 상기 이미지 데이터를 트레이닝된 머신 러닝 모델에 대한 입력의 기초로 활용하도록 하는,
컴퓨터 프로그램 제품.
차량의 카메라를 이용하여 캡처된 이미지를 기반으로 선택한 이미지를 수신하는 동작;
차량의 방출 거리 센서를 기반으로 거리 데이터를 수신하는 동작;
상기 선택한 이미지를 트레이닝된 머신 러닝 모델에 대한 입력으로 사용하여 오브젝트를 식별하는 동작;
수신된 거리 데이터로부터 상기 식별된 오브젝트의 거리 추정을 추출하는 동작;
상기 선택한 이미지에 상기 추출된 거리 추정을 어노테이트(annotate)하여 트레이닝 이미지를 생성하는 동작;
상기 트레이닝 이미지를 포함하는 트레이닝 데이터 세트를 이용하여 거리 측정을 예측하기 위해 제2 머신 러닝 모델을 트레이닝하는 동작; 및
제2 카메라가 장착된 제2 차량에 대해 상기 트레이닝된 제2 머신 러닝 모델을 제공하는 동작
을 포함하는, 방법.
제17항에 있어서,
상기 캡처된 이미지는 캡처된 이미지의 타임 시리즈의 부분이고, 상기 거리 데이터는 캡처된 거리 데이터의 타임 시리즈의 일부인,
방법.
제17항 또는 제18항에 있어서,
상기 캡처된 이미지는 캡처된 이미지의 타임 시리즈에 걸쳐 식별된 상기 오브젝트를 추적(tracking)하는 동작을 더 포함하고,
상기 추출된 거리 추정은 상기 식별되어 추적된 오브젝트를 수신된 거리 데이터에 대해 상관시키는 것을 기반으로 하는,
방법.
제17항 내지 제19항에 있어서,
상기 식별된 오브젝트는 감지된 차량 또는 보행자인,
방법.