KR20210035296A - 이례적인 차량 이벤트를 감지 및 기록하기 위한 시스템 및 방법 - Google Patents

이례적인 차량 이벤트를 감지 및 기록하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210035296A
KR20210035296A KR1020217006463A KR20217006463A KR20210035296A KR 20210035296 A KR20210035296 A KR 20210035296A KR 1020217006463 A KR1020217006463 A KR 1020217006463A KR 20217006463 A KR20217006463 A KR 20217006463A KR 20210035296 A KR20210035296 A KR 20210035296A
Authority
KR
South Korea
Prior art keywords
vehicle
contextual data
event
data
interest
Prior art date
Application number
KR1020217006463A
Other languages
English (en)
Inventor
로메인 클레멘트
헬렌 루쓰 루리
새미 오마리
Original Assignee
리프트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리프트, 인크. filed Critical 리프트, 인크.
Publication of KR20210035296A publication Critical patent/KR20210035296A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B60W2050/0078—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

일실시예에서, 컴퓨팅 시스템은 인간 운전자에 의해 운용되는 차량과 연관된 문맥적 데이터에 접근한다. 문맥적 데이터는 차량과 연관된 하나 이상의 센서를 사용하여 캡처된다. 시스템은 다수의 차량과 연관된 사전 기록된 문맥적 데이터와 연관된 정보에 적어도 부분적으로 기반하여 문맥적 데이터를 처리함으로써 하나 이상의 예측된 차량 동작을 결정한다. 시스템은 인간 운전자에 의한 하나 이상의 차량 동작을 결정한다. 시스템은 인간 운전자에 의한 하나 이상의 차량 동작과 하나 이상의 예측된 차량 동작의 비교에 기반하여 관심 이벤트가 문맥적 데이터와 연관된다고 결정한다. 시스템은 관심 이벤트와 연관된 고해상도 문맥적 데이터가 저장되도록 야기한다.

Description

이례적인 차량 이벤트를 감지 및 기록하기 위한 시스템 및 방법
현대의 차량은 차량 및 환경을 모니터링하기 위한 하나 이상의 센서 또는 감지 시스템을 포함할 수 있다. 예를 들어, 차량은 차량 속도를 측정하기 위해 속도 센서를 사용할 수 있고 차량의 위치를 추적하기 위해 GPS를 사용할 수 있다. 하나 이상의 카메라 또는 라이다는 차량의 주위 객체를 감지하는데 사용될 수 있다. 차량은 센서로부터 데이터를 수집하기 위해 하나 이상의 컴퓨팅 시스템(예컨대, 차내 컴퓨터)을 사용할 수 있다. 컴퓨팅 시스템은 차내 저장소에 수집된 데이터를 저장하거나 무선 연결을 사용하여 데이터를 클라우드로 업로드할 수 있다.
본 발명의 내용 중에 포함되어 있다.
하지만, 차량의 센서는 대량의 데이터를 생성할 수 있고 차량의 컴퓨팅 시스템은 모든 데이터를 저장하기에 제한된 차내 저장소 공간 및 실시간으로 데이터를 업로드하기에 제한된 연결 밴드폭을 가질 수 있다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 제한된 저장소 공간과 무선 연결 밴드폭을 가지는 차량 시스템의 예시를 도시한다.
도 2는 인간 운전자의 예측된 동작에 기반하여 관심 이벤트를 결정하기 위한 시간 시퀀스의 예시를 도시한다.
도 3은 이례적 이벤트를 감지 및 분류하기 위한 에지 컴퓨터 다이어그램을 도시한다.
도 4a는 차량의 이례적 이벤트를 감지하기 위한 상황의 예시를 도시한다.
도 4b는 다른 교통 주체를 예측하기 위한 상황의 예시를 도시한다.
도 5는 관심 이벤트를 감지하고 이벤트와 연관된 고해상도 데이터를 저장하는 방법의 예시를 도시한다.
도 6a는 데이터 수집 장치의 예시의 다양한 컴포넌트의 블록도를 도시한다.
도 6b는 데이터 수집 장치의 예시의 전면도를 도시한다.
도 6c는 데이터 수집 장치의 예시의 후면도를 도시한다.
도 7은 탑승 요청자를 자율 주행 차량에 매칭하기 위한 운송 관리 환경의 블록도의 예시를 도시한다.
도 8은 컴퓨터 시스템의 예시를 도시한다.
다음 설명에서, 다양한 실시예가 설명될 것이다. 설명의 목적으로, 특정한 구성과 세부 사항이 실시예의 빈틈없는 이해를 제공하기 위하여 제시된다. 하지만, 실시예는 특정한 세부 사항 없이 실시될 수 있음도 통상의 기술자에게 명백할 것이다. 나아가, 공지된 특징은 설명되는 실시예를 모호하게 하지 않기 위해 생략 또는 단순화될 수 있다. 나아가, 본 명세서에 개시되는 실시예는 예시일 뿐이고, 본 명세서의 범위는 이로 제한되지 않는다. 특정한 실시예는 상술한 실시예의 컴포넌트, 요소, 특징, 기능, 동작 또는 단계를 전부 또는 일부 포함하거나 포함하지 않을 수 있다. 본 발명에 따른 실시예는 특히 방법, 저장 매체, 시스템 또는 컴퓨터 프로그램 제품에 관한 첨부된 청구항에 개시되고, 한 청구항 카테고리, 예컨대 방법에 언급된 임의의 특징은 다른 청구항 카테고리, 예컨대 시스템에도 청구될 수 있다. 첨부된 청구항에서 인용이나 역참조는 형식적인 이유만을 위하여 선택된다. 하지만, 임의의 이전 청구항에 대한 의도적인 역참조(특히 다중 인용)로부터 기인하는 임의의 구성 요소도 청구될 수 있어, 청구항 및 그 특징의 임의의 조합이 개시되고 첨부된 청구항에서 선택된 인용과 상관없이 청구될 수 있다. 청구될 수 있는 구성 요소는 첨부된 청구항에 제시된 특징의 조합뿐만 아니라 청구항의 특징의 임의의 다른 조합도 포함하고, 청구항에 언급된 각 특징은 임의의 다른 특징이나 청구항의 다른 특징의 조합과 조합될 수 있다. 나아가, 본 명세서에 서술 또는 묘사되는 실시예 및 특징 중 임의의 것은 개별 청구항 및/또는 본 명세서에 서술 또는 묘사되는 임의의 실시예나 특징 또는 첨부된 청구항의 특징 중 임의의 것과의 임의의 조합에 청구될 수 있다.
차량 시스템은 차량과 연관된 임의의 수의 센서(예컨대, 속도 센서, 조향각 센서, 브레이크 압력 센서, GPS, 카메라, 라이다, 레이더 등)로부터 막대한 양의 데이터를 수집할 수 있다. 수집된 데이터는 많은 응용에서 사용될 수 있는데, 자율 주행 차량을 운전하거나 인간의 주행을 돕기 위한 ML(machine-learning) 모델을 훈련시키는 등이다. 차량 시스템은 수집된 데이터를 차내 저장소에 저장하거나 무선 연결을 통해 클라우드로 데이터를 업로드할 수 있다. 하지만, 차량 시스템이 제한된 차내 저장소 공간과 무선 연결 밴드폭을 가지므로 수집된 데이터 전부를 저장 또는 업로드하는 것은 실행 불가능하다. 차량 시스템이 수집된 데이터를 전처리하고 처리된 대표 결과(예컨대, 객체 리스트가 생성된 가공되지 않은 이미지 데이터가 아니라 객체 감지 결과로부터의 객체 리스트)만 저장이나 업로드할 수 있지만, 이러한 접근법은 더 풍부한 데이터가 필요한 시나리오에 대해 수집되는 데이터의 차선의 양을 야기한다. 예를 들어, 이례적 이벤트, 예컨대 흔치 않은 조건(예컨대, 다른 차량의 이례적인 궤적이나 공격적인 움직임)이나 사고에 대한 반응은 차량 시스템의 기계 학습 모델이 처리를 학습할 필요가 있는 중요한 에지 케이스를 구성할 수 있다. 에지 케이스에 대한 차선의 양의 데이터는 이러한 에지 케이스를 처리하기에 충분히 탄탄하게 기계 학습 모델을 효과적으로 훈련시키기에 충분한 세부 사항이 부족할 수 있다.
제한된 저장 공간과 무선 연결 밴드폭에 의해 야기되는 문제를 해결하기 위해, 차량 시스템의 특정한 실시예는 수집된 데이터를 전처리하고(예컨대, 객체 식별, 압축 등), 전처리된 결과(예컨대, 식별된 객체 리스트, 압축된 데이터)를 저장/업로드할 수 있는데, 전처리 전의 데이터보다 작은 크기를 가지고 저장 공간과 전송 밴드폭을 덜 필요로 한다. 더 풍부한 세트의 에지 케이스 데이터를 캡처하기 위하여, 차량 시스템의 특정 실시예는 에지 컴퓨팅을 사용하여 실시간으로 관심 이벤트를 감지할 수 있고, 이러한 이벤트 감지시 다르게 저장/업로드되는 것보다 더 풍부한 세트의 대응하는 데이터를 저장/업로드할 수 있다. 관심 이벤트는 차량 시스템의 예측(사전 기록된 과거 데이터에 기반하여)에서 임계치만큼 벗어나는 이례적 이벤트일 수 있다. 더 풍부한 세트의 데이터는 비이례적 이벤트에 대해 저장/업로드되는 데이터(예컨대, 전처리된 압축 데이터)보다 더 자세한 정보를 포함하는 고해상도 데이터일 수 있다. 더 풍부한 세트의 데이터는, 예컨대 가공되지 않은 데이터, 전체 해상도 데이터 또는 비이례적 이벤트에 대해 저장/업로드된 데이터보다 더 고해상도(예컨대, 더 많은 픽셀, 더 높은 샘플링 레이트)의 데이터일 수 있다. 에지 계산은 비이례적 이벤트를 감지 또는 분류하기 위해 설계된 기계 학습 모델 및/또는 규칙 기반 알고리즘을 사용할 수 있다. 예를 들어, 시스템은 현재 주행 데이터를 현재 상황하에서 예측된 주행 행동(예컨대, 기계 학습 모델을 사용하여)과 비교하고 현재 주행 데이터가 예측과 일치하지 않을 때 이례적 이벤트를 식별할 수 있다. 이례적 이벤트가 감지될 때, 시스템은 감지된 이벤트에 관련된 더 풍부한 세트의 데이터를 저장/업로드할 수 있다.
특정 실시예는 식별된 데이터에 기반하여 데이터를 선택적으로 저장 및 업로드하고 식별된 이벤트에 관련되지 않은 다른 데이터를 전처리함으로써 시스템이 요구하는 저장소와 밴드폭 자원을 줄인다. 예를 들어, 차량 시스템은 차량 시스템의 저장 및 전송 밴드폭 제한에도 불구하고 기계 학습 훈련을 위한 이례적 이벤트에 관한 에지 케이스 데이터와 정상 운행 데이터 모두를 포함하는 데이터를 효과적으로 수집할 수 있다. 나아가, 차량 시스템의 특정 실시예는 이후의 후속 사용, 예컨대 차량을 운전하거나 인간의 운전을 돕기 위한 기계 학습 모델을 훈련시키는 등을 위해 더 풍부한 에지 케이스 데이터 세트와 더 나은 데이터 품질을 제공한다. 예를 들어, 수집된 에지 케이스 데이터는 압축이나 전처리로 인한 손실이 없는 감지된 이벤트의 고해상도 데이터를 포함할 수 있고, 따라서 기계 학습 모델을 훈련시키는데 더 효율적으로 사용될 수 있다.
특정 실시예에서, 차량 시스템은 차량(예컨대, 속도, 조향각, 브레이크 압력 등), 차량 경로(예컨대, 궤적, 위치 등), 인간 운전자(예컨대, 눈의 움직임, 머리의 움직임 등) 및 차량의 환경(예컨대, 경계 상자로 식별된 객체, 다른 차량, 보행자 등)을 모니터링하기 위한 임의의 수의 센서를 포함할 수 있다. 차량 시스템은 차량의 문맥적 데이터를 수집하기 위해 하나 이상의 컴퓨팅 시스템(예컨대, 데이터 수집 장치, 휴대 전화, 태블릿, 모바일 컴퓨터, 고성능 컴퓨터)를 포함할 수 있다. 특정 실시예에서, 차량의 문맥적 데이터는 인간 운전자와 연관된 하나 이상의 파라미터, 예로서 제한 없이 머리의 위치, 머리의 움직임, 손의 위치, 손의 움직임, 발의 위치, 발의 움직임, 시선 방향, 시선점, 인간 운전자의 이미지, 제스처, 목소리 등을 포함할 수 있다. 인간의 운전과 연관된 파라미터는 차량(예컨대, 마이크가 있는 차량용 카메라)과 연관되거나 차량의 컴퓨팅 시스템(예컨대, 데이터 수집 장치, 휴대 전화)과 연관된 하나 이상의 운전자를 향한 카메라와 마이크를 사용하여 측정될 수 있다.
특정 실시예에서, 차량의 문맥적 데이터는 차량과 연관된 하나 이상의 파라미터, 예컨대 속도, 이동 방향, 궤적, GPS 좌표, 가속(예컨대, IMU 출력에 기반한), 회전 속도(예컨대, IMU/자이로스코프 출력에 기반한), 브레이크 페달의 압력, 가속 페달의 압력, 핸들의 조향력, 바퀴 방향, 신호 상태 등을 포함할 수 있다. 차량과 연관된 파라미터는 차량 시스템의 하나 이상의 센서에 기반하여 결정될 수 있다. 특정 실시예에서, 차량의 문맥적 데이터는 차량의 내비게이션 데이터, 예컨대 내비게이션 지도, 내비게이션 목적지, 경로, 예상 시간, 우회로 등을 포함할 수 있다. 특정 실시예에서, 차량의 문맥적 데이터는 예로서 제한 없이, 점군 데이터, 뷰의 깊이, 환경의 2차원 프로필, 환경의 3차원 프로필, 장면의 스테레오 이미지, 주위 객체에 대한 상대 위치(예컨대, 거리, 각도), 차로에 대한 상대 위치(예컨대, 거리, 각도), 현재 환경에서의 상대 위치 등을 포함하는 카메라 기반 위치 측정 데이터를 포함할 수 있다.
특정 실시예에서, 차량의 문맥적 데이터는 차량 환경과 연관된 하나 이상의 척도를 포함할 수 있다. 환경 척도는 예로서 제한 없이, 다른 차량과의 거리, 다른 차량과의 상대 속도, 보행자와의 거리, 보행자와의 상대 속도, 교통 신호 상태, 교통 신호와의 거리, 교차로와의 거리, 표지판, 표지판과의 거리, 연석과의 거리, 차로와의 상대 위치, 차량의 시야 내의 객체, 교통 상태(예컨대, 교통량이 많음, 교통량이 적음), 다른 차량의 궤적, 다른 교통 주체의 움직임, 다른 교통 주체의 속도, 다른 교통 주체의 이동 방향, 다른 차량의 신호 상태, 다른 교통 주체의 위치, 다른 차량의 공격성 척도를 포함할 수 있다. 차량의 환경과 연관된 하나 이상의 척도는 하나 이상의 카메라, 라이다 시스템, 레이더 시스템 등을 사용하여 결정될 수 있다. 예로서 제한 없이, 차량 시스템은 내비게이션 지도에 추가로 차량의 위치를 정확히 결정하기 위하여 하나 이상의 차로에 대한 차량의 상대 위치를 추적할 수 있다. 다른 예시로, 차량 시스템은 그 속도, 이동 방향, 가속, 궤적, 다른 객체나 차량에 대한 상대 거리와 상대 위치를 추적함으로써 다른 차량의 공격성을 평가할 수 있다.
도 1은 제한된 저장소 공간과 무선 연결 밴드폭을 가지는 차량 시스템(100)의 예시를 도시한다. 차량 시스템(100)은 하나 이상의 프로세서(110), 통신 모듈(140), 제한된 저장 공간(예컨대, 수 기가바이트 또는 테라바이트)의 차내 저장소(120), 클라우드(150)로의 제한된 밴드폭의 무선 연결(152) 등을 포함할 수 있다. 차량 시스템(100)은 차량의 하나 이상의 센서(예컨대, 속도 센서, 조향각 센서, 브레이크 압력 센서, GPS, 카메라, 라이다, 레이더 등)로부터 막대한 양의 데이터(160)를 수집할 수 있다. 특정 실시예에서, 차량 시스템(100)은 인간 운전자가 운전하는 차량의 문맥적 데이터를 수집할 수 있고 수집된 데이터는 운행 차량(예컨대, 자율 주행 차량 운행 또는 안전 경고나 자동 브레이크 제공과 같은 인간 운전자 보조를 포함하여)을 위한 기계 학습(ML) 모델을 훈련시키는데 사용될 수 있다. 기계 학습 모델의 훈련은 막대한 주행 시나리오와 주행 조건을 포함하는 데이터가 필요할 수 있다. 훈련은 클라우드(152)와 연결된 훈련 시스템(190)에서 할 수 있다. 수집된 데이터(160)는 저장 공간(120)과 전송 밴드폭(152)의 제한을 초과할 수 있다. 차량 시스템(100)은 훈련 시스템(190)에서 기계 학습 모델을 훈련시키기 위해 클라우드(150)로 수집된 미가공 데이터의 일부를 직접 저장 및 업로드할 수 있다. 하지만, 저장 공간과 전송 밴드폭의 제한 때문에, 저장 및/또는 업로드될 수 있는 데이터의 양은 미가공 데이터의 큰 크기에 비해 아주 제한되고, 따라서 기계 학습 모델을 훈련시키기에 충분하지 않을 수 있다.
특정 실시예에서, 차량 시스템(100)은 비휘발성 저장소에 데이터를 저장하거나 유선 또는 무선 연결을 통해 클라우드로 데이터를 업로드하기 전에 압축된 형태로 수집된 데이터를 전처리할 수 있다. 예로서 제한 없이, 차량 시스템(100)은 차량의 환경의 교통 주체(예컨대, 다른 차량, 보행자, 움직이는 객체)를 감지하기 위하여 하나 이상의 주체 모델러(예컨대, 객체 감지기, 객체 분류기)를 포함할 수 있다. 주체 모델러는 하나 이상의 기계 학습 모델(예컨대, 신경망)에 기반할 수 있다. 차량 시스템(100)은 교통 주체를 감지 및 추적하기 위하여(예컨대, 각 감지된 교통 주체에 대해 3D 경계 상자 두기, 속도와 이동 방향으로 각 교통 주체 마킹) 환경의 2차원(예컨대, 카메라에 기반) 및/또는 3차원(예컨대, 라이다나 스테레오 카메라에 기반) 지각을 사용할 수 있다. 차량 시스템(100)은 압축된 형태, 예컨대 임의의 수의 감지된 객체를 포함하여 감지된 객체 리스트로 미가공 데이터에 의해 캡처된 정보를 표현하는 전처리 결과 데이터를 생성할 수 있다. 리스트의 각 감지된 객체는 예로서 제한 없이 객체 프로필, 객체 이미지 세그먼트, 시맨틱 텍스트 설명, 속도, 이동 방향, 위치 등을 포함하여 임의의 수의 컴포넌트를 포함할 수 있다. 감지된 객체와 연관된 정보를 포함하는 데이터는 대응하는 미가공 데이터(예컨대, 객체 이미지)보다 작은 크기를 가질 수 있다. 차량 시스템(100)은 감지된 객체(예컨대, 다른 차량, 보행자, 이동하는 객체) 및 그 관련 파라미터를 포함하는 시맨틱 지도를 더 생성할 수 있다. 미가공 데이터를 저장 또는 송신하는 대신, 차량 시스템(100)은 전처리 결과(예컨대, 객체 리스트, 시맨틱 지도)를 저장 및/또는 업로드할 수 있는데, 미가공 데이터보다 작은 저장 공간과 적은 전송 밴드폭을 필요로 한다. 전처리 결과는 임의의 후속 응용, 예컨대 기계 학습 모델 훈련, 통계 모델 구축 또는 인간 분석을 위해 사용될 수 있다.
특정 실시예에서, 차량 시스템(100)은 수집된 데이터(예컨대, 고해상도 미가공 이미지)를 하나 이상의 압축된 포맷(예컨대, JPEG, PNG)로 압축하여 저장 공간과 전송 밴드폭의 요구 조건을 줄일 수 있다. 특정 실시예에서, 차량 시스템(100)은 전처리 결과 데이터를 더 작은 크기로 더 압축하여 저장 공간과 전송 밴드폭의 요구 조건을 줄일 수 있다. 차량 시스템(100)은 실시간으로 또는 나중에 압축된 데이터를 비휘발성 저장소에 저장하고 및/또는 클라우드에 업로드할 수 있다.
특정 실시예에서, 차량 시스템(100)은 차량 운전을 학습하도록 기계 학습을 훈련시키기 위해 전처리 데이터 및/또는 압축 데이터를 사용할 수 있다. 전처리 데이터와 압축 데이터가 기계 학습 모델을 훈련시키기에 많은 유용한 정보를 담고 있지만, 이례적 이벤트(예컨대, 사고, 흔치 않은 주행 조건, 과거 데이터에 기반한 예측으로부터 벗어난 동작 등)를 위한 충분한 세부 사항이 부족할 수 있는데, 이는 전처리 또는 압축 데이터보다 높은 수준의 세부 사항을 필요로 할 수 있다. 이례적 이벤트는 기계 학습 모델을 훈련시키기 위한 대단히 중요한 에지 케이스를 포함할 수 있다. 따라서, 이러한 범용의 접근법(예컨대, 데이터 전처리, 데이터 압축)은 더 풍부한 데이터가 필요한 시나리오를 위해 수집되는 차선의 양의 데이터를 야기할 수 있다.
특정 실시예에서, 차량 시스템은 하나 이상의 컴퓨팅 시스템(예컨대, 데이터 수집 장치, 고성능 컴퓨터, 태블릿, 휴대 전화 등)을 사용하여 하나 이상의 감지된 관심 이벤트에 기반하여 차량의 문맥적 데이터를 선택적으로 수집할 수 있다. 도 2는 인간 운전자의 예측된 동작에 기반하여 관심 이벤트를 결정하기 위한 시간 시퀀스(200)의 예시를 도시한다. 차량 시스템은 차량의 문맥적 데이터를 계속 수집하고 차량 시스템의 휘발성 메모리에 최근 문맥적 데이터(206)를 저장할 수 있다. 휘발성 메모리에 저장된 최근 문맥적 데이터(206)는 현재 시간 T0 이전의 기결정된 기간 TP2(202)(예컨대, 2분, 5분, 10분) 내에 획득된 데이터를 포함할 수 있다. 휘발성 메모리에 저장된 문맥적 데이터(206)는 하나 이상의 센서로부터의 고해상도 데이터, 예컨대 하나 이상의 카메라로부터의 일련의 완전한 해상도의 미가공 이미지 또는 다른 비압축 완전한 해상도의 미가공 데이터를 포함할 수 있다. 비휘발성 메모리는 반복하여 더 새로운 데이터로 덮어쓰기되고 최근 기간(예컨대, 2분, 5분, 10분)의 고해상도만 저장하여 메모리의 크기 제한에 맞추어질 수 있다.
특정 실시예에서, 차량 시스템은 휘발성 메모리에 저장된 차량의 문맥적 데이터(206)에 접근하여 예측 모델을 사용하여 현재 시간 T0에서 및 이후의 기간 TP1(204)(예컨대, 0.1초, 0.2초, 2초, 5초)에 인간 운전자의 예측된 동작(208)에 관한 하나 이상의 파라미터를 예측할 수 있다. 예측된 동작(208)에 관한 파라미터는 예로서 제한 없이 조향 변화, 페달 동작, 브레이크 동작, 신호 변화 등을 포함할 수 있다. 예측 모델은 차량 정보, 차량 경로 및/또는 차량의 환경에 관한 하나 이상의 파라미터를 예측할 수 있다. 예를 들어, 예측 모델은 차량 및/또는 다른 교통 주체에 대하여, 속도, 이동 방향, 가속, 위치, 궤적, 차로에 대한 상대 위치 등을 예측할 수 있다. 예측 모델은 대량(예컨대, 훈련 샘플 수백 또는 수천)의 많은 수의 인간이 운전하는 차량(예컨대, 인간 운전자의 무리에 의해 운전되는)이나 자율 주행 차량과 연관된 사전 기록된 문맥적 데이터에 의해 훈련될 수 있다. 예측 모델은 많은 수의 차량(예컨대, 인간이 운전하는 차량이나 자율 주행 차량)과 연관된 사전 기록된 차량 동작에 의해 훈련될 수 있다. 특정 실시예에서, 예측 모델은 기계 학습 모델(예컨대, 인공 신경망, 회귀 신경망)의 추론 모델일 수 있다. 기계 학습 모델은 많은 수의 인간 운전자의 사전 기록된 문맥적 데이터에 의해 훈련될 수 있다. 특정 실시예에서, 차량 시스템은 사전 기록된 문맥적 데이터, 압축된 문맥적 데이터 또는 고해상도 문맥적 데이터에 기반하여 인간 운전자의 예측된 동작과 차량 상태를 예측할 수 있다.
특정 실시예에서, 차량 시스템은 기간 TP1(204)(예컨대, 0.1초, 0.2초, 2초, 5초) 동안 차량의 문맥적 데이터를 계속하여 수집하고 기간 TP1(204) 동안 인간 운전자의 실제 동작(210)에 관한 파라미터를 결정할 수 있다. 예를 들어, 차량 시스템은 기간 TP1(204)에 대한 차량 정보, 차량 경로 정보 및 환경 정보를 결정할 수 있다. 차량 시스템은 기간 TP1(204) 동안 인간 운전자의 실제 동작(210)과 예측된 동작(208)을 비교하여 관심 이벤트가 그 기간 동안 일어났는지 여부를 결정할 수 있다. 차량 시스템은 인간 운전자의 실제 동작(210)이 기결정된 임계치만큼 예측된 동작(208)에서 벗어났을 때 관심 이벤트가 발생했다고 결정할 수 있다. 차량 시스템은 최근의 문맥적 데이터(206)가 감지된 이례적 이벤트와 연관된다고 결정할 수 있다. 예를 들어, 예측 모델은 현재 주행 상황에 기반하여 차량이 상대적으로 느린 속도(예컨대, 10mph 내지 30mph)로 주행하여야 한다고 예측할 수 있지만, 차량 시스템은 차량이 실제로 60mph보다 높은 속도로 주행하고 있고 인간 운전자가 여전히 가속 페달을 밟고 있음을 발견한다. 그 결과, 차량 시스템은 이례적 이벤트로 표시하고(예컨대, 시간 TE(212)에) 그 이례적 이벤트에 관한 고해상도 데이터(206)(예컨대, 완전한 해상도의 미가공 데이터)를 저장할 수 있다.
특정 실시예에서, 관심 이벤트가 발생했다고 결정하면(예컨대, 시간 TE(212)에), 차량 시스템은 관심 이벤트와 연관된 차량의 고해상도 문맥적 데이터(예컨대, 문맥적 데이터(206))를 차량 시스템의 비휘발성 저장소에 저장할 수 있다. 예로서 제한 없이, 차량 시스템은 문맥적 데이터(206)를 휘발성 메모리에서 차량 시스템의 비휘발성 저장소로 이동시킬 수 있다. 저장된 문맥적 데이터(206)는 고해상도 데이터(예컨대, 일련의 완전한 해상도의 미가공 이미지 또는 압축되지 않은 미가공 센서 데이터)를 포함하고 따라서 관심 이벤트에 관한 더 풍부한 세부 사항을 캡처할 수 있다. 차량 시스템은 관심 이벤트(예컨대, 시간 TE(212)) 후 추가 기간 TP3(214)(예컨대, 수초 내지 수분)에 대응하는 고해상도 데이터를 더 저장할 수 있어 시스템은 이벤트 전(예컨대, 기간 TP4(216)) 및 후(예컨대, 기간 TP3(214)) 모두의 이벤트 세부 사항을 캡처할 수 있다. 저장된 고해상도 데이터는 실시간으로 유선 또는 무선 연결을 통해 클라우드에 업로드될 수 있거나 나중의 오프라인 프로세스를 위해 비휘발성 저장소에 저장될 수 있다. 관심 이벤트에 관한 고해상도 데이터만 선택적으로 저장함으로써, 특정 실시예는 차량의 하나 이상의 주행 조건에 관한 에지 케이스에 대한 더 풍부한 데이터 세트를 캡처하기 위해 더 적은 저장소와 밴드폭을 사용한다. 고해상도 데이터는 이러한 에지 케이스를 고려하도록 기계 학습 모델을 훈련시키는데 사용될 수 있다. 관심 이벤트에 기반하여 캡처된 에지 케이스 데이터는 차량 운전 모델을 훈련시키고 자율 주행 차량을 위한 운전 모델의 준비성을 평가 및 테스트하기 위해 대단히 중요할 수 있다. 특정 실시예에서, 차량 시스템은 관심 이벤트가 문맥적 데이터와 연관됐다는 결정에 기반하여 저장될 고해상도 문맥적 데이터를 선택할 수 있다. 고해상도 문맥적 데이터는 대응하는 문맥적 데이터가 관심 이벤트와 비연관된 것으로 결정될 때 평범하게 저장된 데이터보다 더 많은 정보를 포함할 수 있고 더 긴 기간에 대응할 수 있다. 특정 실시예에서, 차량 시스템은 나중에 검토 또는 분석될 관심 이벤트와 고해상도 문맥적 데이터가 연관되도록 표시(예컨대, 디지털 마크를 사용하여)할 수 있다.
특정 실시예에서, 차량 시스템에 의해 저장/업로드된 고해상도 데이터는 비이례적 이벤트에 대해 수집된 저해상도 데이터(예컨대, 전처리, 압축된 데이터)보다 더 많은 세부 정보를 포함할 수 있다. 특정 실시예에서, 고해상도 데이터는 전처리나 압축이 없는 하나 이상의 센서로부터의 미가공 데이터일 수 있다. 특정 실시예에서, 고해상도 데이터는 보통 또는 저해상도 이미지보다 각 이미지에 더 많은 픽셀을 가질 수 있는 고해상도 이미지를 포함할 수 있다. 고해상도 이미지는 카메라의 이미지 센서에서 사용 가능한 모든 픽셀을 사용하는 완전한 해상도의 이미지일 수 있다. 특정 실시예에서, 고해상도 데이터는 더 높은 샘플링 레이트를 사용하여 센서에 의해 생성된 데이터일 수 있고 따라서 이벤트의 더 많은 세부 정보를 캡처한다. 특정 실시예에서, 고해상도 데이터는 더 큰 장면을 캡처하기 위하여 더 큰 시야로 센서에 의해 생성된 데이터일 수 있다.
특정 실시예에서, 고해상도 문맥적 데이터는 인간 운전자의 주목에 기반하여 수집된 커스텀 데이터일 수 있다. 차량 시스템은 인간 운전자의 주목에 기반하여 자원(예컨대, 시간, 센서, 카메라, 전송 밴드폭, 저장 공간)을 동적으로 할당할 수 있다. 차량 시스템은 인간 운전자의 상태나 행동(예컨대, 머리 위치, 머리 움직임, 시선 방향)에 기반하여 인간 운전자가 어디에 주목하는지 하나 이상의 관심 영역을 결정할 수 있다. 차량 시스템은 현재 조건에 더 관련된 더 풍부한 데이터 세트를 캡처하기 위하여 이들 관심 영역에 더 많은 자원(예컨대, 시간, 센서, 카메라, 전송 밴드폭, 저장 공간)을 할당할 수 있다. 차량 시스템은 인간 운전자가 주목하는 영역과 연관된 문맥적 데이터 세트가 저장될 고해상도 문맥적 데이터에 포함되도록 선택할 수 있다. 예로서 제한 없이, 인간 운전자가 차량 운전 중 특정 방향을 볼 때, 차량 시스템은 인간 운전자가 보고 있는 방향으로 더 많은 카메라와 밴드폭 자원을 할당할 수 있다. 다른 예시로, 인간 운전자가 차량 운전 중 특정 방향을 볼 때, 차량 시스템은 카메라가 그 방향을 향하여 더 높은 해상도 및/또는 더 높은 샘플링 레이트로 이미지를 캡처하도록 설정할 수 있다.
특정 실시예에서, 차량 시스템은 에지 컴퓨팅을 사용하여 관심 이벤트를 실시간으로 감지 및 분류할 수 있다. 에지 컴퓨팅은 클라우드 대신 차량 시스템의 로컬 컴퓨팅 시스템(예컨대, 데이터 수집 장치, 고성능 컴퓨터)에서 수행되는 계산을 지칭할 수 있다. 예를 들어, 차량 시스템은 과거 데이터에 기반한 예측에서 벗어난 이례적 이벤트를 감지 및 분류하기 위해 로컬 프로세서(예컨대, GPU, CPU, ML 전용 프로세서)에서 실행되는 기계 학습 모델을 포함할 수 있다. 에지 컴퓨팅을 사용함으로써, 특정 실시예는 차량 시스템이 클라우드의 서버로부터의 실시간 지원 없이 차량의 문맥적 데이터를 선택적으로 수집할 수 있게 할 수 있고, 따라서 차량 시스템의 통신 밴드폭의 요구 조건을 감소시킨다. 이례적 이벤트를 감지하기 위해 로컬화된 계산을 사용함으로써, 특정 실시예는 클라우드와 통신함으로써 야기되는 지연 시간을 제거함으로써 보통 및 이례적 동작 이벤트를 감지하는데 더 짧은 응답 시간을 가질 수 있다.
도 3은 이례적 이벤트를 감지 및 분류하기 위한 에지 컴퓨터 다이어그램(300)을 도시한다. 특정 실시예에서, 차량 시스템(310)은 차량 시스템(310)에서 로컬로 실행되는 기계 학습 모델일 수 있는 예측 모델(320A)을 포함할 수 있다. 특정 실시예에서, 예측 모델은 많은 수의 인간 운전자로부터 수집된 사전 기록된 문맥적 데이터를 사용하여 훈련될 수 있다. 예를 들어, 예측 모델(320A)의 사본인 예측 모델(320B)은 보통 동작 데이터베이스(342)과 이례적 이벤트 데이터베이스(344)를 사용하여 클라우드(340)를 통하여 훈련 및 사용 가능하게 될 수 있다. 훈련 데이터베이스(342 및 344)는 각각 많은 수의 보통 이벤트와 많은 수의 이례적 이벤트를 커버하는 문맥적 데이터를 포함할 수 있다. 보통 이벤트는 과거 데이터에 기반한 예측과 일치하는 동작을 포함할 수 있다. 보통 이벤트에 관한 동작은 차량의 예측 모델에 의해 예측될 수 있다(예컨대, 예측된 동작의 임계치 내에서). 훈련 데이터베이스(342 및 344)는 인간에 의해 라벨링된 보통 및 이례적 이벤트의 초기 데이터 세트 및/또는 기계 학습 모델에 의해 자동으로 분류된 보통 및 이례적 이벤트의 다른 데이터 세트를 포함할 수 있다. 훈련 데이터는 보통 동작 데이터와 에지 케이스 데이터를 다르게 가중화함으로써 구성 및 최적화될 수 있는데, 에지 케이스는 일반적으로 보통 동작 데이터에 비해 드물기 때문이다. 예를 들어, 에지 케이스에 관한 데이터는 보통 동작에 관한 데이터보다 더 크게 가중치가 할당될 수 있다. 가중화 보통 동작 데이터 및 에지 케이스 데이터에 의해 훈련된 기계 학습 모델은 보통 동작 조건과 에지 케이스 조건 둘 다 적절하게 다룰 수 있다. 훈련은 클라우드(340)로부터 차량 시스템(310)의 로컬 예측 모델(320A)로 유선 또는 무선 연결을 통해 동기화될 수 있다.
특정 실시예에서, 예측 모델(320A)은 기결정된 기간(예컨대, 최근 5분) 동안 캡처된 문맥적 데이터(302) 및/또는 다른 전처리나 압축된 문맥적 데이터에 기반하여 차량의 예측된 동작을 결정할 수 있다. 주행 모델은 실시간 및/또는 반실시간 문맥적 데이터를 처리하고 미래의 기간 및/또는 현재 시간에 대해 예측된 주행 동작(322)을 생성할 수 있다. 예측된 주행 동작(예컨대, 조향, 브레이크, 가속, 주차, 차량에 관한 파라미터, 차량 경로, 인간 운전자 및/또는 환경에 대한 지시)은 비교기(315)에 의해 인간 운전자의 실제 동작(306)과 비교되어 이례적 이벤트를 결정할 수 있다. 비교기(315)는 인간 운전자의 실제 동작(306)이 임계치만큼 예측된 동작(322)으로부터 벗어날 때 이벤트를 이례적 이벤트(317)로 식별할 수 있다. 이례적 이벤트 결정시, 차량 시스템(310)은 감지된 이례적 이벤트에 관한 고해상도 문맥적 데이터(352)를 비휘발성 저장소에 저장하고 및/또는 고해상도 문맥적 데이터를 클라우드에 실시간으로 또는 나중에 업로드할 수 있다.
예로서 제한 없이, 차량이 교차로에서 방향을 틀 때, 예측 모델(320A)은 과거 데이터에 기반하여 차량에 대한 궤적을 예측할 수 있다. 차량 시스템(310)은 GPS 를 사용하여 차량의 위치를 추적하고 라이다, 카메라 등을 사용하여 주위 객체에 대한 차량의 상대 위치를 결정할 수 있다. 비교기(315)는 차량 위치가 기결정된 임계 거리(예컨대, 5미터, 10미터, 15미터)보다 큰 거리만큼 예측된 궤적에서 벗어난다고 결정할 수 있다. 비교기(315)는 이례적 이벤트로 식별할 수 있다. 이례적 이벤트를 감지하면, 차량 시스템(310)은 감지된 이례적 이벤트에 관한 고해상도 문맥적 데이터를 비휘발성 저장소에 저장하고 및/또는 고해상도 데이터를 클라우드(340)에 업로드할 수 있다.
특정 실시예에서, 차량 시스템(310)은 이전에 감지된 이례적 이벤트의 하나 이상의 식별된 카테고리 및 현재 감지된 관심 이벤트의 하나 이상의 특징에 따라 각 감지된 이례적 이벤트(317)를 식별하기 위한 이벤트 분류기(330A)를 포함할 수 있다. 예를 들어, 이벤트 분류기(330A)는 이례적 속도에 관한 이벤트를 이례적 속도 이벤트로 분류할 수 있다. 다른 예시로, 이벤트 분류기(330A)는 이례적 궤적에 관한 이벤트를 이례적 궤적 이벤트로 분류할 수 있다. 이벤트 분류기(300A)는 각 감지된 이례적 이벤트에 대한 관심 점수를 더 결정할 수 있다. 이벤트 분류기(330A)는 차량 시스템(310) 상에서 로컬로 실행되는 다른 기계 학습 모델일 수 있다. 특정 실시예에서, 이벤트 분류기(330A)는 이벤트 분류기(330B)의 사본일 수 있는데, 클라우드(340)를 통해 훈련 및 사용 가능하게 될 수 있다. 이벤트 분류기(330B)는 이례적 이벤트 데이터베이스(344)를 사용하여 훈련될 수 있는데, 적절한 분류로 라벨링된 이례적 이벤트의 훈련 샘플을 포함할 수 있다. 훈련은 클라우드(340)로부터 차량 시스템(310)의 로컬 예측 모델(330A)로 유선 또는 무선 연결을 통해 동기화될 수 있다.
특정 실시예에서, 이벤트 분류기(330A)는 감지된 이벤트에 관한 문맥적 데이터에 기반하여 결정된 하나 이상의 파라미터(예컨대, 속도, 궤적, 위치, 주위 객체, 가속 등)에 기반하여 감지된 이벤트를 분류할 수 있다. 이벤트 분류기(330A)는 감지된 이벤트가 특정 카테고리에 속한다는 신뢰도 레벨을 표시하는 신뢰도 점수를 더 결정할 수 있다. 특정 실시예에서, 이벤트 분류기(330A)는 감지된 이벤트의 관심도를 표시하는 감지된 이례적 이벤트에 대한 관심 점수를 더 결정할 수 있다. 이벤트 분류기(330A)는 감지된 이벤트가 카테고리에 속하는 신뢰도 점수와 그 카테고리의 대응하는 관심 점수에 기반하여 관심 점수를 계산할 수 있다. 예를 들어, 감지된 이벤트가 카테고리에 속하는 신뢰도 점수 x를 가지고 그 카테고리가 관심 점수 y(관심도를 표시)를 가진다면, 감지된 이벤트의 관심 점수는 x와 y의 곱으로 결정될 수 있다. 특정 실시예에서, 이례적 이벤트의 초기 세트의 관심 점수가 이벤트 분류기(330B)를 훈련시키기 위해 인간에 의해 수동으로 결정 및 라벨링될 수 있다. 이벤트 분류기(330A)는 초기 데이터 세트 및 다른 이전에 감지된 이례적 이벤트 데이터에 기반하여 새로 감지된 이례적 이벤트에 대한 관심 점수를 결정할 수 있다.
특정 실시예에서, 차량 시스템(310)은 비교기(315)에 의해 식별된 각 감지된 이례적 이벤트(317)에 관한 고해상도 문맥적 데이터를 저장/업로드할 수 있다. 특정 실시예에서, 차량 시스템(310)은 이벤트 분류기(330A)에 의해 결정된 이벤트의 관심 점수에 기반하여 이례적 이벤트에 관한 고해상도 문맥적 데이터를 저장/업로드할지 여부를 결정할 수 있다. 예를 들어, 차량 시스템(310)은 관심 점수가 임계치보다 높을 때만 이례적 이벤트에 관한 고해상도 문맥적 데이터를 저장/업로드할 수 있다. 특정 실시예에서, 차량 시스템(310)은 관련된 이례적 이벤트의 관심 점수에 기반하여 저장/업로드될 문맥적 데이터의 정보 세부 레벨을 결정할 수 있다. 예를 들어, 차량 시스템(310)은 더 낮은 관심 점수를 가지는 이례적 이벤트보다 더 높은 관심 점수를 가지는 이례적 이벤트에 대해 더 높은 해상도의 문맥적 데이터를 저장/업로드할 수 있다.
특정 실시예에서, 감지된 이례적 이벤트가 임의의 이전에 감지된 이벤트와 유사하지 않기(예컨대, 임의의 알려진 이례적 이벤트 카테고리에 대해 낮은 신뢰도 점수로 표시됨) 때문에 이벤트 분류기는 감지된 이례적 이벤트를 분류하는데 실패할 수 있다. 이 상황에서, 이벤트 분류기는 감지된 이벤트에 기반하여 새 카테고리를 생성하고 모든 알려진 이례적 이벤트와 비유사함은 그 자체로 이례적이라는 표시이기 때문에 감지된 이벤트에 높은 관심 점수를 할당할 수 있다. 차량 시스템은 임의의 미분류 이벤트에 관한 관련 고해상도 데이터를 수집하고 저장할 수 있다. 예를 들어, 차량 시스템은 차량과 거리 이내의 도로 상에 구르는 타이어를 식별할 수 있다. 이벤트 분류기는 임의의 알려진 카테고리로 구르는 타이어 이벤트를 분류하는데 실패할 수 있다. 이벤트 분류기는 이를 새로운 타입의 이례적 이벤트로 식별하고 그 이벤트에 높은 관심 점수를 할당할 수 있다.
특정 실시예에서, 예측 모델(320B) 및/또는 이벤트 분류기(330B)는 새로 획득된 데이터에 기반하여 업데이트될 수 있다. 특정 실시예에서, 보통 동작 및 이례적 이벤트에 대한 초기 훈련 데이터 세트는 인간에 의해 라벨링될 수 있다. 차량 시스템이 새 문맥적 데이터를 수집할 때, 새로 수집된 데이터는 훈련 데이터베이스(342, 344)에 업로드될 수 있다. 예를 들어, 차량 시스템(310)은 이례적 이벤트(317)에 관한 고해상도 문맥적 데이터(352)를 수집하고 수집된 고해상도 문맥적 데이터(352)를 클라우드(340)의 이례적 이벤트 데이터베이스(344)에 업로드할 수 있다. 유사하게, 보통 이벤트에 관련되는 것으로 결정된 문맥적 데이터는 보통 동작 데이터베이스(342)에 업로드될 수 있다. 예측 모델(320B)과 이벤트 분류기(330B) 모두를 포함하는 기계 학습 모델은 새로 수집된 데이터에 의해 더 훈련될 수 있고, 따라서 시간이 흐름에 따라 둘 다 이례적 이벤트를 다루는 능력을 개선한다. 훈련된 예측 모델(320B)과 이벤트 분류기(330B)는 차량 시스템(310)에서 로컬로 실행되는 대응하는 예측 모델(320A)과 이벤트 분류기(330A)에 동기화될 수 있다.
도 4a는 차량의 이례적 이벤트를 감지하기 위한 상황(400A)의 예시를 도시한다. 차량(402A)은 다른 교통 주체(예컨대, 402B, 402C), 하나 이상의 정지선(예컨대, 404A, 404B), 다수의 교통 신호(예컨대, 410A, 410B, 410C, 410D), 하나 이상의 횡단보도(406), 연석(430), 차로(440A-C) 등을 가지는 교차로(490)에 접근할 수 있다. 인간 운전자가 운전하는 차량(402A)은 하나 이상의 센서를 사용하여 차량의 환경을 매핑할 수 있는 컴퓨팅 시스템을 포함하고 매핑을 로컬화하기 위해 실시간 센서 정보를 사용한다. 컴퓨팅 시스템은 차량 정보, 예컨대 속도, 이동 방향, 가속, 정지선(404)까지의 거리, 차로(440A)까지의 거리 등을 모니터링할 수 있다. 컴퓨팅 시스템은 차량의 문맥적 데이터를 수집하고 수집된 문맥적 데이터에 기반하여 차량 동작을 예측할 수 있다. 예로서 제한 없이, 컴퓨팅 시스템은 내비게이션 장치(예컨대, 휴대 전화, GPS)를 통해 차량의 계획된 경로를 모니터링할 수 있다. 예측 모델은 내비게이션 루트의 목적지와 차량의 방향 지시등(예컨대, 차량의 CAN 버스를 통하여 접근된)에 기반하여 차량(402A)이 이 교차로(490)에서 좌회전할 것이라고 추론할 수 있다. 다른 예시로, 예측 모델은 인간 운전자의 행동(예컨대, 운전자가 좌회전에 대응하는 좌측 전방을 보고 있음) 및 다른 환경 인자(예컨대, 다른 교통 주체가 교통 신호를 따라 정지함, 보행자 없음 등)에 기반하여 차량(402A)이 교차로(490)에서 좌회전할 것이라고 추론할 수 있다.
예로서 제한 없이, 컴퓨팅 시스템은 차량(402A)이 교차로(490)에서 좌회전할 것이라고 예측할 수 있다. 컴퓨팅 시스템은 예측 모델을 사용하여 차량(402A)이 선(420A 및 420B) 사이의 궤적을 가질 것이라고 예측할 수 있다. 예측 모델은 이 교차로(490)나 다른 교차로에서 차량이 한 좌회전에 관한 과거 데이터에 의해 훈련될 수 있다. 예를 들어, 좌회전을 위한 일반적인 궤적은 운전자가 회전할 차로에 따라 궤적(422A 또는 422B)일 수 있다. 컴퓨팅 시스템은 인간 운전 동작 및 차량(402A)의 상태를 계속 모니터링할 수 있다. 실제 좌회전 과정 동안, 컴퓨팅 시스템은 차량(402A)이 궤적(422C)을 사용하여 좌회전하고 있음을 감지할 수 있는데, 420A와 420B의 예측된 경계선을 넘는 것이다. 컴퓨팅 시스템은 이를 이례적 이벤트로 감지하고 관련 고해상도 데이터를 새 에지 케이스 데이터로 저장할 수 있다. 컴퓨팅 시스템은 이벤트 분류기를 더 사용하여 감지된 이례적 이벤트를 이례적 궤적 이벤트로 분류하고 이벤트에 높은 관심 점수를 할당할 수 있다.
다른 예시로, 컴퓨팅 시스템은 교통 주체(예컨대, 차, 트럭)이나 사람(예컨대, 횡단보도(406)에서 걷거나 자전거를 타는)이 차량이 빠른 속도로 접근하는 동안 차량(402A) 앞에 있음을 감지할 수 있다(예컨대, 하나 이상의 주체 모델러를 사용하여). 컴퓨팅 시스템은 장애 객체를 마주할 때 차량에 의한 감속 과정에 관한 과거 데이터에 의해 훈련된 예측 모델을 포함할 수 있다. 컴퓨팅 시스템은 예측 모델을 사용하여, 차량(402A)이 감지된 교통 주체나 사람까지의 임계 거리 너머에서 감속할 것이라고 예측할 수 있다. 하지만, 컴퓨팅 시스템은 차량이 교통 주체나 사람까지 임계 거리 내에 들어간 후에도 차량(402A)이 빠른 속도로 교통 주체나 사람에게 접근하고 있음을 감지한다. 컴퓨팅 시스템은 이를 이례적 이벤트로 감지하고 관련 고해상도 데이터를 저장할 수 있다. 이벤트 분류기는 이 이례적 이벤트를 이례적 속도 이벤트로 식별하고 이벤트에 높은 관심 점수를 할당할 수 있다.
다른 예시로, 컴퓨팅 시스템은 차량(402A)이 교차로(490)에서 좌회전 신호를 기다리는 동안 차량(402A)을 위한 교통 신호가 파란불이 됐음을 감지할 수 있다. 컴퓨팅 시스템은 예측 모델을 사용하여 교통 신호가 파란불이 된 후 임계 기간(예컨대, 1초, 2초)에 차량(402A)이 좌회전을 진행할 것이라고 예측할 수 있다. 예측 모델은 이 교차로(490)나 다른 교차로에서 차량이 한 좌회전에 관한 과거 데이터에 의해 훈련될 수 있다. 하지만, 컴퓨팅 시스템은 교통 신호가 파란불이 된 후 임계 기간(예컨대, 1초, 2초)보다 긴 기간(예컨대, 5초, 10초, 20초, 30초) 동안 차량(402A)이 교차로(490)에 계속 정지해 있음을 감지한다. 컴퓨팅 시스템은 이를 이례적 이벤트로 감지하고 관련 고해상도 데이터를 저장할 수 있다. 이벤트 분류기는 이 이벤트를 이례적 정지 이벤트로 식별하고 이벤트에 높은 관심 점수를 할당할 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 규칙 기반 알고리즘을 사용하여 이례적 이벤트를 감지할 수 있다. 예를 들어, 컴퓨팅 시스템은 인간 운전자가 브레이크 페달을 비정상적으로 세게 밟고 있음을 감지할 수 있고 이를 이례적 이벤트로 감지할 수 있다. 다른 예시로, 컴퓨팅 시스템은 차량이 내비게이션 목적지와 다른 잘못된 위치에 도착했다고 결정할 수 있고 이를 이례적 이벤트로 감지할 수 있다. 다른 예시로, 컴퓨팅 시스템은 충돌 사고가 일어났음을 결정하고(예컨대, IMU 출력, 에어백 상태에 기반하여) 이를 이례적 이벤트로 식별할 수 있다. 특정 실시예에서, 컴퓨팅 시스템은 이례적 이벤트를 감지 및 분류하기 위해 규칙 기반 감지와 모델 기반 감지의 하이브리드 접근법을 채택할 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 하나 이상의 교통 주체 모델러를 사용하여 환경의 다른 교통 주체(예컨대, 402B, 402C)를 감지 및 분석할 수 있다. 교통 주체는 다른 교통 주체(예컨대, 차, 버스, 보행자)를 감지 및 식별하고, 그 행동(예컨대, 속도, 궤적, 위치)을 예측하고, 그 행동의 공격성을 평가할 수 있다. 특정 실시예에서, 주체 모델러는 다른 교통 주체를 감지 및 분석하도록 훈련된 하나 이상의 기계 학습 모델일 수 있다. 주체 모델러는 다른 교통 주체(예컨대, 402B, 402C)와 호스팅 차량(예컨대, 402A) 간의 상호작용을 더 분석 및 예측할 수 있다.
도 4b는 다른 교통 주체를 예측하기 위한 상황(400B)의 예시를 도시한다. 차량(402A)은 교차로(490)에 접근할 수 있고 좌회전을 할 것이다(예컨대, 궤적(450)을 따라). 주체 모델러는 교통 주체가 있는 차로, 교통 주체와 연석 또는 중앙선 간의 거리, 그 교통 주체의 방향 지시등 상태 등에 기반하여 교통 주체의 행동을 예측할 수 있다. 예로서 제한 없이, 주체 모델러는 교통 주체(402B)가 도로의 우측 차로 내에 있고 연석(430)에 아주 가깝다고 감지할 수 있다. 주체 모델러는 교통 주체(402B)가 궤적(452)을 따라 우회전할 것이라고 예측할 수 있다. 하지만, 주체 모델러는 교통 주체(402B)의 좌측 방향지시등이 깜빡인다고 감지할 수 있다. 컴퓨팅 시스템은 이를 이례적 이벤트로 식별할 수 있다. 다른 예시로, 주체 모델러는 교통 주체(402C)가 좌측 차로에 있고 좌측 방향지시등이 깜빡인다고 감지할 수 있다. 주체 모델러는 교통 주체(402C)가 궤적(454)을 따라 좌회전하거나 궤적(456)을 따라 유턴할 것이라고 추론할 수 있다. 하지만, 주체 모델러는 교통 주체(402C)가 좌회전 대신 직진한다고(예컨대, 경로(458)를 따라) 감지할 수 있고 이를 이례적 이벤트로 감지할 수 있다.
다른 예시로, 차량(402A)이 교차로(490)에 접근할 때, 차량(402A)의 컴퓨팅 시스템은 주체 모델러를 사용하여 교통 주체(402B)(예컨대, 차)가 비정상적으로 높은 속도로 정지선(404B)에 접근하고 있다고 감지할 수 있다. 주체 모델러는 교통 주체(402B)가 감속하고 있지만, 높은 속도 및 교통 주체(402B)와 정지선(404B) 간의 짧은 거리 때문에 정지선(404B)에 안전하게 정지할 것 같지 않다고 예측할 수 있다. 컴퓨팅 시스템은 이를 이례적 이벤트로 감지하고 이 이벤트를 공격적 교통 주체 이벤트로 분류할 수 있다. 다른 예시로, 주체 모델러는 교통 주체나 객체가 인식 또는 분류될 수 없음을 감지할 수 있다. 컴퓨팅 시스템은 인식 불가능한 교통 주체나 객체를 이례적 이벤트로 식별할 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 멀티 채널 이미지를 사용하여 차량의 환경의 이산화된 뷰를 예측할 수 있다. 예를 들어, 컴퓨팅 시스템은 차량 환경(예컨대, 다른 교통 주체, 보행자 등) 및 차량 상태(예컨대, 위치, 속도, 이동 방향, 차선과의 상대 위치, 주변 객체와의 상대 위치 등)를 예측하기 위한 일련의 멀티 채널 이미지를 생성할 수 있다(예컨대, 예측 모델, 교통 주체 모델러, 기계 학습 모델을 사용하여). 컴퓨팅 시스템은 짧은 기간(예컨대, 0.1초, 0.2초, 2초, 5초, 10초 등)에 차량이 어디에 있을 것인가와 환경이 어떻게 보일 것인가를 예측할 수 있다. 컴퓨팅 시스템은 대응하는 확률을 가지는 가설의 세트에 기반하여 차량의 속도와 이동 방향을 예측할 수 있다. 가능한 가설은 망에 새 정보를 공급할 수 있는 합성곱 신경망이나 순환 신경망에 의해 생성될 수 있다. 가설은 도로의 현재 뷰와 도로의 이전 뷰 모두에 기반할 수 있다. 예를 들어, 컴퓨팅 시스템은 현재 시간 T 및/또는 이전 시간(예컨대, T - 0.5초, T - 1초)에 대한 다수의 채널 이미지를 생성할 수 있다. 특정 실시예에서, 컴퓨팅 시스템은 차량의 환경의 예측된 이산화 뷰에 적어도 부분적으로 기반하여 차량 동작을 예측할 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 차량, 환경 및/또는 다른 교통 주체에 관한 특징의 조합을 사용하여 차량의 환경(예컨대, 이산화 또는 비이산화 뷰에서)을 예측할 수 있다. 특징의 조합은 예로서 제한 없이, 차량의 현재 위치, 차량의 과거 위치, 차량의 예측된 위치, 차량의 현재 속도, 차량의 과거 속도, 차량의 예측된 속도, 차량에 대한 다른 교통 주체의 속도와 방향, 서로에 대한 다른 교통 주체의 속도와 방향, 하나 이상의 지도 요소(예컨대, 차로 표시, 정지선, 횡단하는 보행자, 신호, 도로 표지판, 교차로, 도로 모서리, 건물, 도로 장애물)에 대한 다른 교통 주체의 속도와 방향 등 중 하나 이상을 포함할 수 있다. 컴퓨팅 시스템은 차량, 환경 및/또는 다른 교통 주체에 관한 하나 이상의 특징의 조합을 생성하고 특징의 조합에 기반하여 차량 환경의 이산화 또는 비이산화 뷰를 예측할 수 있다. 특정 실시예에서, 컴퓨팅 시스템은 차량 환경의 예측된 뷰에 적어도 부분적으로 기반하여 차량 동작을 예측할 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 교통 주체의 각 개별 위치를 보고 짧은 기간에 가능한 환경 상황을 예측할 수 있다. 컴퓨팅 시스템은 주체 모델러를 사용하여 차량 근처의 교통 주체와 다른 객체를 식별하고 예측 모델을 사용하여 교통 주체가 어디로 갈 것인지(예컨대, 위치, 속도, 이동 방향, 차로와의 상대 위치, 주위 객체와의 상대 위치 등) 예측할 수 있다. 컴퓨팅 시스템은 이들 교통 주체에 응답하여 인간 운전자의 동작에 관한 차량의 문맥적 데이터를 수집하고 수집된 차량의 문맥적 데이터 및 인간 운전자의 동작에 기반하여 차량 상태(예컨대, 위치, 속도, 이동 방향, 차로와의 상대 위치, 주위 객체와의 상대 위치 등)를 예측할 수 있다. 특정 실시예에서, 교통 주체 모델러와 예측 모델은 차량의 과거 문맥적 데이터에 의해 훈련된 기계 학습 모델일 수 있다. 특정 실시예에서, 예측 모델은 차량과 환경에 대한 다층 정보를 포함하는 과거 멀티 채널 이미지에 의해 훈련될 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 차량 자신, 정지선, 차로, 다른 교통 행동자나 주체 등을 포함하는 차량 환경(예컨대, 교차로)에 대한 하나 이상의 멀티 채널 이미지를 생성할 수 있다. 각 멀티 채널 이미지는 상면시 환경적 이미지일 수 있고 환경에 대한 다른 층의 정보에 대한 다수의 채널을 가질 수 있다. 이미지의 제1 채널은 도로의 경계를 표시하는 도로 정보(어떤 영역이 도로에 속하고 어떤 영역이 도로가 아닌지)를 포함할 수 있다. 예를 들어, 이미지의 제1 채널은 예로서 제한 없이 차로, 횡단보도, 연석, 인도, 도로 너머의 도로 모서리 영역 등을 포함할 수 있다. 이미지의 제2 채널은 교통 및 도로와 연관된 정보, 예컨대 차량 자신(예컨대, 위치, 주변 객체와의 상대 위치), 다른 교통 주체(예컨대, 위치, 주변 객체와의 상대 위치), 정지선, 교통 신호, 도로 표지판 등을 포함할 수 있다. 제3 채널은 교통 주체에 관한 정보, 예컨대 속도, 이동 방향, 가속, 방향 지시등 상태, 상호작용 등을 포함할 수 있다. 기계 학습 모델은 멀티 채널 이미지를 사용하여 세계의 이산화 뷰에서 정확한 장면이 짧은 기간(예컨대, 0.1초, 0.2초)에 어떻게 보일 것인지 예측할 수 있다. 컴퓨팅 시스템은 환경의 일련의 상면시를 생성하여 환경의 일련의 미래 장면을 예측할 수 있다.
특정 실시예에서, 컴퓨팅 시스템은 예측된 차량과 환경 상태를 실제 차량과 환경 상태와 비교할 수 있다. 컴퓨팅 시스템은 차량의 최근에 수집된 문맥적 데이터를 사용하여 결정된 실제 차량과 환경 상태에 기반하여 환경의 실제 상면시에 대한 일련의 멀티 채널 이미지를 생성할 수 있다. 컴퓨팅 시스템은 예측된 상면시 이미지와 실제 상면시 이미지를 비교할 수 있고 실제 상면시 이미지가 그 대응하는 예측된 상면시 이미지로부터 임계치보다 큰 차이로 벗어날 때 이례적 이벤트를 결정할 수 있다. 컴퓨팅 시스템은 환경의 예측 및 실제 상면시 이미지 간의 비교를 위해 멀티 채널 이미지의 하나 이상의 정보층을 사용할 수 있다. 예로서 제한 없이, 컴퓨팅 시스템은 실제 및 예측된 환경 상면시 이미지에 기반하여, 차량 위치가 예측된 위치로부터 임계 거리(예컨대, 5미터, 10미터, 15미터)보다 큰 거리만큼 벗어난다고 결정할 수 있다. 컴퓨팅 시스템은 이를 이례적 이벤트로 결정할 수 있고 감지된 이례적 이벤트에 관한 고해상도 데이터를 저장/업로드할 수 있다. 다른 예시로, 컴퓨팅 시스템은 실제 및 예측된 환경 상면시 이미지에 기반하여, 다른 차량이 그 차량의 예측된 궤적으로부터 임계 거리(예컨대, 5미터, 10미터, 15미터, 30미터)보다 큰 거리만큼 벗어난다고 결정할 수 있다. 컴퓨팅 시스템은 이를 이례적 이벤트로 결정하고 식별된 이례적 이벤트에 관한 고해상도 데이터를 저장/업로드할 수 있다.
도 5는 관심 이벤트를 감지하고 이벤트와 연관된 고해상도 데이터를 저장하는 방법의 예시를 도시한다. 단계 510에서, 차량 시스템은 차량 시스템과 연관된 하나 이상의 센서에 기반하여 차량의 문맥적 데이터를 수집할 수 있다. 수집된 문맥적 데이터는 차량, 차량 경로, 인간 운전자 및 환경을 모니터링하기 위한 센서로부터의 고해상도 데이터(예컨대, 압축이나 전처리 없는 완전한 해상도의 미가공 데이터)를 포함할 수 있다. 단계 520에서, 차량 시스템은 휘발성 메모리에 최근 고해상도 데이터(예컨대, 5분 분량의 데이터)를 저장할 수 있다. 휘발성 메모리의 고해상도 데이터는 더 새로운 데이터로 덮어쓰기되고 휘발성 메모리는 그 크기 제한에 맞추기 위해 최근 5분의 고해상도 데이터만 저장할 수 있다. 단계 530에서, 차량 시스템은 저해상도 데이터를 차량 시스템의 비휘발성 메모리에 저장하거나 저해상도 데이터를 실시간으로 클라우드로 업로드할 수 있다. 저해상도 데이터는 고해상도 문맥적 데이터에 기반하여 생성된 전처리된 데이터(예컨대, 객체 식별 결과)나 압축된 데이터일 수 있다. 단계 540에서, 차량 시스템은 예측 모델을 사용하여 기간(예컨대, 0.1초, 0.2초, 2초, 5초) 동안 인간 운전자의 미래 동작을 예측할 수 있다. 예측 모델은 과거 데이터를 사용하여 훈련된 기계 학습 모델일 수 있다. 차량 시스템은 계속 차량 상태를 모니터링하고 차량의 문맥적 데이터를 수집할 수 있다. 단계 550에서, 차량 시스템은 그 기간(예컨대, 0.1초, 0.2초, 2초, 5초) 동안 차량의 수집된 데이터에 기반하여 인간 운전자의 실제 동작을 결정할 수 있다. 단계 560에서, 차량 시스템은 예측된 동작과 인간 운전자의 실제 동작을 비교하여 관심 이벤트가 발생했는지 여부를 결정할 수 있다.
단계 570에서, 인간 운전자의 실제 동작이 기결정된 임계치만큼 예측된 동작에서 벗어날 때, 차량 시스템은 이례적 이벤트를 식별할 수 있다. 인간 운전자의 실제 동작이 예측된 동작과 일치할 때(예컨대, 기결정된 임계치 이내), 차량 시스템은 단계 510으로 점프하고 계속 차량의 문맥적 데이터를 수집할 수 있다. 단계 580에서, 차량 시스템은 비휘발성 저장소에 식별된 관심 이벤트에 관한 고해상도 데이터를 저장할 수 있다. 예를 들어, 차량 시스템은 고해상도 데이터를 휘발성 메모리에서 비휘발성 저장소로 이동시킬 수 있다(또는 클라우드에 데이터를 업로드). 휘발성 메모리의 고해상도 데이터는 관심 이벤트 전 기결정된 기간(예컨대, 5분)의 더 풍부한 데이터 세트를 포함할 수 있다. 특정 실시예에서, 차량 시스템은 관심 이벤트가 발생한 후 제2 기간(예컨대, 수초 내지 수분)에 대한 고해상도 데이터를 더 수집 및 저장할 수 있다. 단계 590에서, 차량 시스템은 이벤트 분류기를 사용하여 감지된 관심 이벤트(예컨대, 이례적 이벤트)를 분류하고 감지된 이벤트의 중요도와 관심도를 표시하는 관심 점수를 결정할 수 있다.
특정 실시예는 적절한 경우 도 5의 방법의 하나 이상의 단계를 반복할 수 있다. 본 명세서가 도 5의 방법의 특정한 단계를 특정한 순서로 일어나는 것으로 서술 및 설명하지만, 본 명세서는 임의의 적절한 순서로 일어나는 도 5의 방법의 임의의 적절한 단계를 고려한다. 나아가, 본 명세서가 관심 이벤트를 감지하고 이벤트에 연관된 고해상도 데이터를 저장하는 방법의 예시를 도 5의 방법의 특정 단계를 포함하는 것으로 서술 및 설명하지만, 본 명세서는 적절한 경우 도 5의 방법의 단계의 전부, 일부를 포함하거나 포함하지 않을 수 있는 관심 이벤트를 감지하고 이벤트에 연관된 고해상도 데이터를 저장하는 임의의 방법을 고려한다. 나아가, 본 명세서가 도 5의 방법의 특정한 단계를 수행하는 특정한 컴포넌트, 장치 또는 시스템을 서술 및 설명하지만, 본 명세서는 도 5의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 조합을 고려한다.
도 6a는 데이터 수집 장치(660)의 예시의 다양한 컴포넌트의 블록도를 도시한다. 데이터 수집 장치(660)는 운송 관리 차량 장치로도 지칭될 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 붙박이 장치로 차량에 통합될 수 있거나 탈착 가능한 시스템으로 차량과 연관될 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 다수의 서브 시스템 및 모듈, 예컨대 논리 제어 모듈(예컨대, 프로세서(618), 입력/출력(I/O) 인터페이스(626)), 데이터 저장 모듈(, 휘발성 메모리(628), 비휘발성 저장소(620)), 감지 모듈(예컨대, 관성 측정 유닛(632), 카메라(634), 센서(636)), 통신 모듈(624), 디스플레이 모듈(예컨대, 전면 디스플레이(604), 후면 디스플레이(610), 조명 컨트롤러(622))을 포함할 수 있다. 특정 실시예에서, 프로세서(618)는 I/O 인터페이스(626)를 제어하여 데이터 수집 장치(660)에 통합된 통합 센서(예컨대, IMU(632), 카메라(634), 센서(636))와 차량과 연관되고 데이터 수집 장치(660)와 통신하는 차량 센서(예컨대, GPS(642), 카메라(634), 센서(646)) 모두로부터 데이터를 수집할 수 있다. 데이터 수집 장치(660)는 수집된 데이터를 휘발성 메모리(628)(예컨대, RAM(random-access memory)) 및/또는 비휘발성 저장소(620)(하드 디스크 드라이브, 고체 상태 드라이브, 플래시 드라이브, 컴팩트 디스크 등)에 저장할 수 있다. 데이터 수집 장치(660)는 통신 모듈(624)을 사용하여 유선 또는 무선 연결(652)을 통해 수집된 데이터를 실시간으로 또는 나중에 클라우드(650)에 업로드할 수도 있다.
특정 실시예에서, 데이터 수집 장치(660)는 상당한 계산 자원을 필요로 할 수 있는 하나 이상의 기계 학습 모델(예컨대, 예측 모델, 주행 모델, 이벤트 분류기, 교통 주체 모델러 등)을 포함할 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 데이터를 수집 및 처리(교통 주체 모델러를 실행)하기 위해 다른 컴퓨팅 시스템(예컨대, 휴대 전화, 태블릿, 휴대용 컴퓨터, 고성능 컴퓨터)과 협업할 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 그 휴대 전화나 휴대용 컴퓨터의 API를 사용하여 휴대 전화나 휴대용 컴퓨터 상에서 구현될 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 하나 이상의 GPU나 기계 학습 모델(예컨대, 신경망)을 실행하도록 특별히 구성된 다른 프로세서를 포함하는 임베디드 시스템 플랫폼 상에서 구현될 수 있다.
특정 실시예에서, 차량 시스템(600)은 차량 정보(예컨대, 속도, 조향각, 브레이크 압력 등), 차량 경로 정보(예컨대, 궤적, 위치 등), 인간 운전자(예컨대, 눈의 움직임, 머리의 움직임 등) 및 차량의 환경(예컨대, 경계 상자로 식별된 객체, 다른 차량, 보행자 등)을 모니터링하기 위한 하나 이상의 센서를 포함할 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 하나 이상의 통합 센서, 예컨대 관성 측정 유닛(632), 카메라(634), 센서(636) 등을 포함할 수 있다. 데이터 수집 장치(660)는 차량과 연관되지만 데이터 수집 장치(660)의 외부인 하나 이상의 센서(예컨대, GPS(642), 카메라(644), 센서(646) 등)과 통신할 수 있다. 차량 시스템(600)은 라이다나 레이더 시스템과 같은 다른 감지 시스템을 더 포함할 수 있다. 센서 또는 감지 시스템은 내부 상태(예컨대, 차량 자체와 운전자와 다른 승객이 않도록 설계 및 의도된 차량의 승객 칸)와 차량의 외부 환경 모두를 모니터링할 수 있다. 예를 들어, 데이터 수집 장치(660)는 승객 칸과 그 안의 임의의 승객을 캡처하는 후면을 향하는 광각 카메라를 포함할 수 있다. 다른 예시로, 데이터 수집 장치(660)는 승객 칸의 대화 및/또는 소리를 캡처하는 마이크를 포함할 수 있다. 데이터 수집 장치는 승객의 움직임 및/또는 온도를 감지할 수 있는 적외선 센서도 포함할 수 있다. 센서의 다른 예시는, 예로서 제한 없이 가시 데이터를 캡처하기 위한 카메라, 청각 데이터를 캡처하기 위한 마이크, 승객이 발산하는 열을 감지하기 위한 적외선 센서, 차량 움직임을 감지하기 위한 자이로스코프와 가속도계, 차량 속도를 감지하기 위한 속도 센서, 조향 동작을 측정하기 위한 조향 센서, 브레이크 페달과 가속 페달에 가해지는 압력을 측정하기 위한 압력 센서, 차량 위치를 추적하기 위한 GPS 및 차량, 인간 운전자 및 환경을 모니터링하기 적합한 임의의 다른 센서나 감지 시스템(예컨대, 레이더와 라이다 시스템)을 포함할 수 있다.
특정 실시예에서, 이러한 센서는 인간이 운전하는 차량이나 자율 주행 차량일 수 있는 차량 시스템(600)과 통합될 수 있다. 센서는 임의의 적절한 위치, 예컨대 승객 칸의 상부 모서리, 대시보드, 좌석, 옆 문, 천장, 백미러, 센터 콘솔, 바닥, 지붕, 덮개나 센서가 설계된 타입의 신호를 감지하기에 효과적인 임의의 다른 위치에 위치할 수 있다. 특정 실시예에서, 이러한 센서는 차량(예컨대, 대시보드)에 부착된 탈착 가능한 컴퓨팅 장치(예컨대, 휴대 전화, 태블릿, GPS, 차량용 카메라)와 통합될 수 있다.
특정 실시예에서, 통신 모듈(624)은 데이터 수집 장치(660)의 예컨대, 클라우드(650), 탈착 가능한 컴퓨팅 장치(예컨대, 휴대 전화, 태블릿), 차량, 운송 관리 시스템 및 서드파티 시스템(예컨대, 음악, 오락, 교통 및/또는 지도 제공자)을 포함하여 다른 시스템과의 통신을 관리할 수 있다. 특정 실시예에서, 통신 모듈(624)은 WI-FI, 블루투스, NFC, RF, LTE, 3G/4G/5G 브로드밴드 셀룰러 네트워크나 다른 유선 또는 무선 통신 네트워크나 프로토콜을 통해 통신하도록 구성될 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 차량의 센서로부터 수집된 데이터를 통신 모듈(624)을 통해 차량과 통신할 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 클라우드(650)에 데이터를 업로드하고 클라우드(650)에서 훈련되는 하나 이상의 기계 학습 모델에 관한 파라미터를 동기화하기 위해 통신 모듈(624)을 통해 클라우드(650)와 통신할 수 있다.
특정 실시예에서, 데이터 수집 장치(624)는 차량과 통신하고 전력을 얻기 위해 차량과 물리적으로 연결되도록(예컨대, 도 6c의 커넥터(616)를 통해) 구성될 수 있다. 예를 들어, 커넥터(616)는 CAN(controller area network) 버스 인터페이스 또는 차량과 통신하기 위한 임의의 다른 적절한 통신 인터페이스 또는 프로토콜을 구현할 수 있다. CAN 버스 인터페이스는 차량의 OBD(on-board diagnostics) 포트(예컨대, OBD-I 포트, OBD-II 포트 등)과 통신할 수 있다. 특정 실시예에서, 커넥터는 하나 이상의 USB(universal serial bus) 포트, 라이트닝 커넥터 포트 또는 사용자가 그 장치를 데이터 수집 장치(660)에 직접 연결할 수 있게 하는 다른 포트를 포함할 수 있다(예컨대, 데이터 교환, 신원 정보 인증, 전력 공급 등을 위해). 특정 실시예에서, 데이터 수집 장치(660)는 차량의 차내 컴퓨터에 지시를 발행하고(예컨대, 도 6c의 커넥터(616)를 통해) 특정 차량 구성을 조정하도록 야기할 수 있다. 특정 실시예에서, 데이터 수집 장치(660)는 차량에 특정 데이터, 예컨대 상술한 특징 중 임의의 것의 현재 구성뿐만 아니라 차량의 속도, 연료 레벨, 타이어 압력, 외부 온도 게이지, 내비게이션 시스템 및 차량의 컴퓨팅 시스템을 통해 사용 가능한 임의의 다른 정보를 질의하도록(예컨대, 도 6c의 커넥터(616)를 통해) 구성될 수 있다.
특정 실시예에서, 데이터 수집 장치(660)는 센서, 사용자 및/또는 차량으로부터 입력을 수신하고 지시를 출력하는 입력/출력 인터페이스(I/O)(626)를 포함할 수 있다. I/O 인터페이스는 통신 및 신호 변환을 위한 회로 및 컴포넌트를 포함할 수 있다(예컨대, 아날로그 투 디지털 변환기, 디지털 투 아날로그 변환기). I/O 인터페이스(626)는 이들 센서로 지시를 송신하고 데이터를 수신하기 위해 통합 센서(예컨대, IMU(632), 카메라(634), 센서(636)) 및 차량 센서(예컨대, GPS(642), 카메라(644), 센서(646))와 연결될 수 있다. 예를 들어, I/O 인터페이스(626)는 승객으로부터 움직임 또는 제스처 기반 입력을 인식하도록 구성된 이미지 캡처 장치, 발화되는 말이나 대화를 감지 및 기록하도록 구성된 마이크, 승객 칸의 온도를 감지하는 열 센서 및 임의의 다른 적절한 센서와 연결될 수 있다. 다른 예시로, I/O 인터페이스(626)는 사용자에게 오디오 출력(예컨대, 경고, 지시 또는 다른 정보)을 제공하고 오디오 입력, 예컨대 음성 인식 시스템이나 임의의 다른 명령 인터페이스에 의해 해석될 수 있는 오디오 명령을 수신하도록 구성된 오디오 장치를 포함할 수 있다.
특정 실시예에서, 데이터 수집 장치(660)는 도 1b-c에 도시된 바와 같은 하나 이상의 디스플레이를 포함할 수 있다. 데이터 수집 장치(660)는 전면 디스플레이(604), 후면 디스플레이(610) 및 조명 컨트롤러(622)를 포함할 수 있다. 전면 디스플레이(604)는 차량 외부를 향하도록 설계되어 예컨대 탑승 요청자에게 보일 수 있고, 후면 디스플레이(610)는 차량 내부를 향하도록 설계되어 예컨대 승객에게 보일 수 있다. 프로세서(618)는 후면 디스플레이(610) 및 전면 디스플레이(604) 상에 디스플레이되는 정보를 제어할 수 있다. 본 명세서에서 서술하는 바와 같이, 각 디스플레이는 사용자와 데이터 수집 장치(660)의 위치에 따라 다른 의도된 사용자에게 정보를 디스플레이하도록 설계될 수 있다. 데이터 수집 장치(660)는 데이터 수집 장치(660)의 디스플레이 데이터에 기반하여 전면 및 후면 디스플레이(604 및 610)를 제어할 수 있다. 디스플레이 데이터는 저장된 디스플레이 패턴, 시퀀스, 색, 텍스트, 애니메이션 또는 전면 및/또는 후면 디스플레이 상에 디스플레이되는 다른 데이터를 포함할 수 있다. 디스플레이 데이터는 컨텐츠를 생성하고 어떻게 디스플레이되는지 제어하기 위한 알고리즘도 포함할 수 있다. 생성된 컨텐츠는, 예컨대 운송 관리 시스템, 임의의 서드파티 시스템, 차량 및 제공자 및/또는 요청자의 컴퓨팅 장치로부터 수신한 정보에 기반하여 개인화될 수 있다. 특정 실시예에서, 디스플레이 데이터는 휘발성 메모리(628)(예컨대, RAM(random access memory) 및/또는 비휘발성 저장소(620)(예컨대, 하드 디스크 드라이브, 고체 상태 드라이브, 플래시 드라이브, 컴팩트 디스크 등)에 저장될 수 있다.
도 6b는 데이터 수집 장치(660)의 예시의 전면도(602)를 도시한다. 데이터 수집 장치(660)의 전면도(602)는 전면 디스플레이(604)를 포함할 수 있다. 특정 실시예에서, 전면 디스플레이(604)는 부 영역 또는 개별 디스플레이(606)를 포함할 수 있다. 도 6b에 도시된 바와 같이, 전면 디스플레이(604)는 하나 이상의 LCD(liquid crystal display), 하나 이상의 LED(light emitting diode)의 배열, AMOLED 또는 다른 디스플레이 기술을 포함하나 이에 제한되지 않는 다양한 디스플레이 기술을 포함할 수 있다. 특정 실시예에서, 전면 디스플레이(604)는 디스플레이를 다수의 영역으로 나누는 커버를 포함할 수 있다. 특정 실시예에서, 개별 디스플레이는 각 영역과 연관될 수 있다. 특정 실시예에서, 전면 디스플레이(604)는 제공자 차량 외부의 요청자 및 다른 사용자에게 색, 텍스트, 애니메이션, 패턴, 색 패턴 또는 임의의 다른 적절한 식별 정보를 보여주도록 구성될 수 있다(예컨대, 인기 탑승 위치에서, 요청자는 보여지는 식별 정보에 기반하여 그 각 탑승을 빨리 식별하고 나머지를 무시할 수 있다). 특정 실시예에서, 부 영역 또는 개별 디스플레이(606)는 전면 디스플레이(604)와 동일하거나 대조되는 정보를 디스플레이하도록 구성될 수 있다.
도 6c는 데이터 수집 장치(660)의 예시의 후면도(608)를 도시한다. 후면도(608)는 후면 디스플레이(610), 버튼(612), 하나 이상의 광원(614), 연결(616) 및 하나 이상의 센서(619)를 포함할 수 있다. 전면 디스플레이(604)와 같이, 후면 디스플레이(610)는 하나 이상의 LCD(liquid crystal display), 하나 이상의 LED(light emitting diode)의 배열, AMOLED 또는 다른 디스플레이 기술을 포함하나 이에 제한되지 않는 다양한 디스플레이 기술을 포함할 수 있다. 후면 디스플레이(610)는 차량의 승객 칸의 제공자, 요청자 또는 다른 승객에게 정보를 디스플레이하도록 구성될 수 있다. 특정 실시예에서, 후면 디스플레이(610)는 제공자 차량 외부 및 뒤의 사람에게 정보를 제공하도록 구성될 수 있다. 정보는 예컨대 텍스트, 색, 패턴, 애니메이션 및 임의의 다른 시각 디스플레이를 스크롤함으로써 전달될 수 있다. 도 6c에 더 도시되는 바와 같이, 데이터 수집 장치(660)는 전원 버튼(612) 또는 장치(660)를 켜거나 끄는데 사용될 수 있는 임의의 다른 적절한 사용자 인터페이스를 포함할 수 있다. 특정 실시예에서, 전원 버튼(612)은 데이터 수집 장치(660)에 전원이 제공되는지 여부를 물리적으로 제어하는 하드웨어 버튼 또는 스위치일 수 있다. 대안적으로, 전원 버튼(612)은 소프트웨어 및/또는 펌웨어 지시에 의해 관리되는 시작/정지 절차를 개시하는 소프트 버튼일 수 있다. 추가적으로, 데이터 수집 장치(660)는 장치(660) 근처의 영역을 조명하고 및/또는 상태 신호를 제공하도록 구성된 하나 이상의 광 특징(614)(예컨대 하나 이상의 LED나 다른 광원)을 포함할 수 있다.
특정 실시예에서, 데이터 수집 장치(660)는 전면 디스플레이(604) 및/또는 후면 디스플레이(610)에 의해 디스플레이되는 색 및/또는 다른 조명을 제어하는 조명 컨트롤러를 포함한다. 조명 컨트롤러는 의도된 정보가 전달되도록 디스플레이를 제어하기 위한 규칙과 알고리즘을 포함할 수 있다. 예를 들어, 매칭된 제공자와 요청자의 세트가 탑승 위치에서 서로를 찾는 것을 돕기 위하여, 조명 컨트롤러는 청색이 식별을 위해 사용된다는 지시를 획득할 수 있다. 이에 응답하여, 전면 디스플레이(604)는 청색을 디스플레이할 수 있고 조명 컨트롤러는 광 특징(614)이 청색을 디스플레이하도록 야기하여 탑승 제공자가 어떤 색을 찾는지 알 수 있다.
도 7은 탑승 요청자를 자율 주행 차량에 매칭하기 위한 운송 관리 환경의 블록도의 예시를 도시한다. 특정 실시예에서, 환경은 다양한 컴퓨터 엔티티, 예컨대, 사용자(701)(예컨대, 탑승 제공자나 요청자)의 사용자 컴퓨팅 장치(730), 운송 관리 시스템(760), 자율 주행 차량(740), 하나 이상의 서드파티 시스템(970)을 포함할 수 있다. 컴퓨팅 엔티티는 임의의 적절한 네트워크(710)를 거쳐 통신 가능하게 연결될 수 있다. 제한이 아닌 예시로서, 네트워크(710)의 하나 이상의 부분은 애드혹 네트워크, 엑스트라넷, VPN(virtual private network), LAN(local area network), WLAN(wireless LAN), WAN(wide area network), WWAN(wireless WAN), MAN(metropolitan area network), 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, 셀룰러 네트워크 또는 상기 중 임의의 조합을 포함할 수 있다. 특정 실시예에서, 컴퓨팅 엔티티가 서로 통신할 수 있게 하는 임의의 적절한 네트워크 배열 및 프로토콜이 사용될 수 있다. 도 7이 사용자 장치(710) 하나, 운송 관리 시스템(760) 하나, 차량(740) 하나, 복수의 서드파티 시스템(770), 네트워크(710) 하나를 도시하지만, 본 명세서는 임의의 적절한 수의 각각의 이들 엔티티를 고려한다. 제한이 아닌 예시로서, 네트워크 환경은 다수의 사용자(701), 사용자 장치(730), 운송 관리 시스템(760), 자율 주행 차량(740), 서드파티 시스템(770), 네트워크(710)를 포함할 수 있다.
사용자 장치(730), 운송 관리 시스템(760), 자율 주행 차량(740), 서드파티 시스템(770)은 전체 또는 부분적으로 통신 가능하게 서로 연결되거나 함께 위치할 수 있다. 이들 컴퓨팅 엔티티는 상이한 전송 기술과 네트워크 타입을 통해 통신할 수 있다. 예를 들어, 사용자 장치(730)와 차량(740)은 서로 케이블 또는 단거리 무선 통신(예컨대, 블루투스, NFC, WI-FI 등)을 통해 통신할 수 있고 장치 중 하나에 접근할 수 있는 셀룰러 네트워크를 통해 함께 인터넷에 연결될 수 있다(예컨대, 사용자 장치(730)는 LTE 연결을 가지는 스마트폰일 수 있다). 한편, 운송 관리 시스템(760)와 서드파티 시스템(770)은 각 LAN/WLAN 네트워크 및 ISP(Internet Service Provider)를 통해 인터넷에 연결될 수 있다. 도 7은 사용자 장치(730), 자율 주행 차량(740), 운송 관리 시스템(760) 및 서드파티 시스템(770)을 통신 네트워크(710)에 연결하는 전송 링크(750)를 도시한다. 본 명세서는 예컨대 유선 연결(예컨대, USB, 라이트닝, DSL(Digital Subscriber Line) 또는 DOCSIS(Data Over Cable Service Interface Specification)), 무선 연결(예컨대, WI-FI, WiMAX, 셀룰러, 위성, NFC, 블루투스), 광 연결(예컨대, SONET(Synchronous Optical Networking), SDH(Synchronous Digital Hierarchy(SDH)), 임의의 다른 무선 통신 기술 및 그 임의의 조합을 포함하여 임의의 적절한 전송 링크(750)를 고려한다. 특정 실시예에서, 하나 이상의 링크(750)는 하나 이상의 네트워크(710)에 연결될 수 있는데, 부분적으로 예컨대 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, PSTN, 셀룰러 네트워크, 위성 네트워크 또는 그 임의의 조합을 포함할 수 있다. 컴퓨팅 엔티티는 반드시 동일한 타입의 전송 링크(750)를 사용할 필요는 없다. 예를 들어, 사용자 장치(730)는 셀룰러 네트워크 및 인터넷을 통해 운송 관리 시스템과 통신하지만, 블루투스 또는 물리적인 유선 연결을 통해 자율 주행 차량(740)과 통신할 수 있다.
특정 실시예에서, 운송 관리 시스템(760)은 적절한 차량을 배치함으로써 하나 이상의 사용자(701)를 위한 탑승 요청을 이행할 수 있다. 운송 관리 시스템(760)은 임의의 수의 탑승 요청자(701)로부터 임의의 수의 탑승 요청을 수신할 수 있다. 특정 실시예에서, 탑승 요청자(701)로부터의 탑승 요청은 시스템(760)의 탑승 요청자를 식별하는 식별자를 포함할 수 있다. 운송 관리 시스템(760)은 요청자(710)의 사생활 설정에 따라 식별자를 사용하여 탑승 요청자(701)의 정보에 접근 및 저장할 수 있다. 탑승 요청자(701)의 정보는 운송 관리 시스템(760)와 연관되고 접근할 수 있는 하나 이상의 데이터 저장소(예컨대, 관계형 데이터베이스 시스템)에 저장될 수 있다. 특정 실시예에서, 탑승 요청자 정보는 특정한 탑승 요청자(701)에 대한 프로필 정보를 포함할 수 있다. 특정 실시예에서, 탑승 요청자(701)는 하나 이상의 카테고리나 타입과 연관될 수 있는데 탑승 요청자(701)는 이들 카테고리나 타입의 특정 탑승 요청자에 대한 종합 정보와 연관될 수 있다. 탑승 정보는 예컨대, 선호하는 승차 및 하차 위치, 운전 선호(예컨대, 안전 편의 레벨, 선호하는 속도, 가속/감속 속도, 다양한 속도로 이동할 때 다른 차량과의 안전 거리, 경로 등), 오락 선호 및 설정(예컨대, 선호하는 음악 장르나 재생목록, 오디오 볼륨, 디스플레이 밝기 등), 온도 설정, 운전자와의 대화가 좋은지 여부, 자주 가는 목적지, 탑승 패턴 내역(예컨대, 이동하는 하루 중 시간, 시작 및 종료 위치 등), 선호하는 언어, 연령, 성별 또는 임의의 다른 적절한 정보를 포함할 수 있다. 특정 실시예에서, 운송 관리 시스템(760)은 사용자(701)에 대해 알려진 정보에 기반하여(예컨대, 기계 학습 분류기를 사용하여) 사용자(701)를 분류하고, 분류를 사용하여 그 부류와 연관된 관련 종합 정보를 검색할 수 있다. 예를 들어, 시스템(760)은 사용자(701)를 청년으로 분류하고 청년과 연관된 관련 종합 정보, 예컨대 청년이 일반적으로 선호하는 음악 타입을 검색할 수 있다.
운송 관리 시스템(760)은 탑승 정보도 저장 및 접근할 수 있다. 탑승 정보는 탑승, 교통 데이터, 경로 옵션, 탑승을 위한 최적의 승차 또는 하차 위치 또는 탑승과 연관된 임의의 다른 적절한 정보를 포함할 수 있다. 제한이 아닌 예시로, 운송 관리 시스템(760)이 SFO(San Francisco International Airport)에서 팔로 알토로 이동하는 요청을 수신하면, 시스템(760)은 이 특정한 탑승 요청에 대한 임의의 관련 탑승 정보를 접근 또는 생성할 수 있다. 탑승 정보는 예컨대, SFO에서 선호하는 승차 위치, 승차 위치가 탑승 요청자에 맞지 않을 때(예컨대, 탑승 요청자가 장애인일 수 있고 승차 위치에 접근하지 못함) 또는 승차 위치가 공사, 교통 혼잡, 승차/하차 규칙의 변경으로 인해 다르게 이용 불가인 경우 대안적인 승차 위치, SFO에서 팔로 알토로 이동하는 하나 이상의 경로, 사용자 타입에 대해 선호하는 진입로 또는 탑승과 연관된 임의의 다른 적절한 정보를 포함할 수 있다. 특정 실시예에서, 탑승 정보의 일부는 시스템(760)에 의해 가능한 탑승 내역과 연관된 과거 데이터에 기반할 수 있다. 예를 들어, 과거 데이터는 과거의 탑승 정보에 기반하여 생성된 종합 정보를 포함할 수 있는데, 본 명세서에 서술된 임의의 탑승 정보 및 자율 주행 차량 및/또는 사용자 장치의 센서에 의해 수집된 원격 데이터를 포함할 수 있다. 과거 데이터는 특정 사용자(예컨대, 그 특정 사용자의 선호, 공통 경로 등), 사용자의 카테고리/부류(예컨대, 인구통계에 기반) 및/또는 시스템(760)의 모든 사용자와 연관될 수 있다. 예를 들어, 단일 사용자에 특정된 과거 데이터는 사용자가 승차 및 하차한 위치, 사용자가 듣고 싶은 음악, 탑승과 연관된 교통 정보, 사용자가 가장 자주 탑승하는 하루 중 시간 및 사용자에 특정된 임의의 다른 적절한 정보를 포함하여 특정한 사용자가 탔던 과거 탑승에 대한 정보를 포함할 수 있다. 다른 예시로, 사용자의 카테고리/부류와 연관된 과거 데이터는 예컨대 그 카테고리/부류의 사용자의 공통 또는 인기 있는 탑승 선호, 예컨대 10대는 팝 음악을 선호함, 금융 지역으로 자주 통근하는 탑승 요청자는 뉴스를 듣기 선호함 등을 포함할 수 있다. 또 다른 예시로, 모든 사용자와 연관된 과거 데이터는 일반적인 사용 경향, 예컨대 교통 및 탑승 패턴을 포함할 수 있다. 과거 데이터를 사용하여, 특정 실시예의 시스템(760)은 탑승 요청에 응답하여 탑승 제안을 예측 및 제공할 수 있다. 특정 실시예에서, 시스템(760)은 기계 학습 예컨대 신경망, 회귀 알고리즘, 인스턴스 기반 알고리즘(예컨대, k개 최근접), 결정 트리 알고리즘, 베이지안 알고리즘, 클러스터링 알고리즘, 연관 규칙 학습 알고리즘, 딥러닝 알고리즘, 차원 축소 알고리즘, 앙상블 알고리즘, 및 통상의 기술자에게 공지된 임의의 다른 적절한 기계 학습 알고리즘을 사용할 수 있다. 기계 학습 모델은 라벨링된 훈련 데이터에 기반한 감독 학습, 라벨링되지 않은 훈련 데이터에 기반한 비감독 학습 및/또는 라벨링 및 라벨링되지 않은 훈련 데이터의 혼합에 기반한 반감독 학습을 포함하여 임의의 적절한 훈련 알고리즘을 사용하여 훈련될 수 있다.
특정 실시예에서, 운송 관리 시스템(760)은 하나 이상의 서버 컴퓨터를 포함할 수 있다. 각 서버는 통합된 서버 또는 다수의 컴퓨터나 다수의 데이터 센터에 걸친 분산 서버일 수 있다. 서버는 다양한 타입, 예컨대 제한 없이 웹 서버, 뉴스 서버, 메일 서버, 메시지 서버, 광고 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터베이스 서버, 프록시 서버, 본 명세서에 서술되는 기능이나 프로세스를 수행하기 적합한 다른 서버 또는 그 임의의 조합일 수 있다. 특정 실시예에서, 각 서버는 하드웨어, 소프트웨어 또는 임베디드 논리 컴포넌트 또는 서버에 의해 구현 또는 지원되는 적절한 기능을 수행하기 위한 이러한 둘 이상의 컴포넌트의 조합을 포함할 수 있다. 특정 실시예에서, 운송 관리 시스템(760)은 하나 이상의 데이터 저장소를 포함할 수 있다. 데이터 저장소는 다양한 타입의 정보, 예컨대 탑승 정보, 탑승 요청자 정보, 탑승 제공자 정보, 과거 정보, 서드파티 정보 또는 임의의 다른 적절한 타입의 정보를 저장하는데 사용될 수 있다. 특정 실시예에서, 데이터 저장소에 저장되는 정보는 특정 데이터 구조에 따라 조직화될 수 있다. 특정 실시예에서, 각 데이터 스토어는 관계형, 컬럼형, 상관형 또는 임의의 다른 적절한 타입의 데이터베이스 시스템일 수 있다. 본 명세서가 특정한 타입의 데이터베이스를 서술 또는 설명하지만, 본 명세서는 임의의 적절한 타입의 데이터베이스를 고려한다. 특정 실시예는 사용자 장치(730)(탑승 요청자나 제공자에 속할 수 있음), 운송 관리 시스템(760), 차량 시스템(740) 또는 서드파티 시스템(770)이 데이터 저장소에 저장된 정보를 처리, 변형, 관리, 검색, 수정, 추가 또는 삭제할 수 있도록 하는 인터페이스를 제공할 수 있다.
특정 실시예에서, 운송 관리 시스템(760)은 사용자(701)로 하여금 그 정보 및 행위가 운송 관리 시스템(760)에 의해 로그, 기록 또는 감지되거나 다른 시스템(예컨대, 서드파티 시스템(770))과 공유되도록 참여하거나 탈퇴할 수 있게 하는 인증 서버(또는 임의의 다른 적절한 컴포넌트(들))를 포함할 수 있다. 특정 실시예에서, 사용자(701)는 적절한 사생활 설정을 설정함으로써 참여 또는 탈퇴할 수 있다. 사용자의 사생활 설정은 사용자와 연관된 어떤 정보가 로그될 수 있는지, 사용자와 연관된 정보가 어떻게 로그될 수 있는지, 사용자와 연관된 정보가 언제 로그될 수 있는지, 사용자와 연관된 정보를 누가 로그할 수 있는지, 사용자와 연관된 정보가 누구와 공유될 수 있는지, 사용자와 연관된 정보가 어떤 목적으로 로그나 공유될 수 있는지를 결정할 수 있다. 인증 서버는 운송 관리 시스템(760)의 차단, 데이터 해쉬, 익명화 또는 다른 적절한 기술을 통해 사용자(701)의 하나 이상의 사생활 설정을 강제하는데 사용될 수 있다.
특정 실시예에서, 서드파티 시스템(770)은 HD 지도를 제공하거나 GPS 지도, 고객 리뷰, 음악이나 컨텐츠, 날씨 정보 또는 임의의 다른 적절한 타입의 정보를 호스팅할 수 있는 네트워크 어드레서블 컴퓨팅 시스템일 수 있다. 서드파티 시스템(770)은 관련 데이터, 예컨대 지도 데이터, 고객 리뷰 웹사이트로부터의 고객 리뷰 데이터, 날씨 데이터 또는 임의의 다른 적절한 타입의 데이터를 생성, 저장, 수신 및 송신할 수 있다. 서드파티 시스템(770)은 네트워크 환경의 다른 컴퓨팅 엔티티에 의해 직접 또는 네트워크(710)를 통해 접근될 수 있다. 예를 들어, 사용자 장치(730)는 네트워크(710)를 통해, 또는 운송 관리 시스템(760)을 통해 서드파티 시스템(770)에 접근할 수 있다. 후자의 경우에, 서드파티 시스템(770)에 접근하는데 크레덴셜이 필요하다면, 사용자(701)는 이러한 정보를 운송 관리 시스템(760)에 제공할 수 있는데, 서드파티 시스템(770)으로부터의 컨텐츠에 접근하기 위한 프록시의 역할을 할 수 있다.
특정 실시예에서, 사용자 장치(730)는 스마트폰, 태블릿 컴퓨터 또는 랩탑 컴퓨터와 같은 모바일 컴퓨팅 장치일 수 있다. 사용자 장치(730)는 하나 이상의 프로세서(예컨대, CPU 및/또는 GPU), 메모리 및 저장소를 포함할 수 있다. 운영 체제와 애플리케이션은 사용자 장치(730)에 설치될 수 있는데, 예컨대 운송 관리 시스템(760)과 연관된 운송 애플리케이션, 서드파티 시스템(770)과 연관된 애플리케이션, 운영 체제와 연관된 애플리케이션이다. 사용자 장치(730)는 통합된 센서, 예컨대 GPS, 나침반, 자이로스코프 또는 가속도계에 기반하여 그 위치, 방향 또는 배향을 결정하기 위한 기능을 포함할 수 있다. 사용자 장치(730)는 무선 통신을 위한 무선 송수신기도 포함할 수 있고 무선 통신 프로토콜, 예컨대 블루투스, NFC(near-field communication), IR(infrared) 통신, WI-FI 및/또는 2G/3G/4G/LTE 모바일 통신 표준을 지원할 수 있다. 사용자 장치(730)는 하나 이상의 카메라, 스캐너, 터치스크린, 마이크, 스피커 및 임의의 다른 적절한 입출력 장치도 포함할 수 있다.
특정 실시예에서, 차량(740)은 자율 주행 차량이고 센서(744)의 어레이, 내비게이션 시스템(746), 탑승 서비스 컴퓨팅 장치(748)가 구비될 수 있다. 특정 실시예에서, 자율 주행 차량(740)의 무리는 운송 관리 시스템(760)에 의해 관리될 수 있다. 자율 주행 차량(740)의 무리는 전체 또는 부분적으로 운송 관리 시스템(760)과 연관된 엔티티에 의해 소유될 수 있거나, 운송 관리 시스템(760)과 관련된 서드파티 엔티티에 의해 소유될 수 있다. 어떤 경우에나, 운송 관리 시스템(760)은 예컨대 탑승 요청을 이행하기 위해 선택된 차량(740)을 배치하기, 차량(740)이 선택된 동작(예컨대, 서비스 센터나 충전/주유소에 향하기, 노변에 차 대기, 즉시 정지하기, 자가진단, 객실 잠금/해제, 음악 방송국 변경, 온도 변경 및 임의의 다른 적절한 동작)을 수행하도록 지시하기, 차량(740)이 선택된 운용 모드(예컨대, 일반 운용, 감소된 속도로 운전, 인간 조작자의 지시 하에 운전 및 임의의 다른 적절한 운용 모드)에 들어가도록 지시하기를 포함하여 자율 주행 차량(740)의 운용을 제어할 수 있다.
특정 실시예에서, 자율 주행 차량(740)은 운송 관리 시스템(760) 및 서드파티 시스템(770)과 데이터를 수신하고 데이터를 송신할 수 있다. 수신된 데이터의 예시는 예컨대, 지시, 새 소프트웨어와 소프트웨어 업데이트, 지도, 3D 모델, 훈련되거나 훈련되지 않은 기계 학습 모델, 위치 정보(예컨대, 탑승 요청자, 자율 주행 차량(740) 자신, 다른 자율 주행 차량(740) 및 서비스 센터와 같은 목적지의 위치), 내비게이션 정보, 교통 정보, 날씨 정보, 오락 컨텐츠(예컨대, 음악, 비디오, 뉴스), 탑승 요청자 정보, 탑승 정보 및 임의의 다른 적절한 정보를 포함할 수 있다. 자율 주행 차량(740)으로부터 전송된 데이터의 예시는 예컨대, 원격 및 센서 데이터, 이러한 데이터에 기반한 판단/결정, 차량 조건이나 상태(예컨대, 전지/연료 레벨, 타이어와 브레이크 상태, 센서 상태, 속도, 주행 기록계 등), 위치, 내비게이션 데이터, 승객 입력(예컨대, 차량(740)의 사용자 인터페이스를 통해, 승객은 운송 관리 시스템(760) 및/또는 서드파티 시스템(770)로 데이터를 송수신할 수 있음) 및 임의의 다른 적절한 데이터를 포함할 수 있다.
특정 실시예에서, 자율 주행 차량(740)은 운송 관리 시스템(760)에 의해 관리되는 것과 관리되지 않는 것을 포함하여, 다른 종래의 인간이 운전하는 차량뿐만 아니라 서로와도 통신할 수 있다. 예를 들어, 한 차량(740)은 그 각자의 위치, 조건, 상태, 센서 판독 및 임의의 다른 적절한 정보에 관하여 다른 차량 데이터와 통신할 수 있다. 특정 실시예에서, 차량 대 차량 통신은 직접 단거리 무선 연결(예컨대, WI-FI, 블루투스, NFC) 및/또는 네트워크(예컨대, 인터넷 또는 운송 관리 시스템(760)이나 서드파티 시스템(770)을 통해) 상에서 일어날 수 있다.
특정 실시예에서, 자율 주행 차량(740)은 센서/원격 데이터를 획득 및 처리할 수 있다. 이러한 데이터는 임의의 적절한 센서에 의해 캡처될 수 있다. 예를 들어, 차량(740)은 펄스 레이저 광을 발산하고 차량(740) 주위의 객체로부터 반사된 광을 측정하는, 360° 회전하도록 구성된 다수의 라이다(Light Detection and Ranging, LiDAR) 송수신기의 라이다 센서 어레이를 가질 수 있다. 특정 실시예에서, 라이다 전송 신호는 게이트 광 밸브의 사용에 의해 조종될 수 있는데, 광 회절 원리를 사용하여 광 빔을 유도하는 MEM 장치일 수 있다. 이러한 장치는 자율 주행 차량 주위의 360°에서 광 빔을 조종하기 위해 짐벌 거울을 사용하지 않을 수 있다. 오히려, 게이트 광 밸브는 광 빔을 여러 광섬유 중 하나로 유도할 수 있는데, 광 빔이 자율 주행 차량 주위의 많은 별개 위치로 유도될 수 있도록 배열될 수 있다. 따라서, 데이터는 자율 주행 차량 주위의 360°에서 캡처될 수 있지만, 회전 부품이 필수가 아닐 수 있다. 라이다는 목표까지의 거리를 측정하기 위한 효율적인 센서이고, 이와 같이 자율 주행 차량(740)의 외부 환경의 3차원(3D) 모델을 생성하기 위해 사용될 수 있다. 예로서 제한 없이, 3D 모델은 센서 배열의 최대 범위(예컨대, 50, 100 또는 200 미터)까지의 다른 차, 연석, 잔해, 객체 및 보행자와 같은 객체를 포함하여 외부 환경을 표현할 수 있다. 다른 예시로, 자율 주행 차량(740)은 다른 방향을 향하는 광 카메라들을 가질 수 있다. 카메라는 예컨대, 도로, 차로 표시, 표지판, 교통 신호, 경찰, 다른 차량 및 임의의 다른 가시적 관심 객체를 인식하는데 사용될 수 있다. 차량(740)이 밤에 "볼" 수 있게 하기 위해, 적외선 카메라가 설치될 수 있다. 특정 실시예에서, 차량은 예컨대 도로 상의 보행자나 나뭇가지와 같은 방해물을 발견하기 위해 스테레오 비전이 구비될 수 있다. 또 다른 예로, 차량(740)은 예컨대 멀리의 다른 차량 및/또는 위험을 검출하기 위한 레이더를 가질 수 있다. 나아가, 차량(740)은 예컨대 주차 및 장애물 검출을 위한 초음파 장비를 가질 수 있다. 차량(740)이 주위의 외부 세계를 검출, 측정, 이해할 수 있게 하는 센서에 추가로, 차량(740)은 차량 자체의 상태와 조건을 검출 및 자가 진단하기 위한 센서가 더 구비될 수 있다. 예를 들어, 차량(740)은 예컨대 속도 측정을 위한 바퀴 센서, 예컨대 차량의 현재 지리적 위치를 결정하기 위한 GPS(global positioning system) 및/또는 관성 측정 유닛, 가속도계, 자이로스코프 및/또는 이동 또는 움직임 검출을 위한 주행 기록계 시스템을 가질 수 있다. 이들 센서의 설명이 특정한 이용 예시를 제공하지만, 통상의 기술자는 센서의 이용이 이들 예시로 제한되지 않음을 이해할 것이다. 나아가, 이용 예시가 특정 타입의 센서와 관련하여 서술되지만, 이용은 센서의 임의의 조합을 사용하여 달성될 수 있음을 이해할 것이다. 예를 들어, 자율 주행 차량(740)은 운송 관리 시스템(760)나 서드파티 시스템(770)로부터 획득한 미리 생성된 지도와 함께 그 라이다, 레이더, 소나, 카메라로부터의 데이터에 기반하여 그 주위의 3D 모델을 구축할 수 있다. 도 7에서 센서(744)가 자율 주행 차량(740)의 특정 위치에 보이지만, 센서(744)는 자율 주행 차량(740) 안 또는 그 위의 임의의 적절한 위치에 위치할 수 있다. 센서의 위치의 예시는 전방 및 후방 범퍼, 문, 전면 유리, 사이드 패널 상 또는 임의의 다른 적절한 위치를 포함한다.
특정 실시예에서, 자율 주행 차량(740)은 프로세싱 유닛(예컨대, 하나 이상의 CPU 및 GPU), 메모리, 저장소를 구비할 수 있다. 따라서 차량(740)은 센서 데이터 처리, 유용한 정보 추출, 이에 따른 동작을 포함하여 다양한 계산 및 처리 작업을 수행하도록 구비될 수 있다. 예를 들어, 카메라 및 기계 시각 모델에 의해 캡처된 이미지에 기반하여, 차량(740)은 이미지에 의해 캡처된 특정한 타입의 객체, 예컨대 보행자, 다른 차량, 차로, 연석 및 임의의 다른 관심 객체를 식별할 수 있다.
특정 실시예에서, 자율 주행 차량(740)은 자율 주행 차량(740)을 안전하게 안내할 책임을 지는 내비게이션 시스템(746)을 가질 수 있다. 특정 실시예에서, 내비게이션 시스템(746)은 예컨대 GPS(Global Positioning System) 모듈, IMU(inertial measurement unit), 라이다 센서, 광학 카메라, RF(radio frequency) 송수신기 또는 임의의 다른 적절한 원격 또는 센서 메커니즘으로부터의 임의의 타입의 센서 데이터를 입력으로 취할 수 있다. 내비게이션 시스템(746)은 예컨대 지도 데이터, 교통 데이터, 사고 보고, 날씨 보고, 지시, 목적지 및 탐색 경로 및 특정 운전 동작(예컨대, 감속, 가속, 정지, 방향 전환 등)을 결정하기 위한 임의의 다른 적절한 정보도 이용할 수 있다. 특정 실시예에서, 내비게이션 시스템(746)은 상술한 방식으로 운용하도록 차량(740)을 제어하고 다른 객체와 충돌하지 않고 자율 주행 차량(740)을 그 목적지로 안내하기 위하여 그 결정을 사용할 수 있다. 도 7에서 내비게이션 시스템(746)의 물리적 실시예(예컨대, 프로세싱 유닛)이 자율 주행 차량(740) 상의 특정 위치에 보이지만, 내비게이션 시스템(746)은 자율 주행 차량(740) 안 또는 그 위의 임의의 적절한 위치에 위치할 수 있다. 내비게이션 시스템(746)의 위치의 예시는 자율 주행 차량(740)의 객실이나 승객 구획 내, 엔진/전지 근처, 전방 좌석 근처, 후방 좌석 또는 임의의 다른 적절한 위치를 포함한다.
특정 실시예에서, 자율 주행 차량(740)은 탑승 서비스 컴퓨팅 장치(748)가 구비될 수 있는데, 태블릿 또는 운송 관리 시스템(760)에 의해 설치된 사용자로 하여금 자율 주행 차량(740), 운송 관리 시스템(760), 다른 사용자(701) 또는 서드파티 시스템(770)과 상호작용할 수 있게 하는 임의의 다른 적절한 장치일 수 있다. 특정 실시예에서, 탑승 서비스 컴퓨팅 장치(748)의 설치는 탑승 서비스 컴퓨팅 장치(748)를 자율 주행 차량(740) 내에 배치하고, 유선 또는 무선 연결을 통해(예컨대, 블루투스를 통해) 차량(740)과 통신하도록 구성함으로써 달성될 수 있다. 도 7이 자율 주행 차량(740)의 특정 위치에 탑승 서비스 컴퓨팅 장치(748) 하나를 도시하지만, 자율 주행 차량(740)은 차량 내의 여러 다른 위치에 여러 탑승 서비스 컴퓨팅 장치(748)를 포함할 수 있다. 제한이 아닌 예시로, 자율 주행 차량(740)은 다음 장소에 위치한 4개의 탑승 서비스 컴퓨팅 장치(748)를 포함할 수 있다: 전방 왼쪽 승객석(예컨대, 전통적인 미국 자동차의 운전석)의 앞에 하나, 전방 오른쪽 승객석의 앞에 하나, 후방 왼쪽과 후방 오른쪽 승객석 각각의 앞에 하나씩. 특정 실시예에서, 탑승 서비스 컴퓨팅 장치(748)는 자율 주행 차량(740)의 임의의 컴포넌트로부터 탈착될 수 있다. 이것은 사용자가 다른 태블릿 컴퓨팅 장치와 일치하는 방식으로 탑승 서비스 컴퓨팅 장치(748)를 다룰 수 있게 할 수 있다. 제한 없이 예시로, 사용자는 탑승 서비스 컴퓨팅 장치(748)를 자율 주행 차량(740)의 객실이나 승객 구획의 임의의 위치로 옮길 수 있거나, 탑승 서비스 컴퓨팅 장치(748)를 들 수 있거나, 탑승 서비스 컴퓨팅 장치(748)를 임의의 다른 적절한 방식으로 다룰 수 있다. 본 명세서는 특정 방식으로 특정 컴퓨팅 장치를 제공하는 것을 서술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 컴퓨팅 장치를 제공하는 것을 고려한다.
도 8은 컴퓨터 시스템(800)의 예시를 도시한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 서술 또는 설명된 하나 이상의 방법의 하나 이상의 단계를 수행한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 서술 또는 설명된 기능을 제공한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(800) 상에서 실행되는 소프트웨어는 본 명세서에 서술 또는 설명된 하나 이상의 방법의 하나 이상의 단계를 수행하거나 본 명세서에 서술 또는 설명된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템(800)의 하나 이상의 부분을 포함한다. 본 명세서에서, 컴퓨터 시스템의 지칭은 컴퓨팅 장치를 포함할 수 있고, 적절한 경우 그 반대이다. 나아가, 컴퓨터 시스템의 지칭은 적절한 경우 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 명세서는 임의의 적절한 수의 컴퓨터 시스템(800)를 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(800)을 고려한다. 제한 없이 예시로, 컴퓨터 시스템(800)은 임베디드 컴퓨터 시스템, SOC(system-on-chip), SBC(single-board computer system)(예컨대, COM(computer-on-module)이나 SOM(system-on-module)과 같은), 데스크탑 컴퓨터 시스템, 랩탑이나 노트북 컴퓨터 시스템, 상호작용 키오스크, 메인프레임, 컴퓨터 시스템의 메쉬, 휴대 전화, PDA(personal digital assistant), 서버, 태블릿 컴퓨터 시스템, 증강/가상 현실 장치 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 컴퓨터 시스템(800)을 포함할 수 있거나, 일원 또는 분산일 수 있거나, 다수의 위치에 걸칠 수 있거나, 다수의 장치에 걸칠 수 있거나, 다수의 데이터 센터에 걸칠 수 있거나, 클라우드에 있을 수 있는데, 하나 이상의 네트워크의 하나 이상의 클라우드 컴포넌트를 포함할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 서술 또는 설명된 하나 이상의 방법의 하나 이상의 단계를 실질적인 공간적 또는 시간적 제한 없이 수행할 수 있다. 제한 없이 예로서, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 서술 또는 설명된 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 배치 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템(800)은 적절한 경우 본 명세서에 서술 또는 설명된 하나 이상의 방법의 하나 이상의 단계를 상이한 때에 또는 상이한 위치에서 수행할 수 있다.
특정 실시예에서, 컴퓨터 시스템(800)은 프로세서(802), 메모리(804), 저장소(806), 입력/출력(I/O) 인터페이스(808), 통신 인터페이스(810) 및 버스(812)를 포함한다. 본 명세서가 특정한 배열로 특정한 수의 특정한 컴포넌트를 가지는 특정한 컴퓨터 시스템을 설명 및 서술하지만, 본 명세서는 임의의 적절한 배열로 임의의 적절한 수의 임의의 적절한 컴포넌트를 가지는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예에서, 프로세서(802)는 컴퓨터 프로그램을 구성하는 것과 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 제한 없이 예시로, 프로세서(802)는 내부 레지스터, 내부 캐쉬, 메모리(804) 또는 저장소(806)로부터 명령어를 검색(또는 페치)하고, 디코드 및 실행하고, 하나 이상의 결과를 내부 레지스터, 내부 캐쉬, 메모리(804) 또는 저장소(806)에 쓸 수 있다. 특정 실시예에서, 프로세서(802)는 데이터, 명령어 또는 어드레스를 위한 하나 이상의 내부 캐쉬를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐쉬를 포함하는 프로세서(802)를 고려한다. 제한 없이 예시로, 프로세서(802)는 하나 이상의 명령어 캐쉬, 하나 이상의 데이터 캐쉬, 하나 이상의 TLB(translation lookaside buffer)를 포함할 수 있다. 명령어 캐쉬의 명령어는 메모리(804)나 저장소(806)의 명령어의 복사본일 수 있고, 명령어 캐쉬는 프로세서(802)에 의한 이들 명령어의 검색을 빠르게 할 수 있다. 데이터 캐쉬의 데이터는 컴퓨터 명령어에 의해 동작하는 메모리(804)나 저장소(806)의 데이터의 복사본, 후속 명령어에 의해 접근 가능하거나 메모리(804) 또는 저장소(806)에 쓰기 위한 프로세서(802)에 의해 실행된 이전 명령어의 결과 또는 임의의 다른 적절한 데이터일 수 있다. 데이터 캐쉬는 프로세서(802)에 의한 읽기 또는 쓰기 동작을 빠르게 할 수 있다. TLB는 프로세서(802)에 의한 가상 어드레스 변환을 빠르게 할 수 있다. 특정 실시예에서, 프로세서(802)는 데이터, 명령어 또는 어드레스를 위한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터를 포함하는 프로세서(802)를 고려한다. 적절한 경우, 프로세서(802)는 하나 이상의 ALU(arithmetic logic unit)을 포함하거나, 멀티 코어 프로세서이거나, 하나 이상의 프로세서(802)를 포함할 수 있다. 본 명세서가 특정한 프로세서를 서술 및 설명하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예에서, 메모리(804)는 프로세서(802)가 실행하기 위한 명령어 또는 프로세서(802)가 동작시킬 데이터를 저장하기 위한 메인 메모리를 포함한다. 제한 없이 예시로, 컴퓨터 시스템(800)은 저장소(806) 또는 다른 소스(다른 컴퓨터 시스템(800)와 같은)로부터 메모리(804)로 명령어를 로드할 수 있다. 프로세서(802)는 메모리(804)로부터 내부 레지스터나 내부 캐쉬로 명령어를 로드할 수 있다. 명령어를 실행하기 위하여, 프로세서(802)는 내부 레지스터나 내부 캐쉬로부터 명령어를 검색하고 디코드할 수 있다. 명령어의 실행 도중 또는 후, 프로세서(802)는 하나 이상의 결과(중간 또는 최종 결과일 수 있음)를 내부 레지스터나 내부 캐쉬에 쓸 수 있다. 프로세서(802)는 하나 이상의 이들 결과를 메모리(804)에 쓸 수 있다. 특정 실시예에서, 프로세서(802)는 하나 이상의 내부 레지스터나 내부 캐쉬나 메모리(804)(저장소(806)나 다른 곳에 대비)의 명령어만 실행하고 하나 이상의 내부 레지스터나 내부 캐쉬나 메모리(804)(저장소(806)나 다른 곳에 대비)의 데이터만 동작시킨다. 하나 이상의 메모리 버스(각각 어드레스 버스와 데이터 버스를 포함할 수 있음)는 프로세서(802)를 메모리(804)로 연결할 수 있다. 더 자세히 후술되는 바와 같이, 버스(812)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예에서, 하나 이상의 MMU(memory management unit)는 프로세서(802)와 메모리(804) 사이에 있고 프로세서(802)에 의해 요청받은 메모리(804)로의 접근을 가능하게 한다. 특정 실시예에서, 메모리(804)는 RAM(random access memory)를 포함한다. 이 RAM은 적절한 경우 휘발성 메모리일 수 있다. 적절한 경우, 이 RAM은 DRAM(dynamic RAM) 또는 SRAM(static RAM)일 수 있다. 나아가, 적절한 경우, 이 RAM은 싱글 포트 또는 멀티 포트 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 메모리(804)는 적절한 경우, 하나 이상의 메모리(804)를 포함한다. 본 명세서가 특정한 메모리를 서술 및 설명하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예에서, 저장소(806)는 데이터나 명령어를 위한 대용량 저장소를 포함한다. 제한 없이 예시로, 저장소(806)는 HDD(hard disk drive), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 자기-광 디스크, 자기 테이프 또는 USB(Universal Serial Bus) 드라이브나 이들 중 둘 이상의 조합을 포함할 수 있다. 저장소(806)는 적절한 경우 제거 가능 또는 제거 불가능(또는 고정된) 미디어를 포함할 수 있다. 저장소(806)는 적절한 경우 컴퓨터 시스템(800)의 내부 또는 외부일 수 있다. 특정 실시예에서, 저장소(806)는 비휘발성의 고체 상태 메모리이다. 특정 실시예에서, 저장소(806)는 ROM(read-only memory)를 포함한다. 적절한 경우, 이 ROM은 마스크-프로그램된 ROM, PROM(programmable ROM), EPROM(erasable PROM), EEPROM(electrically erasable PROM), EAROM(electrically alterable ROM) 또는 플래시 메모리나 이들 중 둘 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(806)를 고려한다. 저장소(806)는 적절한 경우 프로세서(802)와 저장소(806) 간의 통신을 가능하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(806)는 하나 이상의 저장소(806)를 포함할 수 있다. 본 명세서가 특정한 저장소를 서술 및 설명하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.
특정 실시예에서, I/O 인터페이스(808)는 컴퓨터 시스템(800)과 하나 이상의 I/O 장치 간의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 둘 다를 포함한다. 컴퓨터 시스템(800)은 적절한 경우 하나 이상의 이들 I/O 장치를 포함할 수 있다. 이들 I/O 장치 중 하나 이상은 사람과 컴퓨터 시스템(800) 간의 통신을 가능하게 한다. 제한 없이 예시로, I/O 장치는 키보드, 키패드, 마이크, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치스크린, 트랙볼, 비디오 카메라, 다른 적절한 I/O 장치나 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이를 위한 임의의 적절한 I/O 인터페이스(808)를 고려한다. 적절한 경우, I/O 인터페이스(808)는 프로세서(802)가 이들 I/O 장치 중 하나 이상을 구동할 수 있게 하는 하나 이상의 장치나 소프트웨어 드라이버를 포함할 수 있다. I/O 인터페이스(808)는 적절한 경우 하나 이상의 I/O 인터페이스(808)를 포함할 수 있다. 본 명세서가 특정한 I/O 인터페이스를 서술 및 설명하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예에서, 통신 인터페이스(810)는 컴퓨터 시스템(800)과 하나 이상의 다른 컴퓨터 시스템(800)이나 하나 이상의 네트워크 간의 통신(예컨대, 패킷 기반 통신과 같은)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 둘 다를 포함한다. 제한 없이 예시로, 통신 인터페이스(810)는 NIC(network interface controller) 또는 이더넷이나 임의의 다른 유선 기반 네트워크와 통신하기 위한 네트워크 어댑터 또는 무선 NIC(WNIC) 또는 WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크와 임의의 적절한 통신 인터페이스(810)를 고려한다. 제한 없이 예시로, 컴퓨터 시스템(800)은 애드혹 네트워크, PAN(personal area network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network) 또는 인터넷의 하나 이상의 부분이나 이들 중 둘 이상의 조합과 통신할 수 있다. 이들 네트워크 중 하나 이상의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예시로, 컴퓨터 시스템(800)은 무선 PAN(WPAN)(예컨대, 블루투스 WPAN과 같은), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(예컨대, GSM(Global System for Mobile Communications) 네트워크와 같은) 또는 임의의 다른 적절한 무선 네트워크나 이들 중 둘 이상의 조합과 통신할 수 있다. 컴퓨터 시스템(800)은 적절한 경우 이들 네트워크 중 임의의 것을 위한 임의의 적절한 통신 인터페이스(810)를 포함할 수 있다. 통신 인터페이스(810)는 적절한 경우 하나 이상의 통신 인터페이스(810)를 포함할 수 있다. 본 명세서가 특정한 통신 인터페이스를 서술 및 설명하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예에서, 버스(812)는 컴퓨터 시스템(800)의 컴포넌트를 서로 연결하는 하드웨어, 소프트웨어 또는 둘 다를 포함한다. 제한 없이 예시로, 버스(812)는 AGP(Accelerated Graphics Port) 또는 임의의 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 상호연결, ISA(Industry Standard Architecture) 버스, INFINIBAND 상호연결, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standards Association local) 버스 또는 다른 적절한 버스나 이들 중 둘 이상의 조합을 포함할 수 있다. 버스(812)는 적절한 경우 하나 이상의 버스(812)를 포함할 수 있다. 본 명세서가 특정한 버스를 서술 및 설명하지만, 본 명세서는 임의의 적절한 버스나 상호연결을 고려한다.
본 명세서에서, 적절한 경우 컴퓨터 판독 가능한 비일시적 저장 매체나 미디어는 하나 이상의 반도체 기반이나 다른 타입의 IC(integrated circuit)(예컨대, FPGA(field-programmable gate array) 또는 ASIC(application-specific IC)와 같은), HDD(hard disk drive), HHD(hybrid hard drive), 광 디스크, ODD(optical disc drive), 자기-광 디스크, 자기 광 드라이브, 플로피 디스켓, FDD(floppy disk drive), 자기 테이프, SSD(solid-state drive), RAM 드라이브, SECURE DIGITAL 카드나 드라이브, 임의의 다른 적절한 컴퓨터 판독 가능한 비일시적 저장 매체 또는 이들 중 둘 이상의 임의의 적절한 조합을 포함할 수 있다. 컴퓨터 판독 가능한 비일시적 저장 매체는 적절한 경우 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
본 명세서에서, "또는"은 다르게 명시적으로 표시되거나 문맥에 의해 다르게 표시되지 않는 한 포괄적이며 배타적이지 않다. 따라서, 본 명세서에서 "A 또는 B"는 다르게 명시적으로 표시되거나 문맥에 의해 다르게 표시되지 않는 한 "A, B나 둘 다"를 의미한다. 나아가, "및"은 다르게 명시적으로 표시되거나 문맥에 의해 다르게 표시되지 않는 한 공동 및 개별적 모두이다. 따라서, 본 명세서에서 "A 및 B"는 다르게 명시적으로 표시되거나 문맥에 의해 다르게 표시되지 않는 한 "공동으로 또는 개별적으로 A와 B"를 의미한다.
본 명세서의 범위는 통상의 기술자가 이해하는 본 명세서에 서술 또는 설명된 실시예의 예시에 대한 모든 변경, 대체, 변형, 개조 및 수정을 포함한다. 본 명세서의 범위는 본 명세서에 서술 및 설명되는 실시예의 예시로 제한되지 않는다. 나아가, 본 명세서가 본 명세서의 각 실시예를 특정한 컴포넌트, 요소, 특징, 기능, 동작 또는 단계를 포함하는 것으로 설명 및 서술하지만, 이들 실시예 중 임의의 것은 통상의 기술자가 이해하는 본 명세서의 어디든 서술 또는 설명된 컴포넌트, 요소, 특징, 기능, 동작 또는 단계 중 임의의 조합이나 순열을 포함할 수 있다. 나아가, 첨부되는 청구범위에서 특정한 기능을 수행하기에 적합하거나, 배열되거나, 할 수 있거나, 구성되거나, 가능하게 되거나, 동작 가능하거나, 동작하는 장치 또는 시스템 또는 장치나 시스템의 컴포넌트에 대한 지칭은 특정한 기능이 활성화되거나, 켜지거나, 잠금 해제되는지 여부에 상관 없이, 그 장치, 시스템 또는 컴포넌트가 적합하거나, 배열되거나, 할 수 있거나, 구성되거나, 가능하게 되거나, 동작 가능하거나, 동작하는 한 장치, 시스템, 컴포넌트를 포함한다. 나아가, 본 명세서가 특정한 실시예를 특정 이점을 제공하는 것으로 서술 또는 설명하지만, 특정한 실시예는 이들 이점을 제공하지 않거나, 일부나 전부를 제공할 수 있다.

Claims (20)

  1. 컴퓨팅 시스템에 의하여:
    인간 운전자에 의해 운용되는 차량과 연관된 문맥적 데이터에 접근하는 단계;
    복수의 차량과 연관된 사전 기록된 문맥적 데이터와 연관된 정보에 적어도 부분적으로 기반하여 문맥적 데이터를 처리함으로써 하나 이상의 예측된 차량 동작을 결정하는 단계;
    인간 운전자에 의한 하나 이상의 차량 동작을 감지하는 단계;
    인간 운전자에 의한 하나 이상의 차량 동작과 하나 이상의 예측된 차량 동작의 비교에 기반하여 관심 이벤트가 문맥적 데이터와 연관된다고 결정하는 단계; 및
    관심 이벤트와 연관된 고해상도 문맥적 데이터가 저장되도록 야기하는 단계를 포함하고,
    문맥적 데이터는 차량과 연관된 하나 이상의 센서를 사용하여 캡처되는 방법.
  2. 청구항 1에 있어서,
    관심 이벤트는 인간 운전자의 하나 이상의 차량 동작이 기결정된 임계치만큼 하나 이상의 예측된 차량 동작에서 벗어난다는 결정에 기반하여 관심 이벤트가 결정되는 방법.
  3. 청구항 1에 있어서,
    사전 기록된 문맥적 데이터와 연관된 정보는 예측 모델을 포함하고, 예측 모델은 복수의 차량과 연관된 사전 기록된 문맥적 데이터를 사용하여 훈련되는 기계 학습 모델인 방법.
  4. 청구항 1에 있어서,
    이벤트 분류기를 사용하여, 이전에 감지된 관심 이벤트에 기반하여 관심 이벤트를 카테고리로 분류하는 단계; 및
    관심 이벤트에 관심 점수를 할당하는 단계를 포함하고,
    관심 점수는 카테고리 및 관심 이벤트의 하나 이상의 특성에 기반하는 방법.
  5. 청구항 4에 있어서,
    관심 이벤트는 이벤트 분류기가 분류에 실패한 분류 불가능 이벤트인 방법.
  6. 청구항 4에 있어서,
    관심 이벤트는 주체 모델러가 인식에 실패한 인식 불가능 객체인 방법.
  7. 청구항 1에 있어서,
    관심 이벤트와 연관된 고해상도 문맥적 데이터가 저장되도록 야기하는 단계는 고해상도 문맥적 데이터를 휘발성 메모리에서 컴퓨팅 시스템의 비휘발성 저장소로 이동시키는 단계를 포함하는 방법.
  8. 청구항 1에 있어서,
    관심 이벤트와 연관된 고해상도 문맥적 데이터가 저장되도록 야기하는 단계는 고해상도 문맥적 데이터를 클라우드에 업로드하는 단계를 포함하는 방법.
  9. 청구항 1에 있어서,
    고해상도 문맥적 데이터를 관심 이벤트와 연관되는 것으로 표시하는 단계를 더 포함하는 방법.
  10. 청구항 1에 있어서,
    관심 이벤트가 문맥적 데이터와 연관된다는 결정에 기반하여 저장될 고해상도 문맥적 데이터를 선택하는 단계를 더 포함하고,
    대응하는 문맥적 데이터가 관심 이벤트와 연관되지 않은 것으로 결정될 때 저장되는 데이터와 비교하면, 고해상도 문맥적 데이터는 더 많은 정보를 포함하거나 더 긴 기간에 대응하는 방법.
  11. 청구항 1에 있어서,
    인간 운전자가 관심을 기울이는 영역을 결정하는 단계; 및
    인간 운전자가 관심을 기울이는 영역과 연관된 문맥적 데이터 세트를 선택하는 단계를 더 포함하고,
    고해상도 문맥적 데이터는 선택된 문맥적 데이터 세트를 포함하는 방법.
  12. 청구항 1에 있어서,
    차량의 문맥적 데이터는 차량과 연관된 하나 이상의 파라미터를 포함하고, 차량과 연관된 하나 이상의 파라미터는:
    속도;
    이동 방향;
    궤적;
    GPS 좌표;
    가속;
    브레이크 페달 상의 압력;
    가속 페달 상의 압력;
    핸들 상의 조향력;
    바퀴 방향;
    신호 상태;
    내비게이션 지도;
    목적지;
    경로;
    예상 시간; 또는
    우회로를 포함하는 방법.
  13. 청구항 1에 있어서,
    차량의 문맥적 데이터는 차량의 환경과 연관된 하나 이상의 척도를 포함하고, 차량의 환경과 연관된 하나 이상의 척도는:
    다른 차량과의 거리;
    다른 차량에 대한 상대 속도;
    보행자와의 거리;
    보행자에 대한 상대 속도;
    교통 신호 상태;
    교통 신호와의 거리;
    교차로와의 거리;
    도로 표지판;
    도로 표지판과의 거리;
    연석과의 거리;
    차로에 대한 상대 위치;
    차량의 시야 내의 객체;
    교통 상태;
    다른 차량의 궤적;
    다른 교통 주체의 움직임;
    다른 교통 주체의 속도;
    다른 교통 주체의 이동 방향;
    다른 차량의 신호 상태;
    다른 교통 주체의 위치; 또는
    다른 차량의 공격성 척도를 포함하는 방법.
  14. 청구항 13에 있어서,
    차량의 환경과 연관된 하나 이상의 척도는 하나 이상의 카메라 또는 라이다 시스템에 기반하여 결정되는 방법.
  15. 청구항 1에 있어서,
    차량의 문맥적 데이터는 인간 운전자와 연관된 하나 이상의 파라미터를 포함하고, 인간 운전자와 연관된 하나 이상의 파라미터는:
    인간 운전자의 머리 위치;
    인간 운전자의 머리 움직임;
    인간 운전자의 손 위치;
    인간 운전자의 손 움직임;
    인간 운전자의 발 위치;
    인간 운전자의 발 움직임;
    인간 운전자의 시선 방향;
    인간 운전자의 시선점;
    인간 운전자의 이미지;
    인간 운전자의 제스처; 또는
    인간 운전자의 음성을 포함하는 방법.
  16. 청구항 1에 있어서,
    기계 학습 모델에 의하여, 차량의 문맥적 데이터에 기반하여 하나 이상의 멀티 채널 이미지를 생성하는 단계; 및
    하나 이상의 멀티 채널 이미지에 기반하여 차량의 환경의 이산화 뷰를 예측하는 단계를 더 포함하고,
    각 멀티 채널 이미지는 차량의 문맥적 데이터의 다른 정보층에 대응하는 다수의 채널을 가지고,
    하나 이상의 예측된 차량 동작은 차량의 환경의 예측된 이산화 뷰에 적어도 부분적으로 기반하는 방법.
  17. 청구항 1에 있어서,
    차량에 관한 특징의 조합에 기반하여 차량의 환경의 이산화 뷰를 예측하는 단계를 더 포함하고,
    하나 이상의 예측된 차량 동작은 차량의 환경의 예측된 이산화 뷰에 적어도 부분적으로 기반하고, 차량에 관한 특징의 조합은:
    차량의 현재 위치;
    차량의 과거 위치;
    차량의 예측된 위치;
    차량의 현재 속도;
    차량의 과거 속도;
    차량의 예측된 속도;
    차량에 대한 다른 교통 주체의 속도 및 방향;
    서로에 대한 다른 교통 주체의 속도 및 방향; 또는
    하나 이상의 지도 요소에 대한 다른 교통 주체의 속도 및 방향 중 하나 이상을 포함하는 방법.
  18. 청구항 1에 있어서,
    감지된 관심 이벤트에 관한 차량의 저장된 고해상도 문맥적 데이터를 사용하여 예측 모델을 훈련시키는 단계를 더 포함하고,
    예측 모델은 시간이 흐름에 따라 감지된 관심 이벤트에 관한 훈련 데이터에 기반하여 개선되는 방법.
  19. 소프트웨어를 내장한 하나 이상의 비일시적 컴퓨터 판독 가능한 저장 매체로서, 소프트웨어는 컴퓨팅 시스템에 의하여 실행될 때:
    인간 운전자에 의해 운용되는 차량과 연관된 문맥적 데이터에 접근하고;
    복수의 차량과 연관된 사전 기록된 문맥적 데이터와 연관된 정보에 적어도 부분적으로 기반하여 문맥적 데이터를 처리함으로써 하나 이상의 예측된 차량 동작을 결정하고;
    인간 운전자에 의한 하나 이상의 차량 동작을 감지하고;
    인간 운전자에 의한 하나 이상의 차량 동작과 하나 이상의 예측된 차량 동작의 비교에 기반하여 관심 이벤트가 문맥적 데이터와 연관된다고 결정하고;
    관심 이벤트와 연관된 고해상도 문맥적 데이터가 저장되도록 야기하도록 동작 가능하고,
    문맥적 데이터는 차량과 연관된 하나 이상의 센서를 사용하여 캡처되는 비일시적 컴퓨터 판독 가능한 저장 매체.
  20. 명령어를 내장한 하나 이상의 비일시적 컴퓨터 판독 가능한 저장 매체;
    저장 매체와 연결된 하나 이상의 프로세서를 포함하고,
    프로세서는:
    인간 운전자에 의해 운용되는 차량과 연관된 문맥적 데이터에 접근하고;
    복수의 차량과 연관된 사전 기록된 문맥적 데이터와 연관된 정보에 적어도 부분적으로 기반하여 문맥적 데이터를 처리함으로써 하나 이상의 예측된 차량 동작을 결정하고;
    인간 운전자에 의한 하나 이상의 차량 동작을 감지하고;
    인간 운전자에 의한 하나 이상의 차량 동작과 하나 이상의 예측된 차량 동작의 비교에 기반하여 관심 이벤트가 문맥적 데이터와 연관된다고 결정하고;
    관심 이벤트와 연관된 고해상도 문맥적 데이터가 저장되도록 야기하는 명령어를 실행하도록 동작 가능하고,
    문맥적 데이터는 차량과 연관된 하나 이상의 센서를 사용하여 캡처되는 시스템.
KR1020217006463A 2018-08-21 2019-08-06 이례적인 차량 이벤트를 감지 및 기록하기 위한 시스템 및 방법 KR20210035296A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/107,986 2018-08-21
US16/107,986 US11861458B2 (en) 2018-08-21 2018-08-21 Systems and methods for detecting and recording anomalous vehicle events
PCT/US2019/045204 WO2020040975A1 (en) 2018-08-21 2019-08-06 Systems and methods for detecting and recording anomalous vehicle events

Publications (1)

Publication Number Publication Date
KR20210035296A true KR20210035296A (ko) 2021-03-31

Family

ID=69586301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006463A KR20210035296A (ko) 2018-08-21 2019-08-06 이례적인 차량 이벤트를 감지 및 기록하기 위한 시스템 및 방법

Country Status (10)

Country Link
US (1) US11861458B2 (ko)
EP (1) EP3823874A4 (ko)
JP (1) JP2021535476A (ko)
KR (1) KR20210035296A (ko)
AU (1) AU2019325161A1 (ko)
CA (1) CA3109917A1 (ko)
IL (1) IL280986A (ko)
MX (1) MX2021001950A (ko)
SG (1) SG11202101582PA (ko)
WO (1) WO2020040975A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643125B (zh) * 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US20210312725A1 (en) * 2018-07-14 2021-10-07 Moove.Ai Vehicle-data analytics
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US20210182296A1 (en) * 2018-08-24 2021-06-17 Siemens Aktiengesellschaft Anomaly localization denoising autoencoder for machine condition monitoring
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11577750B2 (en) * 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
US20220001858A1 (en) * 2018-11-13 2022-01-06 Nec Corporation Dangerous scene prediction device, dangerous scene prediction method, and dangerous scene prediction program
US10824913B1 (en) * 2018-11-21 2020-11-03 Amazon Technologies, LLC Training machine learning models for physical agents and robotic controls with simulations
US11829870B2 (en) * 2018-11-26 2023-11-28 Uber Technologies, Inc. Deep reinforcement learning based models for hard-exploration problems
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11580687B2 (en) * 2018-12-04 2023-02-14 Ottopia Technologies Ltd. Transferring data from autonomous vehicles
US11908253B2 (en) * 2018-12-12 2024-02-20 Gm Cruise Holdings Llc Dynamic data preservation based on autonomous vehicle performance needs
US11275374B2 (en) * 2018-12-18 2022-03-15 Zoox, Inc. Event-based data logging
US10831209B2 (en) * 2018-12-19 2020-11-10 Fca Us Llc Using a long-term recurrent convolutional network to plan a sequence of lateral controls in autonomous driving
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10699564B1 (en) * 2019-04-04 2020-06-30 Geotab Inc. Method for defining intersections using machine learning
US11341846B2 (en) 2019-04-04 2022-05-24 Geotab Inc. Traffic analytics system for defining road networks
US11335189B2 (en) * 2019-04-04 2022-05-17 Geotab Inc. Method for defining road networks
US11403938B2 (en) 2019-04-04 2022-08-02 Geotab Inc. Method for determining traffic metrics of a road network
US11335191B2 (en) 2019-04-04 2022-05-17 Geotab Inc. Intelligent telematics system for defining road networks
US11100329B1 (en) * 2019-08-14 2021-08-24 Lytx, Inc. Ranging system data utilization for marking of video data of interest
US11386670B2 (en) * 2019-10-03 2022-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for tracking non-connected vehicles
US20210125076A1 (en) * 2019-10-29 2021-04-29 Denso International America, Inc. System for predicting aggressive driving
DE102019217225A1 (de) * 2019-11-07 2021-05-12 Robert Bosch Gmbh Verfahren zum Trainieren eines maschinellen Lernsystems für eine Objekterkennungsvorrichtung
US11590969B1 (en) * 2019-12-04 2023-02-28 Zoox, Inc. Event detection based on vehicle data
TWI753334B (zh) * 2019-12-13 2022-01-21 財團法人車輛研究測試中心 自駕車遠端監控系統及其方法
US11415992B2 (en) * 2019-12-27 2022-08-16 Woven Planet North America, Inc. Resource prioritization based on travel path relevance
US11069232B1 (en) * 2020-01-16 2021-07-20 Toyota Motor North America, Inc. Systems and methods for determining levels of congestion at establishments
US11416959B1 (en) * 2020-02-10 2022-08-16 Zoox, Inc. Vision architecture
US20210287530A1 (en) * 2020-03-11 2021-09-16 Allstate Insurance Company Applying machine learning to telematics data to predict accident outcomes
US11430091B2 (en) * 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
US20210358233A1 (en) * 2020-05-14 2021-11-18 HopSkipDrive, Inc. Ride monitoring system
JP7372876B2 (ja) 2020-05-25 2023-11-01 株式会社日立製作所 異常検出システム、異常検出装置及び異常検出方法
US11403943B2 (en) * 2020-07-14 2022-08-02 Argo AI, LLC Method and system for vehicle navigation using information from smart node
US11473917B2 (en) 2020-07-14 2022-10-18 Argo AI, LLC System for augmenting autonomous vehicle perception using smart nodes
US20220028187A1 (en) * 2020-07-23 2022-01-27 Denso International America, Inc. Method and system of managing a vehicle abnormality of a fleet vehicle
US11736501B2 (en) * 2020-07-24 2023-08-22 Amida Technology Solutions, Inc. Method, system, and apparatus for security assurance, protection, monitoring and analysis of integrated circuits and electronic systems using machine learning instruments and machine learning analysis
US11954919B2 (en) * 2020-10-08 2024-04-09 Toyota Research Institute, Inc. Traffic light active learning pipeline
US20220116052A1 (en) * 2020-10-12 2022-04-14 Uatc, Llc Systems and Methods for Compressing and Storing Sensor Data Collected by an Autonomous Vehicle
CN112751910A (zh) * 2020-12-14 2021-05-04 北京小马慧行科技有限公司 一种信息收集方法和装置
CN114694368A (zh) * 2020-12-28 2022-07-01 比亚迪股份有限公司 车辆的管控系统
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11907857B2 (en) 2021-06-03 2024-02-20 International Business Machines Corporation Dynamic selection of parameter threshold values
CN113570853B (zh) * 2021-06-17 2022-07-29 长安大学 一种城市快速路出口违法驶入车辆的检测系统和方法
US11898871B2 (en) 2021-09-15 2024-02-13 Here Global B.V. Apparatus and methods for providing a map layer of one or more temporary dynamic obstructions
US11520576B1 (en) * 2022-01-07 2022-12-06 Plusai, Inc. Methods and apparatus for automatically labeling data processing events in autonomous driving vehicles via machine learning
WO2023175505A1 (en) * 2022-03-15 2023-09-21 Aggarwal Kamal System for determining drive related information for commutation being carried out by user in vehicle
DE102022106338A1 (de) 2022-03-18 2023-09-21 Joynext Gmbh Anpassen eines Fahrverhaltens eines autonomen Fahrzeugs
US20230351736A1 (en) * 2022-04-27 2023-11-02 Canoo Technologies Inc. Active data collection, sampling, and generation for use in training machine learning models for automotive or other applications
DE102022111969A1 (de) 2022-05-12 2023-11-16 Cariad Se System und Verfahren zum Bereitstellen einer Zeitverzögerungsprognose einer Verkehrsbehinderung
CN115099009B (zh) * 2022-05-31 2023-08-29 同济大学 一种基于推理图的混合交通流运动行为建模方法
CN117076711A (zh) * 2023-10-12 2023-11-17 北京汇通天下物联科技有限公司 驾驶行为识别模型的训练方法、识别方法、装置及设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132773A1 (en) * 2005-12-08 2007-06-14 Smartdrive Systems Inc Multi-stage memory buffer and automatic transfers in vehicle event recording systems
JP2010182287A (ja) * 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US9298575B2 (en) 2011-10-12 2016-03-29 Lytx, Inc. Drive event capturing based on geolocation
US9349229B2 (en) 2011-10-21 2016-05-24 Toyota Jidosha Kabushiki Kaisha Data recording apparatus for a vehicle
JP5950025B2 (ja) 2013-03-22 2016-07-13 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
US9165477B2 (en) 2013-12-06 2015-10-20 Vehicle Data Science Corporation Systems and methods for building road models, driver models, and vehicle models and making predictions therefrom
AU2013273784B2 (en) 2013-12-20 2016-06-02 Canon Kabushiki Kaisha Method, system and apparatus for updating a scene model
CN103854267B (zh) 2014-03-12 2016-09-07 昆明理工大学 一种基于变分与分数阶微分的图像融合与超分辨率实现方法
US20160267335A1 (en) 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
WO2016154949A1 (en) * 2015-03-31 2016-10-06 SZ DJI Technology Co., Ltd. Authentication systems and methods for generating flight regulations
US20210258486A1 (en) * 2015-08-28 2021-08-19 State Farm Mutual Automobile Insurance Company Electric vehicle battery conservation
WO2018142194A1 (en) * 2017-02-02 2018-08-09 Yosef Mintz Integrative system and methods to apply predictive dynamic city-traffic load balancing and perdictive parking control that may further contribute to cooperative safe driving
US20200234582A1 (en) * 2016-01-03 2020-07-23 Yosef Mintz Integrative system and methods to apply predictive dynamic city-traffic load balancing and perdictive parking control that may further contribute to cooperative safe driving
US9996992B2 (en) * 2016-02-04 2018-06-12 R. Albitz, Llc Vehicular event monitoring system
EP3219564B1 (en) 2016-03-14 2018-12-05 IMRA Europe S.A.S. Driving prediction with a deep neural network
CA3018604C (en) * 2016-04-12 2023-11-07 Quidient, Llc Quotidian scene reconstruction engine
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10664750B2 (en) 2016-08-10 2020-05-26 Google Llc Deep machine learning to predict and prevent adverse conditions at structural assets
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
JP6853494B2 (ja) * 2016-09-05 2021-03-31 日本電気株式会社 ドライブレコーダ
JP2018084854A (ja) 2016-11-21 2018-05-31 日本電気株式会社 センサデータ処理方法
US20180170392A1 (en) 2016-12-20 2018-06-21 Baidu Usa Llc Method and System to Recognize Individual Driving Preference for Autonomous Vehicles
CN107735838B (zh) 2017-03-02 2021-04-09 香港应用科技研究院有限公司 在多种设置下用于医学样品的异常检测
GB2562049A (en) 2017-05-02 2018-11-07 Kompetenzzentrum Das Virtuelle Fahrzeug Improved pedestrian prediction by using enhanced map data in automated vehicles
US10606270B2 (en) * 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
US10908614B2 (en) * 2017-12-19 2021-02-02 Here Global B.V. Method and apparatus for providing unknown moving object detection
US11282385B2 (en) * 2018-04-24 2022-03-22 Qualcomm Incorproated System and method of object-based navigation
US11675359B2 (en) * 2018-06-13 2023-06-13 Nvidia Corporation Path detection for autonomous machines using deep neural networks
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following

Also Published As

Publication number Publication date
EP3823874A4 (en) 2022-04-27
CA3109917A1 (en) 2020-02-27
JP2021535476A (ja) 2021-12-16
US11861458B2 (en) 2024-01-02
EP3823874A1 (en) 2021-05-26
SG11202101582PA (en) 2021-03-30
IL280986A (en) 2021-04-29
US20200065711A1 (en) 2020-02-27
CN112888611A (zh) 2021-06-01
WO2020040975A1 (en) 2020-02-27
AU2019325161A1 (en) 2021-03-11
MX2021001950A (es) 2021-07-15

Similar Documents

Publication Publication Date Title
US11861458B2 (en) Systems and methods for detecting and recording anomalous vehicle events
US11077850B2 (en) Systems and methods for determining individualized driving behaviors of vehicles
US11710251B2 (en) Deep direct localization from ground imagery and location readings
US20230132889A1 (en) Generation and Update of HD Maps Using Data from Heterogeneous Sources
US10625748B1 (en) Approaches for encoding environmental information
US10621452B2 (en) Determining and mapping location-based information for a vehicle
US11718305B2 (en) Evaluating driving control systems for elegant driving
US20200393841A1 (en) Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11157655B2 (en) Determining vehicle data integrity
US20240085191A1 (en) Mapping and determining scenarios for geographic regions
US11238370B2 (en) Approaches for determining sensor calibration
US20210304018A1 (en) Systems and methods for predicting agent trajectory
US20200410263A1 (en) Approaches for determining traffic light state
US11157007B2 (en) Approaches for encoding environmental information
US11816900B2 (en) Approaches for encoding environmental information
US11449475B2 (en) Approaches for encoding environmental information
JP2023533243A (ja) 車両の独立軌跡検証システム
US20220375278A1 (en) Approaches for managing vehicles
CN112888611B (zh) 用于检测和记录异常车辆事件的系统和方法
US12039785B2 (en) Approaches for encoding environmental information
US20210124355A1 (en) Approaches for encoding environmental information