KR20240042663A

KR20240042663A - 시뮬레이션 콘텐트를 사용한 비전 기반 시스템 훈련

Info

Publication number: KR20240042663A
Application number: KR1020247008691A
Authority: KR
Inventors: 데이비드 압팔; 마이클 호스티카
Original assignee: 테슬라, 인크.
Priority date: 2021-08-19
Filing date: 2022-08-18
Publication date: 2024-04-02
Also published as: US20230053785A1; KR20240047408A; WO2023023265A1; WO2023023272A1; KR20240048533A; WO2023023336A1

Abstract

본 출원의 양태는 비전 시스템 전용 기반 처리를 갖춘 차량에서의 활용을 위한 기계 학습 알고리즘을 생성하거나 훈련시키기 위해 시뮬레이션 시스템으로부터의 조합된 입력 세트의 활용에 대응한다. 본 출원의 양태는 기계 학습 알고리즘에 사용하기 위한 업데이트된 훈련 세트를 생성하기 위한 센서 또는 감지 시스템 및 시뮬레이션 시스템으로부터의 입력 세트의 활용에 대응한다. 조합된 입력 세트는 차량에 구성된 복수의 카메라로부터의 비전 시스템에 대응하는 제1 데이터 세트를 포함한다. 조합된 입력 세트는 비전 시스템 데이터를 보충하기 위한 비전 이미지 및 데이터 라벨을 포함하는 추가 훈련 세트 데이터를 생성하는 시뮬레이션 콘텐트 시스템에 대응하는 제2 데이터 세트를 더 포함한다.

Description

시뮬레이션 콘텐트를 사용한 비전 기반 시스템 훈련

관련 특허 출원들에대한 상호 참조

본 출원은 2021년 8월 19일에 출원된 ENHANCED SYSTEMS AND METHODS FOR AUTONOMOUS VEHICLE OPERATION AND TRAINING이라는 명칭의 미국 임시 출원 번호 제63/260,439호 및 2021년 12월 9일에 출원된 ENHANCED SYSTEMS AND METHODS FOR AUTONOMOUS VEHICLE OPERATION AND TRAINING이라는 명칭의 미국 임시 출원 번호 제63/287,936호에 대한 우선권을 주장한다. 미국 임시 출원 번호 제63/260,439호 및 제63/287,936호는 본원에 그 전문이 참조로 통합된다.

일반적으로 설명하면, 컴퓨팅 장치 및 통신 네트워크는 데이터 및/또는 정보를 교환하는 데 활용될 수 있다. 일반적인 애플리케이션에서, 컴퓨팅 장치는 통신 네트워크를 통해 다른 컴퓨팅 장치에 콘텐트를 요청할 수 있다. 예를 들어, 컴퓨팅 장치는 다양한 데이터를 수집하고 소프트웨어 애플리케이션을 활용하여 네트워크(예를 들어, 인터넷)를 통해 서버 컴퓨팅 장치와 콘텐트를 교환할 수 있다.

일반적으로 설명하면, 전기 차량, 연소 기관 차량 하이브리드 차량 등과 같은 다양한 차량은 차량의 동작 또는 차량에 포함된 하나 이상의 시스템의 관리를 용이하게 하기 위해 다양한 센서 및 컴포넌트로 구성될 수 있다. 특정 시나리오에서, 차량 소유자 또는 차량 사용자는 차량의 동작을 용이하게 하기 위해 센서 기반 시스템을 활용하기를 원할 수 있다. 예를 들어, 차량은 종종 위치 서비스를 용이하게 하는 하드웨어 및 소프트웨어 기능을 포함할 수 있거나 위치 서비스를 제공하는 컴퓨팅 장치에 액세스할 수 있다. 다른 예에서, 차량은 또한 차량 탑승자와 사용자에게 제공되는 내비게이션 또는 방향 정보와 관련된 정보를 생성할 수 있는 내비게이션 시스템을 포함하거나 내비게이션 컴포넌트에 액세스할 수 있다. 또 다른 예에서, 차량은 내비게이션 및 위치 서비스, 안전 서비스 또는 기타 운영 서비스/컴포넌트를 용이하게 하는 비전 시스템을 포함할 수 있다.

본 개시는, 이에 제한되는 것은 아니나, 본 개시를 예시하기 위한 것인 특정 실시예의 도면을 참조하여 본원에 설명되어 있다. 본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 본원에 개시된 개념을 예시하기 위한 것이며 비축척일 수 있다는 것을 이해해야 한다.
도 1은 본 출원의 하나 이상의 양태에 따른 차량 내 비전 시스템을 위한 시뮬레이션 콘텐트 모델 및 훈련 세트 데이터를 생성하기 위한 예시적인 환경의 블록도를 도시한다;
도 2a는 본 출원의 하나 이상의 양태에 따른 차량에 대응하는 환경을 예시한다;
도 2b는 본 출원의 하나 이상의 양태에 따른 차량용 예시적인 비전 시스템이다;
도 3a는 본 출원의 양태에 따른 비전 정보 처리 컴포넌트를 구현하기 위한 예시적인 아키텍처를 도시한다,
도 3b는 본 출원의 양태에 따른 시뮬레이션 콘텐트 서비스를 구현하기 위한 예시적인 아키텍처를 도시한다;
도 4a 내지 4c는 시뮬레이션 모델 콘텐트의 생성과 시뮬레이션 모델 콘텐트를 기반으로 하는 기계 학습 알고리즘을 위한 비전 시스템 훈련 데이터 세트의 후속 생성이 예시된 도 1의 예시적인 환경의 블록도이다;
도 5는 예시적인 실시예에 따른 시뮬레이션 콘텐트 서비스에 의해 구현된 시뮬레이션 모델 콘텐트 생성 루틴을 예시하는 흐름도이다;
도 6은 예시적인 실시예에 따른 시뮬레이션 콘텐트 서비스에 의해 구현된 시뮬레이션 모델 콘텐트 생성 루틴에 기초하여 비전 시스템 훈련 데이터 생성 루틴을 예시하는 흐름도이다.

일반적으로 설명하면, 본 개시의 하나 이상의 양태는 차량 내 비전 시스템의 구성 및 구현에 관한 것이다. 예시적인 예로서, 본 출원의 양태는 다양한 동작 기능을 위해 비전 시스템에만 의존하는 차량에 사용되는 기계 학습 알고리즘의 구성 및 훈련에 관한 것이다. 예시적으로, 비전 전용 시스템은 비전 기반 시스템을 레이더 기반 시스템, LIDAR 기반 시스템, SONAR 시스템 등과 같은 하나 이상의 추가 센서 시스템과 조합할 수 있는 차량과 대조된다.

비전 전용 시스템은 차량에 장착된 복수의 카메라를 포함할 수 있는 비전 시스템의 입력만 처리할 수 있는 기계 학습 알고리즘으로 구성될 수 있다. 기계 학습 알고리즘은 오브젝트를 식별하고 차량에 대해 측정된 위치, 속도, 가속도와 같은 식별된 오브젝트의 특성/속성을 지정하는 출력을 생성할 수 있다. 그런 다음 기계 학습 알고리즘의 출력은 내비게이션 시스템, 위치 확인 시스템, 안전 시스템 등과 같은 추가 처리에 활용될 수 있다.

본 출원의 양태에 따르면, 네트워크 서비스는 기계 학습 알고리즘이 식별된 오브젝트 및 예컨대 위치, 속도, 가속도 등과 같은 지정된 특성/속성을 포함하는 라벨링된 데이터로 훈련되는 지도(supervised) 학습 모델에 따라 기계 학습 알고리즘을 구성할 수 있다. 훈련 데이터 세트의 첫 번째 부분은 차량 내 비전 전용 시스템에 포함된 비전 시스템과 같은 비전 시스템을 포함하는 타겟 차량으로부터 수집된 데이터에 대응한다. 추가적으로, 훈련 데이터의 두 번째 부분은 다른 시스템, 즉 비디오 이미지 및 관련 속성 정보(예를 들어, 시뮬레이션 콘텐트를 기반으로 한 실측 라벨 데이터)를 생성할 수 있는 시뮬레이션 콘텐트 시스템으로부터 획득된 추가 정보에 대응한다. 예시적으로, 시뮬레이션 콘텐트 시스템은 캡처된 비전 시스템 데이터로부터 적어도 실측 라벨 데이터(또는 그 일부)를 처리하여 지도 학습 모델을 위한 훈련 세트에 사용하기 위한 관련 실측 라벨링 정보를 갖는 시뮬레이션 콘텐트를 생성할 수 있다.

예시적으로, 네트워크 서비스는 캡처된 비전 시스템 데이터와 관련된 실측 라벨 데이터를 포함하는 입력 세트(예를 들어, 제1 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 일 실시예에서, 제1 데이터 세트는 캡처된 비디오 데이터를 포함할 필요는 없지만, 캡처된 비디오 데이터와 관련된 결과적인 실측 라벨을 포함할 수 있다. 그런 다음 네트워크 서비스는 캡처된 비전 시스템 데이터와 관련된 적어도 실측 라벨 데이터를 처리하여 시뮬레이션 콘텐트 세트(예를 들어, 제2 데이터 세트)를 생성하는 데 사용될 콘텐트 모델 속성을 결정한다. 예를 들어, 콘텐트 모델 속성은 도로 가장자리와 같은 특정 유형의 실측 라벨과 관련된 수신된 실측 정보 세트로부터의 선택으로 제한될 수 있다. 다른 예에서, 콘텐트 모델 속성은 도로 가장자리와 같은 실측 라벨을 포함할 수 있으며 차선, 중앙 차선 등과 같은 추가적인 종속 실측 라벨을 포함할 수 있다.

예시적으로, 생성된 시뮬레이션 콘텐트 데이터 세트를 사용하면 이전에 수집된 실측 데이터/비전 데이터를 비전 데이터 처리에서 달리 사용할 수 없었던 추가 정보 또는 속성/특성으로 보충할 수 있다. 일 양태에서, 선택된 실측 라벨 서브세트가 선택되면, 시뮬레이션 콘텐트 서비스는 일반 템플릿으로부터 선택하여 실측 라벨을 보완/보충할 수 있다. 예를 들어, 시뮬레이션 콘텐트 서비스는 도시 경관(예를 들어, 일반 도시 환경 또는 시골 환경), 환경 오브젝트(예를 들어, 다양한 유형의 고정 오브젝트) 등과 같은 실측 라벨의 템플릿으로부터 선택할 수 있다. 추가적으로, 시뮬레이션 콘텐트는 수정되거나 변경된 실측 라벨 정보를 포함할 수 있다. 그런 다음 결과적인 처리된 콘텐트 속성은 후속 훈련 데이터 생성을 위한 기초를 형성할 수 있다.

예시적으로, 시뮬레이션 콘텐트 서비스는 요청을 수신하거나 업데이트된 훈련 세트에 대한 훈련 데이터 세트를 생성하기로 결정할 수 있다. 시뮬레이션 콘텐트 서비스는 생성된 콘텐트 모델 중 하나를 선택된 콘텐트 모델을 기반으로 다수의 변형을 생성하기 위한 기반으로 식별하고 활용할 수 있다. 결과적인 시뮬레이션 콘텐트는 기본 콘텐트 모델을 기반으로 한 실측 라벨 및 각 생성된 콘텐트 조각에 도시된 변형을 포함하는 실측 라벨 데이터를 포함한다. 이후, 네트워크 서비스는 조합된 데이터 세트에 대한 훈련을 기반으로 업데이트된 기계 학습 알고리즘을 생성한다. 훈련된 기계 학습 알고리즘은 비전 전용 기반 차량으로 전송될 수 있다.

전통적으로, 차량은 제어 컴포넌트에 입력을 제공하는 데 사용될 수 있는 물리적 센서와 연관된다. 많은 내비게이션, 위치 및 안전 시스템의 경우, 물리적 센서에는 오브젝트를 검출하고 검출된 오브젝트의 속성을 특성화할 수 있는 레이더 시스템, LIDAR 시스템 등과 같은 검출 기반 시스템이 포함된다. 일부 애플리케이션에서, 검출 시스템은 제조 및 유지 관리 비용을 증가시킬 수 있다. 추가적으로, 비, 안개, 눈과 같은 일부 환경 시나리오에서, 검출 기반 시스템은 검출에 아주 적합하지 않거나 검출 오류가 증가할 수 있다.

상기 결함의 적어도 일부를 해결하기 위해, 본 출원의 양태는 시뮬레이션 시스템이 기계 학습 알고리즘을 훈련시키기 위한 추가 콘텐트를 생성할 수 있도록 비전 시스템으로부터의 입력 세트의 활용에 대응한다. 예를 들어, 업데이트된 훈련된 기계 학습 알고리즘은 비전 시스템 전용 기반 처리를 통해 차량에 분산될 수 있다. 본 출원의 양태는 기계 학습 알고리즘에 사용하기 위한 업데이트된 훈련 세트를 생성하기 위한 시뮬레이션 시스템의 기초로서 센서 또는 감지 시스템 및 시뮬레이션 시스템으로부터의 입력 세트의 활용에 대응한다. 입력 세트는 차량에 구성된 복수의 카메라로부터의 비전 시스템에 대응하는 제1 데이터 세트를 포함한다. 제1 데이터 세트는 시각 이미지 및 데이터 라벨(예를 들어, 실측 라벨)을 포함할 수 있다. 실측 라벨은 차선 가장자리, 중앙 차선, 정적 오브젝트 및 동적 오브젝트와 같은 다양한 검출된 오브젝트를 포함할 수 있다. 일부 실시예들에서, 제1 데이터 세트는 캡처된 비디오 이미지 데이터를 제공할 필요 없이 캡처된 시각 이미지 데이터에 기초한 실측 라벨 데이터를 포함할 수 있다. 실측 라벨 정보는 차량 비전 시스템에 의해 제공되는 캡처된 시각 데이터를 처리하여 실측 라벨 데이터를 생성할 수 있는 추가적인 독립 서비스에 의해 제공될 수 있다.

예시적으로, 네트워크 서비스는 하나 이상의 타겟 차량으로부터 수집된 입력 세트(예를 들어, 관련 실측 라벨 데이터) 프로세스를 수신할 수 있다. 그런 다음 네트워크 서비스는 비전 기반 데이터를 처리하여 시뮬레이션 콘텐트의 기초 또는 코어 부분으로 사용될 콘텐트 모델 속성을 형성할 수 있다. 예를 들어, 콘텐트 모델 속성은 도로 가장자리에 대응하는 제공된 실측 라벨 정보의 적어도 초기 부분(예를 들어, 제1 부분)을 포함/선택할 수 있다. 그런 다음 네트워크 서비스는 또한 시뮬레이션 콘텐트에 포함될 수 있는 추가 실측 라벨 정보(예를 들어, 제2 부분)의 일부 부분을 포함/선택할 수 있다. 이러한 제2 부분은 중앙 차선, 차선, 고정 오브젝트 등을 포함할 수 있다. 네트워크 서비스(예를 들어, 시뮬레이션 콘텐트 서비스)는 포함될 템플릿 또는 기타 사전 구성된 실측 라벨을 기반으로 획득된 실측 정보를 보충하거나 대체할 수도 있다. 예를 들어, 교외 환경에 대응하는 필터링된 실측 라벨 데이터 세트는 나무, 집, 주차된 차량 등과 같은 이러한 교외 환경과 관련된 것을 특징으로 하는 오브젝트에 대한 실측 라벨의 템플릿으로 보충될 수 있다.

요청 또는 기타 트리거링 이벤트 시, 네트워크 서비스는 콘텐트 모델(들)의 변형에 기초하여 훈련 데이터 세트를 생성하는 데 사용할 하나 이상의 콘텐트 모델을 선택할 수 있다. 예를 들어, 교외 환경과 관련된 위의 콘텐트 모델은 고정 오브젝트, 동적 오브젝트(예를 들어, 기타 차량)의 유형, 날씨 조건, 장애물, 다양한 사이니지 등과 관련된 변형에 기초하여 시뮬레이션 콘텐트 및 관련 실측 라벨을 생성하는 데 사용될 수 있다. 예시적으로, 생성된 데이터 세트를 사용하면 이전에 수집된 데이터를 비전 데이터 처리에서 달리 사용할 수 없었던 추가 정보 또는 속성/특성으로 보충할 수 있다. 그런 다음 네트워크 서비스는 전체 비전 데이터 세트와 데이터 라벨을 갖는 생성된 콘텐트를 처리할 수 있다. 이후, 네트워크 서비스는 조합된 데이터 세트에 대한 훈련을 기반으로 업데이트된 기계 학습 알고리즘을 생성한다. 훈련된 기계 학습 알고리즘은 비전 전용 기반 차량으로 전송될 수 있다.

예시적인 실시예 및 특징의 조합에 따라 다양한 양태가 설명될 것이지만, 관련 기술 분야의 당업자는 이러한 예 및 특징의 조합이 본질적으로 예시적인 것이며 제한하는 것으로 해석되어서는 안 된다는 것을 이해할 것이다. 보다 구체적으로, 본 출원의 양태는 조합 엔진, 하이브리드 엔진, 전기 엔진 등과 같은 다양한 추진 시스템을 갖춘 차량을 포함하는 다양한 유형의 차량에 적용될 수 있다. 또한, 본 출원의 양태는 다양한 유형의 센서, 감지 시스템, 내비게이션 시스템 또는 위치 시스템을 통합할 수 있는 다양한 유형의 차량에 적용될 수 있다. 따라서, 예시적인 예는 제한하는 것으로 해석되어서는 안 된다. 마찬가지로, 본 출원의 양태는 자율 주행 애플리케이션, 운전자 편의 애플리케이션 등을 포함하여 차량의 동작을 용이하게 할 수 있는 다른 유형의 컴포넌트와 조합되거나 구현될 수 있다.

도 1은 본 출원의 하나 이상의 양태에 따른 차량 내 비전 시스템을 위한 시뮬레이션 콘텐트 모델 및 훈련 세트 데이터를 생성하기 위한 예시적인 환경(100)의 블록도를 도시한다. 시스템(100)은 네트워크를 포함할 수 있으며, 네트워크는 차량 세트(102), 네트워크 서비스(110), 및 시뮬레이션 콘텐트 시스템(120)을 연결한다. 예시적으로, 네트워크 서비스(110) 및 시뮬레이션 콘텐트 시스템(120)과 관련된 다양한 양태는 하나 이상의 기능 또는 서비스와 연관된 하나 이상의 컴포넌트로서 구현될 수 있다. 컴포넌트는 별도의 독립형 외부 컴퓨팅 장치일 수 있는 하나 이상의 외부 컴퓨팅 장치에 의해 구현되거나 실행되는 소프트웨어 모듈에 대응할 수 있다. 따라서, 네트워크 서비스(110) 및 시뮬레이션 콘텐트 시스템(120)의 컴포넌트는 하나 이상의 외부 컴퓨팅 장치에 대한 임의의 특정 구현을 요구하지 않고 서비스의 논리적 표현으로 간주되어야 한다.

네트워크(106)는, 도 1에 도시된 바와 같이, 시스템의 장치와 모듈을 연결한다. 네트워크는 임의 개수의 장치를 연결할 수 있다. 일부 실시예들에서, 네트워크 서비스 공급자는 네트워크를 통해 클라이언트 장치에 네트워크 기반 서비스를 제공한다. 네트워크 서비스 제공자는 네트워크 기반 서비스를 구현하며, 네트워크 액세스 가능한 컴퓨팅 리소스(예컨대 컴퓨트, 스토리지 또는 네트워킹 리소스, 애플리케이션 또는 서비스)의 대규모 공유 풀을 말하며, 이는 가상화되거나 베어-메탈(bare-metal)이 될 수 있다. 네트워크 서비스 제공자는 고객 명령에 응답하여 프로그래밍 방식으로 프로비저닝 및 릴리스될 수 있는 구성 가능한 컴퓨팅 리소스의 공유 풀에 대한 온-디맨드 네트워크 액세스를 제공할 수 있다. 이러한 리소스는 동적으로 프로비저닝되고 가변 로드에 맞게 조정되도록 재구성될 수 있다. 따라서 "클라우드 컴퓨팅" 또는 "네트워크 기반 컴퓨팅"의 개념은 네트워크를 통해 서비스로 전달되는 애플리케이션과 해당 서비스를 제공하는 네트워크 서비스 공급자의 하드웨어 및 소프트웨어 모두로 간주될 수 있다. 일부 실시예들에서, 네트워크는 콘텐트 전달 네트워크일 수 있다.

예시적으로, 차량 세트(102)는 오브젝트를 식별하고 식별된 오브젝트의 하나 이상의 속성을 특성화하기 위한 비전 전용 기반 시스템으로 구성된 하나 이상의 차량에 대응한다. 차량 세트(102)는 지도(supervised) 학습 모델을 구현하는 기계 학습 알고리즘과 같은 기계 학습 알고리즘으로 구성되며, 이는 오브젝트를 식별하고 식별된 오브젝트의 속성(예컨대 위치, 속도 및 가속도 속성)을 특성화하기 위해 비전 시스템 입력만을 활용하도록 구성된다. 차량 세트(102)는 레이더 검출 시스템, LIDAR 검출 시스템 등과 같은 임의의 추가적인 검출 시스템 없이 구성될 수 있다.

예시적으로, 네트워크 서비스(110)는 본 출원의 양태에 적용되는 비전 전용 기반 시스템에 대한 기계 학습 알고리즘에 대한 구성/요청에 응답하는 기능을 제공할 수 있는 복수의 네트워크 기반 서비스를 포함할 수 있다. 도 1에 예시된 바와 같이, 네트워크 기반 서비스(110)는 차량(102) 및 시뮬레이션 콘텐트 시스템(120)으로부터 데이터 세트를 획득하고, 데이터 세트를 처리하여 기계 학습 알고리즘을 위한 훈련 자료를 형성하고, 비전 전용 기반 차량(102)을 위한 기계 학습 알고리즘을 생성할 수 있는 비전 정보 처리 컴포넌트(112)를 포함할 수 있다. 네트워크 기반 서비스는 차량 데이터 저장소(114) 및 기계 학습 알고리즘 데이터 저장소(116)를 포함하여, 본 출원의 양태와 관련된 다양한 정보를 유지하기 위한 복수의 데이터 저장소를 포함할 수 있다. 도 1의 데이터 저장소는 본질적으로 논리적이며 다양한 방식으로 네트워크 서비스(110)에서 구현될 수 있다.

네트워크 서비스(110)와 유사하게, 시뮬레이션 콘텐트 서비스(120)는 본 출원의 양태에 적용되는 기계 학습 애플리케이션을 위한 데이터의 시각적 프레임 및 관련 데이터 라벨을 제공하는 것과 관련된 기능을 제공할 수 있는 복수의 네트워크 기반 서비스를 포함할 수 있다. 도 1에 예시된 바와 같이, 네트워크 기반 서비스(120)는 정의된 속성/변수 세트에 따라 다양한 시뮬레이션 콘텐트 시나리오를 생성할 수 있는 시나리오 생성 컴포넌트(122)를 포함할 수 있다. 시뮬레이션 콘텐트 서비스(120)는 시나리오 클립 데이터 저장소(124) 및 실측 속성 데이터 저장소(126)를 포함하여, 본 출원의 양태와 관련된 다양한 정보를 유지하기 위한 복수의 데이터 저장소를 포함할 수 있다. 도 1의 데이터 저장소는 본질적으로 논리적이며 다양한 방식으로 시뮬레이션 콘텐트 서비스에서 구현될 수 있다.

예시를 위해, 도 2a는 본 출원의 하나 이상의 양태에 따른 차량(102)에 대응하는 환경을 예시한다. 환경은 본원에 설명된 바와 같은 차량의 동작 또는 정보의 수집을 위한 입력을 제공할 수 있는 로컬 센서 입력 모음을 포함한다. 로컬 센서의 모음에는 차량에 포함되거나 그렇지 않으면 동작 동안 차량에 의해 접근 가능한 하나 이상의 센서 또는 센서 기반 시스템이 포함될 수 있다. 로컬 센서 또는 센서 시스템은 차량에 통합될 수 있다. 대안적으로, 로컬 센서 또는 센서 시스템은 물리적 연결, 무선 연결 또는 이들의 조합과 같은 차량과 관련된 인터페이스에 의해 제공될 수 있다.

일 양태에서, 로컬 센서에는 오브젝트 검출, 검출된 오브젝트의 속성(예를 들어, 위치, 속도, 가속도), 환경 조건 존재(예를 들어, 눈, 비, 얼음, 안개, 연기 등) 등과 같은 입력을 차량에 제공하는 비전 시스템이 포함될 수 있다. 비전 시스템을 형성하기 위해 차량에 장착된 예시적인 카메라 모음이 도 2b와 관련하여 설명될 것이다. 앞서 설명된 바와 같이, 차량(102)은 다른 전통적인 검출 시스템의 지원 없이 또는 이를 대신하지 않고 정의된 차량 동작 기능을 위해 이러한 비전 시스템에 의존할 것이다.

또 다른 양태에서, 로컬 센서는 차량에 대한 포지셔닝 정보를 결정할 때 다양한 수준의 정확도를 허용하는 외부 소스로부터 기준 정보를 얻을 수 있는 하나 이상의 포지셔닝 시스템을 포함할 수 있다. 예를 들어, 포지셔닝 시스템은 GPS 소스, 무선 근거리 통신망(Wireless Local Area Network; WLAN) 액세스 포인트 정보 소스, 블루투스(Bluetooth) 정보 소스, 무선 주파수 식별(radio-frequency identification; RFID) 소스 등으로부터의 정보를 처리하기 위한 다양한 하드웨어 및 소프트웨어 컴포넌트를 포함할 수 있다. 일부 실시예들에서, 포지셔닝 시스템은 다수의 소스로부터 정보 조합을 획득할 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 입력 소스로부터 정보를 획득하고 차량의 포지셔닝 정보, 특히 현재 위치의 고도를 결정할 수 있다. 다른 실시예에서, 포지셔닝 시스템은 또한 주행 방향, 속도, 가속도 등과 같은 주행 관련 동작 파라미터를 결정할 수 있다. 포지셔닝 시스템은 자율 주행 애플리케이션, 향상된 주행 또는 사용자 지원 내비게이션 등을 포함한 다양한 목적을 위해 차량의 일부로 구성될 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 차량 파라미터 또는 프로세스 정보의 식별을 용이하게 하는 처리 컴포넌트 및 데이터를 포함할 수 있다.

또 다른 양태에서, 로컬 센서는 내비게이션 관련 정보를 식별하기 위한 하나 이상의 내비게이션 시스템을 포함할 수 있다. 예시적으로, 내비게이션 시스템은 포지셔닝 시스템으로부터 포지셔닝 정보를 획득하고 고도, 도로 등급 등과 같이 식별된 위치에 대한 특성이나 정보를 식별할 수 있다. 내비게이션 시스템은 또한 차량 사용자에게 제공되거나 예상되는 방향을 기반으로 다중 차선 도로에서 제안되거나 의도된 차선 위치를 식별할 수 있다. 위치 시스템과 유사하게, 내비게이션 시스템은 자율 주행 애플리케이션, 향상된 주행 또는 사용자 지원 내비게이션 등을 포함한 다양한 목적을 위해 차량의 일부로 구성될 수 있다. 내비게이션 시스템은 포지셔닝 시스템과 조합되거나 통합될 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 차량 파라미터 또는 프로세스 정보의 식별을 용이하게 하는 처리 컴포넌트 및 데이터를 포함할 수 있다.

로컬 리소스는 차량 또는 차량에 의해 접근 가능한 컴퓨팅 장치(예를 들어, 모바일 컴퓨팅 장치)에 호스팅될 수 있는 하나 이상의 처리 컴포넌트(들)를 더 포함한다. 처리 컴포넌트(들)는 예시적으로 다양한 로컬 센서 또는 센서 시스템으로부터의 입력에 액세스하고 본원에 설명된 바와 같이 입력된 데이터를 처리할 수 있다. 본 출원의 목적을 위해, 처리 컴포넌트(들)는 예시적인 양태와 관련된 하나 이상의 기능과 관련하여 설명될 것이다. 예를 들어, 차량(102)의 처리 컴포넌트(들)는 수집된 비전 정보에 대응하는 제1 데이터 세트를 수집하고 전송할 것이다.

환경은 하나 이상의 동작 상태에 따라 사용하기 위한 다양한 동작 파라미터에 관한 정보를 제공하도록 동작 가능한 다양한 추가 센서 컴포넌트 또는 감지 시스템을 더 포함할 수 있다. 환경은 통신 출력을 통한 데이터 전송, 메모리 내 데이터 생성, 다른 처리 컴포넌트로의 출력의 전송 등과 같은 출력을 처리하기 위한 하나 이상의 제어 컴포넌트를 더 포함할 수 있다.

이제 도 2b를 참조하면, 차량용 예시적인 비전 시스템(200)이 설명될 것이다. 비전 시스템(200)은 차량의 동작 동안 이미지 데이터를 캡처할 수 있는 카메라 세트를 포함한다. 상기에 설명된 바와 같이, 개별 이미지 정보는 예시된 이미지가 이미지의 특정 타임 스탬프를 나타내도록 특정 주파수에서 수신될 수 있다. 일부 실시예들에서, 이미지 정보는 HDR(high dynamic range) 이미지를 나타낼 수 있다. 예를 들어, 서로 다른 노출을 조합하여 HDR 이미지를 형성할 수 있다. 다른 예로서, 이미지 센서의 이미지는 사전 처리되어 이들을 (예를 들어, 기계 학습 모델을 사용하여) HDR 이미지로 변환할 수 있다.

도 2b에 예시된 바와 같이, 카메라 세트는 이미지 데이터를 캡처하는 전방 카메라 세트(202)를 포함할 수 있다. 전방 카메라는 차량의 앞 유리 부분에 장착되어 약간 더 높은 고도를 가질 수 있다. 도 2b에 예시된 바와 같이, 전방 카메라(202)는 합성 이미지를 생성하도록 구성된 다수의 개별 카메라를 포함할 수 있다. 예를 들어, 카메라 하우징은 전방을 가리키는 3개의 이미지 센서를 포함할 수 있다. 이 예에서, 이미지 센서 중 첫 번째는 광각(예를 들어, 어안) 렌즈를 가질 수 있다. 이미지 센서 중 두 번째는 일반 또는 표준 렌즈(예를 들어, 35mm 등가 초점 거리, 50mm 등가, 등)를 가질 수 있다. 이미지 센서 중 세 번째는 줌 또는 좁은 렌즈를 가질 수 있다. 이러한 방식으로, 차량의 전방 방향에서 다양한 초점 거리의 세 가지 이미지가 획득될 수 있다. 비전 시스템(200)은 차량의 도어 필러(door pillar)에 장착된 카메라 세트(204)를 더 포함한다. 비전 시스템(200)은 차량의 앞 범퍼에 장착된 2개의 카메라(206)를 더 포함할 수 있다. 추가적으로, 비전 시스템(200)은 후방 범퍼, 트렁크 또는 번호판 홀더에 장착된 후방 카메라(208)를 포함할 수 있다.

카메라 세트(202, 204, 206 및 208)는 모든 캡처된 이미지를 전용 컨트롤러/임베디드 시스템과 같은 하나 이상의 처리 컴포넌트(212)에 제공할 수 있다. 예를 들어, 처리 컴포넌트(212)는 기계 학습 모델과 연관된 정보를 신속하게 처리하도록 구성된 하나 이상의 매트릭스 프로세서를 포함할 수 있다. 처리 컴포넌트(212)는, 일부 실시예들에서, 콘볼루션 신경망을 통한 순방향 패스와 연관된 콘볼루션을 수행하는 데 사용될 수 있다. 예를 들어, 입력 데이터와 가중치 데이터가 콘볼루션될 수 있다. 처리 컴포넌트(212)는 콘볼루션을 수행하는 다수의 곱셈-누산 유닛을 포함할 수 있다. 일 예로서, 매트릭스 프로세서는 더 큰 콘볼루션 동작을 용이하게 하기 위해 구성되거나 형식화된 입력 및 가중치 데이터를 사용할 수 있다. 대안적으로, 이미지 데이터는 범용 처리 컴포넌트로 전송될 수 있다.

예시적으로, 개별 카메라는 처리를 위한 시각적 데이터의 별도 입력으로 개별적으로 동작하거나 간주될 수 있다. 다른 실시예들에서, 카메라 데이터의 하나 이상의 서브세트는 전방 카메라(202)의 트리오와 같은 합성 이미지 데이터를 형성하기 위해 조합될 수 있다. 도 2b에 추가로 예시된 바와 같이, 차량(102)과 같은 비전 전용 시스템을 통합한 차량과 관련된 실시예들에서, 검출 시스템이 210에 포함되지 않을 것이다.

이제 도 3a를 참조하면, 하나 이상의 로컬 리소스 또는 네트워크 서비스에 비전 정보 처리 컴포넌트(112)를 구현하기 위한 예시적인 아키텍처가 설명될 것이다. 비전 정보 처리 컴포넌트(112)는 오브젝트 인식, 내비게이션, 위치 서비스 등을 위한 기계 학습 알고리즘과 관련된 기능을 제공하는 컴포넌트/시스템의 일부일 수 있다.

도 3a의 아키텍처는 본질적으로 예시적인 것이며 비전 정보 처리 컴포넌트(112)에 대해 임의의 특정 하드웨어 또는 소프트웨어 구성을 요구하는 것으로 해석되어서는 안 된다. 도 3a에 도시된 비전 정보 처리 컴포넌트(112)의 일반적인 아키텍처는 본 개시의 양태를 구현하는데 사용될 수 있는 컴퓨터 하드웨어 및 소프트웨어 컴포넌트의 배열을 포함한다. 예시된 바와 같이, 비전 정보 처리 컴포넌트(112)는 처리 유닛(302), 네트워크 인터페이스(304), 컴퓨터 판독 가능 매체 드라이브(306) 및 입력/출력 장치 인터페이스(308)를 포함하며, 이들 모두는 통신 버스를 통해 서로 통신할 수 있다. 비전 정보 처리 컴포넌트(112)의 컴포넌트는 물리적 하드웨어 컴포넌트이거나 가상화된 환경에서 구현될 수 있다.

네트워크 인터페이스(304)는 도 1의 네트워크와 같은, 하나 이상의 네트워크 또는 컴퓨팅 시스템에 대한 연결성을 제공할 수 있다. 따라서 처리 유닛(302)은 네트워크를 통해 다른 컴퓨팅 시스템 또는 서비스로부터 정보 및 명령어를 수신할 수 있다. 처리 유닛(302)은 또한 메모리(310)와 통신할 수 있고 입력/출력 장치 인터페이스(308)를 통해 선택적인 디스플레이(도시되지 않음)에 대한 출력 정보를 더 제공할 수 있다. 일부 실시예들에서, 비전 정보 처리 컴포넌트(112)는 도 3a에 도시된 것보다 더 많은(또는 더 적은) 컴포넌트를 포함할 수 있다.

메모리(310)는 하나 이상의 실시예를 구현하기 위해 처리 유닛(302)이 실행하는 컴퓨터 프로그램 명령어를 포함할 수 있다. 메모리(310)는 일반적으로 RAM, ROM, 또는 기타 영구 또는 비일시적 메모리를 포함한다. 메모리(310)는 비전 정보 처리 컴포넌트(112)의 일반적인 관리 및 동작에서 처리 유닛(202)에 의해 사용하기 위한 컴퓨터 프로그램 명령어를 제공하는 인터페이스 소프트웨어(312) 및 운영 체제(314)를 저장할 수 있다. 메모리(310)는 본 개시의 양태를 구현하기 위한 컴퓨터 프로그램 명령어 및 기타 정보를 더 포함할 수 있다. 예를 들어, 일 실시예에서, 메모리(310)는 차량(102), 데이터 저장소, 기타 서비스 등과 같은 차량으로부터 정보(예를 들어, 캡처된 비디오 정보)를 획득하는 센서 인터페이스 컴포넌트(316)를 포함한다.

메모리(310)는 캡처된 비전 시스템 정보를 획득 및 처리하고 본원에 설명된 차량의 다양한 동작 상태에 따라 캡처된 비전 정보에 대한 추가 또는 대체 실측 라벨 정보를 생성하기 위한 비전 정보 처리 컴포넌트(318)를 더 포함한다. 메모리(310)는 비전 전용 기반 차량(102)에서 사용하기 위한 기계 학습 알고리즘을 생성하거나 훈련하기 위한 비전 기반 기계 학습 알고리즘 처리 컴포넌트(320)를 더 포함할 수 있다. 예시적으로, 일 실시예에서, 비전 기반 기계 학습 알고리즘 처리 컴포넌트(320)는 본원에 설명된 바와 같이 시뮬레이션 콘텐트 세트를 훈련 데이터로 활용할 수 있다. 비전 정보 처리 컴포넌트(112) 내에 조합된 컴포넌트로 예시되어 있지만, 관련 기술 분야의 당업자는 메모리(310)의 컴포넌트 중 하나 이상이 물리적 컴퓨팅 환경과 가상화된 컴퓨팅 환경 모두를 포함하는 개별화된 컴퓨팅 환경에서 구현될 수 있다는 것을 이해할 것이다.

이제 도 3b를 참조하면, 본 출원의 양태에 따른 시뮬레이션 콘텐트 서비스를 구현하기 위한 예시적인 아키텍처가 도시될 것이다. 시뮬레이션 콘텐트 서비스(122)는 오브젝트 인식, 내비게이션, 위치 서비스 등을 위한 기계 학습 알고리즘을 생성하는 것과 관련된 훈련 데이터와 같은 데이터를 제공하는 컴포넌트/시스템의 일부일 수 있다.

도 3b의 아키텍처는 본질적으로 예시적인 것이며 시뮬레이션 콘텐트 서비스(122)에 대해 임의의 특정 하드웨어 또는 소프트웨어 구성을 요구하는 것으로 해석되어서는 안 된다. 도 3b에 도시된 시뮬레이션 콘텐트 서비스(122)의 일반적인 아키텍처는 본 개시의 양태를 구현하는데 사용될 수 있는 컴퓨터 하드웨어 및 소프트웨어 컴포넌트의 배열을 포함한다. 예시된 바와 같이, V 시뮬레이션 콘텐트 서비스(122)는 처리 유닛(352), 네트워크 인터페이스(354), 컴퓨터 판독 가능 매체 드라이브(356) 및 입력/출력 장치 인터페이스(358)를 포함하며, 이들 모두는 통신 버스를 통해 서로 통신할 수 있다. 시뮬레이션 콘텐트 서비스(122)의 컴포넌트는 물리적 하드웨어 컴포넌트이거나 가상화된 환경에서 구현될 수 있다.

네트워크 인터페이스(354)는 도 1의 네트워크와 같은, 하나 이상의 네트워크 또는 컴퓨팅 시스템에 대한 연결성을 제공할 수 있다. 따라서 처리 유닛(352)은 네트워크를 통해 다른 컴퓨팅 시스템 또는 서비스로부터 정보 및 명령어를 수신할 수 있다. 처리 유닛(352)은 또한 메모리(360)와 통신할 수 있고 입력/출력 장치 인터페이스(358)를 통해 선택적인 디스플레이(도시되지 않음)에 대한 출력 정보를 더 제공할 수 있다. 일부 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 도 3b에 도시된 것보다 더 많은(또는 더 적은) 컴포넌트를 포함할 수 있다.

메모리(360)는 하나 이상의 실시예를 구현하기 위해 처리 유닛(352)이 실행하는 컴퓨터 프로그램 명령어를 포함할 수 있다. 메모리(360)는 일반적으로 RAM, ROM, 또는 기타 영구 또는 비일시적 메모리를 포함한다. 메모리(360)는 시뮬레이션 콘텐트 서비스(122)의 일반적인 관리 및 동작에서 처리 유닛(352)에 의해 사용하기 위한 컴퓨터 프로그램 명령어를 제공하는 인터페이스 소프트웨어(362) 및 운영 체제(364)를 저장할 수 있다.

메모리(360)는 본 개시의 양태를 구현하기 위한 컴퓨터 프로그램 명령어 및 기타 정보를 더 포함할 수 있다. 예를 들어, 일 실시예에서, 메모리(360)는 차량(102), 데이터 저장소, 기타 서비스 등과 같은 차량으로부터 비전 시스템 정보를 획득하는 비전 정보 인터페이스 컴포넌트(366)를 포함한다. 메모리(360)는 수신된 비전 시스템 데이터 또는 데이터 라벨(예를 들어, 실측 라벨 데이터)을 획득 및 처리하고, 본원에 설명된 바와 같이 시뮬레이션 콘텐트 속성 데이터의 비전 시스템 데이터를 처리하기 위한 모델 훈련 컴포넌트(368)를 더 포함한다. 메모리(360)는 비전 전용 기반 차량(102)에서 사용하기 위한 기계 학습 알고리즘에 대한 훈련 데이터를 생성하기 위한 비전 기반 기계 학습 알고리즘 처리 컴포넌트(370)를 더 포함할 수 있다.

시뮬레이션 콘텐트 서비스(122) 내에 조합된 컴포넌트로 예시되어 있지만, 관련 기술 분야의 당업자는 메모리(310)의 컴포넌트 중 하나 이상이 물리적 컴퓨팅 환경과 가상화된 컴퓨팅 환경 모두를 포함하는 개별화된 컴퓨팅 환경에서 구현될 수 있다는 것을 이해할 것이다.

이제 도 4a 내지 4c로 돌아가서, 비전 시스템 데이터를 처리하고 시뮬레이션 콘텐트 시스템 데이터를 생성하여 기계 학습 알고리즘에 대한 훈련 모델을 업데이트하는 환경의 컴포넌트에 대한 예시적인 상호 작용이 설명될 것이다. (1)에서, 하나 이상의 차량(102)은 입력 세트(예를 들어, 제1 데이터 세트)를 수집하고 전송할 수 있다. 제1 데이터 세트는 예시적으로 차량(102)의 비전 시스템(200)에 의해 수집된 비디오 이미지 데이터 및 임의의 관련 메타데이터 또는 기타 속성에 대응한다.

예시적으로, 차량(102)은 비전 시스템 데이터를 수집하고 수집된 데이터를 전송하도록 구성될 수 있다. 예시적으로, 차량(102)은 캡처된 비전 시스템 정보에 대한 실측 라벨 정보를 적어도 부분적으로 생성하기 위해 비전 시스템에서의 처리 능력을 포함할 수 있다. 다른 실시예들에서, 차량(102)은 캡처된 비전 시스템 정보(임의의 실측 라벨이 있거나 없이)를 예컨대 네트워크(110) 내 다른 서비스로 전송할 수 있다. 그런 다음 추가 서비스는 실측 라벨 정보를 (수동으로 또는 자동으로) 추가할 수 있다. 예를 들어, 수집된 비전 시스템 데이터는 주기적인 타임프레임 또는 다양한 수집/전송 기준에 기초하여 전송될 수 있다. 또한, 일부 실시예들에서, 차량(102)은 또한 예컨대 지리적 좌표 또는 기타 식별자 등을 통해 수집된 데이터의 수집 및 전송을 초래하는 특정 시나리오 또는 위치를 식별하도록 구성될 수 있다. 도 4a에 도시된 바와 같이, (2)에서, 수집된 비전 시스템 데이터는 차량(102)으로부터 직접 또는 네트워크 서비스(110)를 통해 간접적으로 시뮬레이션 콘텐트 서비스(122)로 전송될 수 있다.

(3)에서, 시뮬레이션 콘텐트 서비스(122)는 차량(102)으로부터 수집된 비전 시스템 데이터 및 실측 라벨을 수신하고 처리한다. 예시적으로, 시뮬레이션 콘텐트 서비스(122)는 비디오 데이터의 손실 프레임 완성, 버전 정보 업데이트, 오류 정정 등과 같은 비전 기반 데이터를 처리할 수 있다. 추가적으로, (3)에서, 일부 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 수집된 비전 시스템 데이터를 추가로 처리하여 캡처된 비디오 데이터에 대한 실측 라벨을 식별할 수 있다. 또 다른 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 추가 소스에 누락되거나 잘못된 실측 라벨 정보를 요청하거나 추가 소스로부터 이를 획득할 수 있다. 예시적으로, 실측 라벨은 비디오 데이터에 묘사될 수 있는 다양한 검출 가능한 오브젝트 중 어느 하나에 대응할 수 있다. 일 실시예에서, 실측 라벨 데이터는 도로 가장자리를 식별하는 정보를 포함할 수 있으며, 이는 (하나의 예시적인 실시예에 설명된 바와 같이) 시뮬레이션 콘텐트의 생성 시 더 높은 우선순위 또는 중요성을 가질 수 있다. 추가적으로, 실측 라벨 데이터는 차선, 차선 중앙 등과 같은, 식별된 도로 가장자리 및 하나 이상의 고정 오브젝트(예를 들어, 도로 사인, 마커 등)에 따른 정보를 포함할 수 있다. 또한, 일부 실시예들에서, 실측 라벨 데이터는 차량, 동적 장애물, 환경 오브젝트 등과 같은 하나 이상의 식별된 오브젝트와 관련된 동적 오브젝트 데이터를 포함할 수 있다. 일부 실시예들에서, (3)에 설명된 바와 같이 수신된 비전 데이터 및 실측 라벨 정보의 추가 처리가 필요하지 않을 수 있다.

(4)에서, 시뮬레이션 콘텐트 서비스(122)는 시뮬레이션 콘텐트에 대한 콘텐트 모델을 형성 시 활용하기 위해 실측 라벨 데이터를 처리할 수 있다. 예시적으로, 시뮬레이션 콘텐트 서비스(122)는 시뮬레이션 콘텐트의 기초로 사용될 코어 실측 라벨 데이터를 식별/추출하기 위한 우선순위에 따라 실측 라벨을 처리할 수 있다. 예시적으로, 차선 가장자리 실측 라벨은 높거나 더 높은 우선순위를 갖는 것으로 간주될 수 있다. 차선 라벨, 차선 중앙 라벨, 정적 오브젝트 라벨 또는 동적 오브젝트 라벨과 같은 추가 실측 라벨 데이터는 차선 라벨 데이터와 관련하여 또는 서로에 대해 낮거나 더 낮은 우선순위와 연관될 수 있다. 일부 실시예들에서, 라벨 데이터는 시뮬레이션 콘텐트로 대체될 수 있거나 아니면 시뮬레이션 콘텐트를 생성하는 데 필요하지 않은 하나 이상의 라벨(예를 들어, 동적 오브젝트)을 제거하도록 필터링될 수 있다. 예시의 목적을 위해, 처리된 실측 라벨 세트는 시뮬레이션 콘텐트에 대한 콘텐트 모델 속성으로 간주될 수 있다. 또한, 다른 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 형성될 시뮬레이션 콘텐트의 특성에 기초하여 사전 구성된 템플릿 또는 표준화된 실측 라벨의 템플릿을 활용할 수 있다. 예를 들어, 도시 환경(예를 들어, 비지니스 지구)에서 캡처된 비전 정보에 대한 시뮬레이션 콘텐트는 이러한 비지니스 지구에 일반적으로 존재하는 것으로 간주될 수 있는 고정 오브젝트, 빌딩, 사이니지, 신호등 등의 템플릿을 활용할 수 있다.

(5)에서, 시뮬레이션 콘텐트 서비스(122)는 시뮬레이션 콘텐트의 추후 생성을 위한 모델을 생성한다. 예시적으로, 시뮬레이션 콘텐트 서비스(122)는 수집된 실측 라벨 데이터를 처리하고 본원에 설명된 바와 같은 시뮬레이션 콘텐트 세트를 형성하기 위한 변형을 생성하기 위한 실측 라벨 세트를 준비할 수 있다. 이러한 처리에는 오류 조정, 외삽, 변형 등에 대한 수정이 포함될 수 있다.

(6)에서, 시뮬레이션 콘텐트 서비스(122)는 각 클립에 대한 인덱스 데이터 또는 속성 데이터(예를 들어, 메타데이터) 또는 데이터의 선택, 소팅(sorting) 또는 유지 관리를 용이하게 하는 시뮬레이션 콘텐트 데이터를 생성할 수 있다. 인덱스 또는 속성 데이터에는 위치 식별, 시뮬레이션된 오브젝트의 유형, 생성된/사용 가능한 변형의 수, 시뮬레이션된 환경 조건, 추적 정보, 원본 소스 정보 등이 포함될 수 있다. 도 4a의 목적을 위해, 시뮬레이션 콘텐트는 도 4b와 관련하여 설명될 훈련 세트를 형성하기 위한 시나리오에 대한 특정 요청/필요 없이 생성될 수 있다.

도 4b를 참조하면, 예시적으로, 저장 및 인덱싱된 시뮬레이션 콘텐트 정보는 훈련 데이터의 일부로서 네트워크 서비스(110)에 제공될 수 있다. (1)에서, 시뮬레이션 콘텐트 서비스(122)는 (생성될 또는 이전에 생성된) 콘텐트 모델을 선택하기 위한 선택 또는 기준을 수신할 수 있다. 예시적으로, 컴퓨팅 장치(104)는 소팅 기준과 같은 기준을 제공하는 데 활용될 수 있다. 일부 실시예들에서, 시뮬레이션 콘텐트에 대한 요청은 시뮬레이션 콘텐트의 속성을 제공하는 데 활용된다. 따라서, 시뮬레이션 콘텐트의 생성은 시뮬레이션 콘텐트 자체를 생성 시 시뮬레이션 콘텐트에 대한 요청에 응답하는 것으로 간주될 수 있다. 따라서, 시뮬레이션 콘텐트의 생성은 본질적으로 동기적이거나 본질적으로 종속적인 것으로 간주될 수 있다. 다른 실시예들에서, 요청은 시뮬레이션 콘텐트 서비스(122)가 시뮬레이션 콘텐트에 대한 개별 요청에 종속되지 않는 사전 구성된 속성 또는 구성에 기초하여 시뮬레이션 콘텐트를 생성할 수 있도록 인덱스 값 또는 속성의 간단한 선택일 수 있다. 따라서, 시뮬레이션 콘텐트의 생성은 요청과 관련하여 독립적인 것으로 간주될 수 있다.

(2)에서, 그런 다음 네트워크 서비스(110)는 요청을 처리하고 예컨대 인덱스 데이터 등을 통해 생성된 시뮬레이션 콘텐트 모델을 식별할 수 있다. (3)에서, 시뮬레이션 콘텐트 서비스(122)는 보충 비디오 이미지 데이터 및 관련 속성 데이터를 생성한다. 예시적으로, 시뮬레이션 콘텐트 시스템(120)은 변경될 수 있는 변수 또는 속성 세트를 활용하여 보충 콘텐트로 사용하기 위한 다양한 시나리오 또는 장면을 생성할 수 있다. 예를 들어, 시뮬레이션 콘텐트 시스템(120)은 색상 속성, 오브젝트 유형 속성, 가속도 속성, 동작 속성, 데이터 시간 속성, 위치/포지션 속성, 날씨 조건 속성 및 차량 밀도 속성을 활용하여 식별된 오브젝트와 관련된 다양한 시나리오를 생성할 수 있다. 예시적으로, 보충 콘텐트는 차량 세트(102)에 의해 발생하거나 측정될 가능성이 적을 수 있는 실제 시나리오를 에뮬레이트하는 데 활용될 수 있다. 예를 들어, 보충 콘텐트는 안전하지 않거나 위험한 조건에 대응하는 다양한 시나리오를 에뮬레이트할 수 있다.

시뮬레이션 콘텐트 시스템(120)은 예시적으로 기계 학습 알고리즘을 편향할 가능성이 있는 사소한 차이(예를 들어, 오브젝트의 색상에 의해서만 변하는 유사한 시나리오)에 기초한 반복을 피하기 위해 시나리오의 통계적 선택을 활용할 수 있다. 추가적으로, 보충 콘텐트 프레임의 수와 하나 이상의 변수의 차이 분포에 대한 시뮬레이션 콘텐트 시스템 시뮬레이션 콘텐트 서비스(122). 예시적으로, 시뮬레이션 콘텐트 서비스(122)로부터의 출력은 네트워크 서비스(110)에 의해 검출되거나 처리될 수 있는 하나 이상의 속성(예를 들어, 위치, 속도 및 가속도)을 식별하는 라벨(예를 들어, 실측 정보)을 포함할 수 있다. 이와 관련하여, 시뮬레이션 콘텐트 데이터 세트는 세부적인 라벨을 용이하게 할 수 있으며 다양한 기계 학습 훈련 세트의 필요에 따라 동적으로 조정될 수 있다. (4)에서, 시뮬레이션 콘텐트 훈련 세트는 네트워크 서비스(110)로 전송된다.

이제 도 4c로 돌아가서, 네트워크 서비스(110)가 훈련 세트를 수신하면, (1)에서 네트워크 서비스(110)는 훈련 세트를 처리한다. (2)에서, 네트워크 서비스(100)는 조합된 데이터 세트에 대한 훈련을 기반으로 업데이트된 기계 학습 알고리즘을 생성한다. 예시적으로, 네트워크 서비스(110)는 다양한 기계 학습 모델을 활용하여 업데이트된 기계 학습 알고리즘을 생성할 수 있다.

이제 도 5로 돌아가면, 수집된 비전 및 시뮬레이션 콘텐트 시스템 데이터를 처리하기 위한 루틴(500)이 설명될 것이다. 루틴(500)은 예시적으로 시뮬레이션 콘텐트 서비스(122)에 의해 구현된다. 상기에 설명된 바와 같이, 루틴(500)은 비전 시스템 데이터 및 캡처된 비전 시스템 데이터에 대한실측 라벨 데이터를 포함하는 타겟 차량(들)(102)이 처리에 이용 가능한 후에 구현될 수 있다. 예시적으로, 차량(102)은 비전 시스템 데이터를 수집하고 수집된 데이터 및 관련 실측 라벨을 전송하도록 구성될 수 있다. 예를 들어, 수집된 비전 시스템 데이터는 주기적인 타임프레임 또는 다양한 수집/전송 기준에 기초하여 전송될 수 있다. 또한, 일부 실시예들에서, 차량(102)은 또한 예컨대 지리적 좌표 또는 기타 식별자 등을 통해 수집된 데이터의 수집 및 전송을 초래하는 특정 시나리오 또는 위치를 식별하도록 구성될 수 있다. 상기에 설명된 바와 같이, 차량(102)은 캡처된 비전 시스템 정보에 대한 실측 라벨 정보를 적어도 부분적으로 생성하기 위해 비전 시스템에서의 처리 능력을 포함할 수 있다. 다른 실시예들에서, 차량(102)은 캡처된 비전 시스템 정보(임의의 실측 라벨이 있거나 없이)를 예컨대 네트워크(110) 내 다른 서비스로 전송할 수 있다. 그런 다음 추가 서비스는 실측 라벨 정보를 (수동으로 또는 자동으로) 추가할 수 있다. 따라서, 도 4a에 앞서 예시된 바와 같이, 수집된 비전 시스템 데이터는 차량(102)으로부터 직접 또는 네트워크 서비스(110)를 통해 간접적으로 시뮬레이션 콘텐트 서비스(122)로 전송될 수 있다.

블록(502)에서, 시뮬레이션 콘텐트 서비스(122)는 차량(102)으로부터 (직접 또는 간접적으로) 수집된 비전 시스템 데이터 및 실측 라벨 정보를 수신하고 처리한다. 예시적으로, 시뮬레이션 콘텐트 서비스(122)는 비디오 데이터의 손실 프레임 완성, 버전 정보 업데이트, 오류 정정 등과 같은 비전 기반 데이터를 처리할 수 있다.

블록(504)에서, 시뮬레이션 콘텐트 서비스(122)는 수집된 비전 시스템 데이터를 선택적으로 처리하여 캡처된 비디오 데이터에 대한 실측 라벨을 식별할 수 있다. 다른 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 추가 소스에 누락되거나 잘못된 실측 라벨 정보를 요청하거나 아니면 추가 소스로부터 이를 획득할 수 있다. 또 다른 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 임의의 연관된 캡처된 비전 시스템 데이터 없이 단지 실측 라벨 정보를 얻을 수 있다. 예시적으로, 실측 라벨은 비디오 데이터에 묘사될 수 있는 다양한 검출 가능한 오브젝트 중 어느 하나에 대응할 수 있다. 일 실시예에서, 실측 라벨 데이터는 도로 가장자리를 식별하는 정보를 포함할 수 있다. 추가적으로, 실측 라벨 데이터는 차선, 도로 중앙 및 하나 이상의 고정 오브젝트(예를 들어, 도로 사인, 마커 등)와 같은 식별된 도로 가장자리에 따른 정보를 포함할 수 있다. 또한, 일부 실시예들에서, 실측 라벨 데이터는 차량, 동적 장애물, 환경 오브젝트 등과 같은 하나 이상의 식별된 오브젝트와 관련된 동적 오브젝트 데이터를 포함할 수 있다.

블록(506)에서, 시뮬레이션 콘텐트 서비스(122)는 실측 라벨 데이터를 처리하여 시뮬레이션 콘텐트의 기초를 형성할 모델 속성을 식별할 수 있다. 예시적으로, 시뮬레이션 콘텐트 서비스(122)는 시뮬레이션 콘텐트의 기초로 사용될 코어 실측 라벨 데이터를 식별/추출하기 위한 우선순위에 따라 실측 라벨을 처리할 수 있다. 예시적으로, 차선 가장자리 실측 라벨은 높거나 더 높은 우선순위를 갖는 것으로 간주될 수 있다. 차선 라벨, 차선 중앙 라벨, 정적 오브젝트 라벨 또는 동적 오브젝트 라벨과 같은 추가 실측 라벨 데이터는 차선 라벨 데이터와 관련하여 또는 서로에 대해 낮거나 더 낮은 우선순위와 연관될 수 있다. 일부 실시예들에서, 라벨 데이터는 시뮬레이션 콘텐트로 대체될 수 있거나 아니면 시뮬레이션 콘텐트를 생성하는 데 필요하지 않은 하나 이상의 라벨(예를 들어, 동적 오브젝트)을 제거하도록 필터링될 수 있다. 예시의 목적을 위해, 처리된 실측 라벨 세트는 시뮬레이션 콘텐트에 대한 콘텐트 모델 속성으로 간주될 수 있다. 또한, 다른 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 형성될 시뮬레이션 콘텐트의 특성에 기초하여 사전 구성된 템플릿 또는 표준화된 실측 라벨의 템플릿을 활용할 수 있다. 예를 들어, 도시 환경(예를 들어, 비지니스 지구)에서 캡처된 비전 정보에 대한 시뮬레이션 콘텐트는 이러한 비지니스 지구에 일반적으로 존재하는 것으로 간주될 수 있는 고정 오브젝트, 빌딩, 사이니지, 신호등 등의 템플릿을 활용할 수 있다.

블록(508)에서, 시뮬레이션 콘텐트 서비스(122)는 시뮬레이션 콘텐트의 추후 생성을 위한 모델을 생성한다. 예시적으로, 시뮬레이션 콘텐트 서비스(122)는 수집된 실측 라벨 데이터를 처리하고 본원에 설명된 바와 같은 시뮬레이션 콘텐트 세트를 형성하기 위한 변형을 생성하기 위한 실측 라벨 세트를 준비할 수 있다. 이러한 처리는 블록(510)에 대한 수정을 포함하며, 시뮬레이션 콘텐트 서비스(122)는 각 클립에 대한 인덱스 데이터 또는 속성 데이터(예를 들어, 메타데이터) 또는 데이터의 선택, 소팅(sorting) 또는 유지 관리를 용이하게 하는 시뮬레이션 콘텐트 데이터를 생성할 수 있다. 인덱스 또는 속성 데이터에는 위치 식별, 시뮬레이션된 오브젝트의 유형, 생성된/사용 가능한 변형의 수, 시뮬레이션된 환경 조건, 추적 정보, 원본 소스 정보 등이 포함될 수 있다. 블록(512)에서, 시뮬레이션 콘텐트 서비스(122)는 생성된 콘텐트 모델 속성과 식별된 인덱스 및 모델 속성을 저장한다. 루틴(500)은 블록(514)에서 종료된다.

이제 도 6으로 돌아가면, 수집된 비전 및 시뮬레이션 콘텐트 시스템 데이터를 사용하여 업데이트된 기계 학습 알고리즘을 생성하기 위한 루틴(600)이 설명될 것이다. 루틴(600)은 예시적으로 시뮬레이션 콘텐트 서비스(122)에 의해 구현된다. 블록(602)에서, 시뮬레이션 콘텐트 서비스(122)는 데이터를 선택하기 위한 선택 또는 기준을 수신할 수 있다. 예시적으로, 컴퓨팅 장치(104)는 소팅 기준과 같은 기준을 제공하는 데 활용될 수 있다. 일부 실시예들에서, 시뮬레이션 콘텐트에 대한 요청은 시뮬레이션 콘텐트의 속성을 제공하는 데 활용된다. 따라서, 시뮬레이션 콘텐트의 생성은 시뮬레이션 콘텐트 자체를 생성 시 시뮬레이션 콘텐트에 대한 요청에 응답하는 것으로 간주될 수 있다. 따라서, 시뮬레이션 콘텐트의 생성은 본질적으로 동기적이거나 본질적으로 종속적인 것으로 간주될 수 있다. 다른 실시예들에서, 요청은 시뮬레이션 콘텐트 서비스(122)가 시뮬레이션 콘텐트에 대한 개별 요청에 종속되지 않는 사전 구성된 속성 또는 구성에 기초하여 시뮬레이션 콘텐트를 생성할 수 있도록 인덱스 값 또는 속성의 간단한 선택일 수 있다. 따라서, 시뮬레이션 콘텐트의 생성은 요청과 관련하여 독립적인 것으로 간주될 수 있다.

블록(604)에서, 그런 다음 시뮬레이션 콘텐트 서비스(122)는 요청을 처리하고 예컨대 인덱스 데이터를 통해 생성된 시뮬레이션 콘텐트 모델을 식별한다. 그런 다음 시뮬레이션 콘텐트 서비스(112)는 시뮬레이션 콘텐트 세트를 생성하는 데 사용될 속성 또는 변수를 식별할 수 있다. 예시적으로, 시뮬레이션 콘텐트 시스템(120)은 변경될 수 있는 변수 또는 속성 세트를 활용하여 보충 콘텐트로 사용하기 위한 다양한 시나리오 또는 장면을 생성할 수 있다. 예를 들어, 시뮬레이션 콘텐트 시스템(120)은 색상 속성, 오브젝트 유형 속성, 가속도 속성, 동작 속성, 데이터 시간 속성, 위치/포지션 속성, 날씨 조건 속성 및 차량 밀도 속성을 활용하여 식별된 오브젝트와 관련된 다양한 시나리오를 생성할 수 있다. 예시적으로, 보충 콘텐트는 차량 세트(102)에 의해 발생하거나 측정될 가능성이 적을 수 있는 실제 시나리오를 에뮬레이트하는 데 활용될 수 있다. 예를 들어, 보충 콘텐트는 안전하지 않거나 위험한 조건에 대응하는 다양한 시나리오를 에뮬레이트할 수 있다.

시뮬레이션 콘텐트 시스템(120)은 예시적으로 기계 학습 알고리즘을 편향할 가능성이 있는 사소한 차이(예를 들어, 오브젝트의 색상에 의해서만 변하는 유사한 시나리오)에 기초한 반복을 피하기 위해 시나리오의 통계적 선택을 활용할 수 있다. 추가적으로, 보충 콘텐트 프레임의 수와 하나 이상의 변수의 차이 분포에 대한 시뮬레이션 콘텐트 시스템 시뮬레이션 콘텐트 서비스(122). 예시적으로, 시뮬레이션 콘텐트 서비스(122)로부터의 출력은 네트워크 서비스(110)에 의해 검출되거나 처리될 수 있는 하나 이상의 속성(예를 들어, 위치, 속도 및 가속도)을 식별하는 라벨(예를 들어, 실측 정보)을 포함할 수 있다. 이와 관련하여, 시뮬레이션 콘텐트 데이터 세트는 세부적인 라벨을 용이하게 할 수 있으며 다양한 기계 학습 훈련 세트의 필요에 따라 동적으로 조정될 수 있다.

블록(606)에서, 시뮬레이션 콘텐트 서비스(122)는 보충 비디오 이미지 데이터 및 관련 속성 데이터를 생성한다. 블록(608)에서, 시뮬레이션 콘텐트 훈련 세트는 네트워크 서비스(110)로 전송된다. 일부 실시예들에서, 시뮬레이션 콘텐트 서비스(122)는 훈련 세트를 저장하거나 특정 기준에 기초하거나 요청에 따라 전송할 수 있다. 블록(610)에서, 루틴(600)은 종료된다. 예시적인 이점을 위해, 시뮬레이션 콘텐트 시스템(122)은 캡처된 비전 정보로부터만 훈련 세트 데이터를 형성하거나 시뮬레이션 콘텐트를 수동으로 생성함으로써 매우 효율적이고 전통적인 방법론보다 훨씬 더 적은 시간을 요구하는 방식으로 기계 학습 알고리즘을 훈련시키기 위한 훈련 세트를 생성할 수 있다. 이는 결정되거나 시뮬레이션 콘텐트 서비스(122)에 제공되는 임의 개수의 기준에 기초하여 지속적으로 최적화될 수 있는 기계 학습 알고리즘의 상당한 이점과 향상된 성능을 생성한다.

전술한 개시는 본 개시를 개시된 정확한 형태 또는 특정 사용 분야로 제한하려는 의도가 아니다. 이와 같이, 본원에 명시적으로 기술되든 또는 암시되든, 본 개시에 대한 다양한 대체 실시예 및/또는 수정이 본 개시에 비추어 가능하다는 것이 고려된다. 따라서 본 개시의 실시예를 설명하였지만, 당업자는 본 개시의 범위를 벗어나지 않고 형태 및 세부 사항에 있어서 변경이 이루어질 수 있다는 것을 인식할 것이다. 따라서, 본 개시는 청구범위에 의해서만 제한된다.

전술한 명세서에서, 본 개시는 특정 실시예를 참조하여 설명되었다. 그러나, 당업자라면 이해할 수 있듯이, 본원에 개시된 다양한 실시예들은 본 개시의 정신 및 범위를 벗어나지 않고 다양한 다른 방식으로 수정되거나 구현될 수 있다. 따라서, 이 설명은 예시적인 것으로 간주되어야 하며 개시된 결정 및 제어 알고리즘의 다양한 실시예를 만들고 사용하는 방식을 당업자에게 교시하기 위한 것이다. 본원에 도시되고 설명된 개시의 형태는 대표적인 실시예로 간주되어야 한다는 것이 이해되어야 한다. 동등한 요소, 재료, 프로세스 또는 단계가 본원에 대표적으로 예시되고 설명된 것들을 대체할 수 있다. 더욱이, 본 개시의 특정 특징은 다른 특징의 사용과 독립적으로 활용될 수 있으며, 이는 모두 본 개시의 설명의 이점을 얻은 후에 당업자에게 명백할 것이다. 본 개시를 설명하고 청구하기 위해 사용된 "포함하는(including)", "포함하는(comprising)", "병합하는(incorporating)", "구성되는(consisting of)", "갖는(have)", "이다(is)"와 같은 표현은 비배타적인 방식으로 해석되도록 의도되는 것으로, 즉 명시적으로 설명되지 않은 품목, 컴포넌트 또는 요소도 존재할 수 있도록 허용하는 것이다. 단수에 대한 언급은 또한 복수에 관련된 것으로 해석되어야 한다.

또한, 본원에 개시된 다양한 실시예들은 예시적이고 설명적인 의미로 받아들여져야 하며 어떠한 방식으로든 본 개시를 제한하는 것으로 해석되어서는 안 된다. 모든 조인더 참조(예를 들어, 첨부(attached), 첨부(affixed), 결합, 연결 등)는 본 개시에 대한 독자의 이해를 돕기 위해서만 사용되며, 특히 시스템의 위치, 방향 또는 사용 및/또는 본원에 개시된 방법과 관련하여 제한을 만들지 않을 수 있다. 따라서 조인더 참조(있는 경우)는 광범위하게 해석되어야 한다. 더욱이, 이러한 조인더 참조는 반드시 두 요소가 서로 직접 연결되어 있다고 추론하는 것은 아니다.

추가적으로, 이에 제한되는 것은 아니나, "제1", "제2", "제3", "1차", "2차", "주" 또는 임의의 기타 일반적인 및/또는 숫자 용어와 같은 모든 수치 용어는 또한 본 개시의 다양한 요소, 실시예, 변형 및/또는 수정에 대한 독자의 이해를 돕기 위해 식별자로만 간주되어야 하며, 특히 다른 요소, 실시예, 변형 및/또는 수정에 대한 또는 그에 대한 임의의 요소, 실시예, 변형 및/또는 수정의 순서 또는 선호도에 대해 어떠한 제한도 만들지 않을 수 있다.

또한, 그림/도면에 묘사된 요소 중 하나 이상은 더 분리되거나 통합된 방식으로 구현될 수도 있거나, 특정 애플리케이션에 따라 유용한 것처럼 특정 경우에 심지어 제거되거나 작동 불가능한 것으로 렌더링될 수도 있다는 것이 이해될 것이다.

Claims

차량 내 비전 시스템을 관리하기 위한 시스템에 있어서, 상기 시스템은,
적어도 하나의 기계 학습 알고리즘에 따라 하나 이상의 비전 시스템으로부터 캡처된 비전 데이터를 생성하고 처리하기 위한 시스템을 포함하는 복수의 차량으로서, 하나 이상의 비전 시스템으로부터 캡처된 상기 비전 데이터는 실측 라벨과 연관되는, 상기 복수의 차량;
상기 복수의 차량에 의해 실행하기 위한 상기 적어도 하나의 기계 학습 알고리즘을 생성하는 것에 응답하는 비전 시스템 정보 처리 컴포넌트를 구현하기 위한 컴퓨터 실행 가능 명령어를 실행하는, 처리 장치 및 메모리를 포함하는 하나 이상의 컴퓨팅 시스템으로서, 상기 적어도 하나의 기계 학습 알고리즘은 세트 훈련 데이터로부터 생성되는, 상기 하나 이상의 컴퓨팅 시스템; 및
시뮬레이션 콘텐트 생성 서비스를 구현하기 위한 컴퓨터 실행 가능 명령어를 실행하는, 처리 장치 및 메모리를 포함하는 하나 이상의 컴퓨팅 시스템으로서, 상기 시뮬레이션 콘텐트 생성 서비스는,
상기 복수의 차량 중 하나 이상으로부터 수집된 비전 데이터와 연관된 실측 라벨 데이터를 획득하고;
상기 수집된 비전 데이터와 연관된 상기 획득된 실측 라벨 데이터를 처리하여 콘텐트 모델을 생성하는 데 사용하기 위한 선택된 실측 라벨 데이터를 형성하되, 상기 선택된 실측 라벨 데이터의 형성은 시뮬레이션 모델 콘텐트를 생성하기 위한 콘텐트 모델 속성의 순서화된 우선순위에 기초하고;
상기 생성된 시뮬레이션 모델 콘텐트에 기초하여 인덱스 데이터 또는 콘텐트 모델 속성 데이터 중 적어도 하나를 관련시키고;
상기 생성된 시뮬레이션 모델 콘텐트와 상기 인덱스 데이터 및 콘텐트 모델 속성 데이터 중 적어도 하나를 저장하도록 동작 가능한, 상기 하나 이상의 컴퓨팅 시스템을 포함하는, 시스템.
제1항에 있어서, 상기 선택된 실측 라벨 데이터의 형성은 도로 가장자리에 대응하는 실측 라벨 데이터를 식별하는 단계를 포함하는, 시스템.
제2항에 있어서, 상기 선택된 실측 라벨 데이터의 형성은 식별된 도로 가장자리에 기초하여 하나의 정적 오브젝트에 대응하는 실측 라벨 데이터를 후속 식별하는 단계를 포함하는, 시스템.
제3항에 있어서, 상기 정적 오브젝트는 상기 식별된 도로 가장자리에 기초한 차선에 대응하는, 시스템.
제3항에 있어서, 상기 정적 오브젝트는 상기 식별된 도로 가장자리에 기초한 차선 중앙에 대응하는, 시스템.
제3항에 있어서, 상기 정적 오브젝트는 상기 식별된 도로 가장자리에 기초한 고정 오브젝트에 대응하는, 시스템.
제2항에 있어서, 상기 선택된 실측 라벨 데이터의 형성은 식별된 도로 가장자리에 기초한 적어도 하나의 동적 오브젝트에 대응하는 실측 라벨 데이터를 후속 식별하는 단계를 포함하는, 시스템.
제1항에 있어서, 상기 시뮬레이션 콘텐트 생성 서비스는 상기 획득된 실측 라벨 데이터로부터 적어도 하나의 실측 라벨을 필터링하는, 시스템.
제1항에 있어서, 상기 인덱스 데이터는 지오 해시(geo hash) 정보에 대응하는, 시스템.
제1항에 있어서, 상기 선택된 실측 라벨 데이터의 형성은 적어도 하나의 추가 실측 라벨을 포함하는 단계를 포함하며, 상기 적어도 하나의 추가 실측 라벨은 선택된 템플릿에 기초하는, 시스템.
차량 내 비전 시스템을 관리하기 위한 방법으로서, 상기 시스템은,
수집된 비전 데이터와 연관된 실측 라벨 데이터를 획득하는 단계로서, 상기 수집된 비전 데이터는 차량의 비전 시스템에 대응하는, 상기 획득하는 단계;
상기 획득된 실측 라벨 데이터에 기초하여 하나 이상의 콘텐트 모델 속성을 식별하는 단계;
상기 콘텐트 모델 속성의 서브세트에 기초하여 시뮬레이션 모델 콘텐트를 생성하는 단계; 및
상기 생성된 시뮬레이션 모델 콘텐트를 저장하는 단계를 포함하는, 방법.
제11항에 있어서, 상기 콘텐트 모델 속성의 서브세트를 식별하기 위해 콘텐트 모델 속성의 순서화된 우선순위에 기초하여 상기 하나 이상의 콘텐트 모델 속성을 처리하는 단계를 더 포함하는, 방법.
제11항에 있어서, 상기 생성된 시뮬레이션 모델 콘텐트에 기초하여 인덱스 데이터 또는 콘텐트 모델 속성 데이터 중 적어도 하나를 관련시키는 단계를 더 포함하는, 방법.
제13항에 있어서, 상기 인덱스 데이터는 지오 해시 정보에 대응하는, 방법.
제11항에 있어서, 상기 콘텐트 모델 속성 데이터는 상기 시뮬레이션 콘텐트에 도시된 적어도 하나의 정적 오브젝트와 연관되는, 방법.
제11항에 있어서, 상기 획득된 실측 라벨 데이터에 기초하여 하나 이상의 콘텐트 모델 속성을 식별하는 단계는 상기 하나 이상의 콘텐트 모델 속성을 식별 시 적어도 도로 가장자리를 식별하는 단계를 포함하는, 방법.
제16항에 있어서, 상기 획득된 실측 라벨 데이터에 기초하여 하나 이상의 콘텐트 모델 속성을 식별하는 단계는 식별된 도로 가장자리에 기초하여 하나의 정적 오브젝트를 후속적으로 식별하는 단계를 포함하는, 방법.
제17항에 있어서, 상기 정적 오브젝트는 상기 식별된 도로 가장자리에 기초한 차선, 상기 식별된 도로 가장자리에 기초한 차선 중앙, 또는 상기 식별된 도로 가장자리에 기초한 고정 오브젝트 중 적어도 하나에 대응하는, 방법.
제16항에 있어서, 상기 획득된 실측 라벨 데이터에 기초한 하나 이상의 콘텐트 모델 속성을 식별하는 단계는 실측 라벨의 사전 구성에 기초하여 적어도 하나의 실측 라벨을 보충하는, 방법.
차량 내 비전 시스템을 관리하기 위한 방법으로서, 상기 시스템은,
수집된 비전 데이터와 연관된 생성된 실측 라벨 데이터를 획득하는 단계로서, 상기 수집된 비전 데이터는 차량의 비전 시스템과 연관되는, 상기 획득하는 단계;
상기 수집된 비전 데이터와 연관된 상기 획득된 실측 라벨 데이터를 처리하여 콘텐트 모델을 생성하는 데 사용하기 위한 제1 실측 라벨 데이터 세트를 형성하는 단계;
상기 수집된 비전 데이터와 연관된 상기 실측 라벨 데이터를 추가 처리하여 콘텐트 모델을 생성하는 데 사용하기 위한 추가 실측 라벨 데이터를 형성하는 단계로서, 상기 추가 실측 라벨 데이터는 상기 제1 실측 라벨 데이터 세트에 따라 달라지는, 상기 형성하는 단계;
상기 제1 및 제2 실측 라벨 데이터 세트에 기초하여 시뮬레이션 모델 콘텐트를 생성하는 단계; 및
상기 생성된 시뮬레이션 모델 콘텐트를 저장하는 단계를 포함하는, 방법.
제20항에 있어서, 상기 생성된 시뮬레이션 모델 콘텐트에 기초하여 인덱스 데이터 또는 콘텐트 모델 속성 데이터 중 적어도 하나를 관련시키는 단계를 더 포함하는, 방법.
제20항에 있어서, 상기 제1 실측 데이터 세트는 상기 하나 이상의 콘텐트 모델 속성을 식별 시 적어도 도로 가장자리를 포함하는, 방법.
제20항에 있어서, 상기 제2 실측 데이터 세트는 상기 제1 실측 데이터 세트에 기초하여 적어도 하나의 정적 오브젝트를 포함하는, 방법.
제23항에 있어서, 상기 정적 오브젝트는 상기 식별된 도로 가장자리에 기초한 차선, 상기 식별된 도로 가장자리에 기초한 차선 중앙, 또는 상기 식별된 도로 가장자리에 기초한 고정 오브젝트 중 적어도 하나에 대응하는, 방법.
제23항에 있어서, 상기 수집된 비전 데이터와 연관된 상기 실측 라벨 데이터를 추가 처리하여 콘텐트 모델을 생성하는데 사용하기 위한 제2 추가 실측 라벨 데이터를 형성하는 단계를 더 포함하며, 상기 제2 추가 실측 라벨 데이터는 실측 라벨 데이터의 템플릿 또는 사전 구성 선택 중 적어도 하나에 기초하는, 방법.