KR20240048533A

KR20240048533A - 시뮬레이션 콘텐트를 사용한 비전 기반 시스템 훈련

Info

Publication number: KR20240048533A
Application number: KR1020247008892A
Authority: KR
Inventors: 필 듀안; 필립 이; 니샨트 데사이
Original assignee: 테슬라, 인크.
Priority date: 2021-08-19
Filing date: 2022-08-18
Publication date: 2024-04-15
Also published as: US20230053785A1; WO2023023336A1; KR20240042663A; WO2023023272A1; WO2023023265A1; KR20240047408A

Abstract

본 출원의 양태는 비전 시스템 전용 기반 처리를 갖춘 차량에서의 활용을 위한 기계 학습 알고리즘을 생성하거나 훈련시키기 위해 조합된 입력 세트의 활용에 대응한다. 네트워크 서비스는 제1 시점에 캡처된 비전 시스템 데이터를 포함하는 제1 입력 세트(예를 들어, 제1 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 네트워크 서비스는 제2 시점에 캡처된 비전 시스템 데이터를 포함하는 제2 입력 세트(예를 들어, 제2 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 제2 시점은 제1 시점 이후이다. 그런 다음 제2 실측 라벨 및 값 세트에 기초하여, 네트워크 서비스는 제1 실측 라벨 및 값 세트에 대한 라벨 및 관련 값을 결정하거나 도출할 수 있다.

Description

시뮬레이션 콘텐트를 사용한 비전 기반 시스템 훈련

관련 특허 출원들에 대한 상호 참조

본 출원은 2021년 8월 19일에 출원된 ENHANCED SYSTEMS AND METHODS FOR AUTONOMOUS VEHICLE OPERATION AND TRAINING이라는 명칭의 미국 임시 출원 번호 제63/260,439호 및 2021년 12월 9일에 출원된 ENHANCED SYSTEMS AND METHODS FOR AUTONOMOUS VEHICLE OPERATION AND TRAINING이라는 명칭의 미국 임시 출원 번호 제63/287,936호에 대한 우선권을 주장한다. 미국 임시 출원 번호 제63/260,439호 및 제63/287,936호는 본원에 그 전문이 참조로 통합된다.

일반적으로 설명하면, 컴퓨팅 장치 및 통신 네트워크는 데이터 및/또는 정보를 교환하는 데 활용될 수 있다. 일반적인 애플리케이션에서, 컴퓨팅 장치는 통신 네트워크를 통해 다른 컴퓨팅 장치에 콘텐트를 요청할 수 있다. 예를 들어, 컴퓨팅 장치는 다양한 데이터를 수집하고 소프트웨어 애플리케이션을 활용하여 네트워크(예를 들어, 인터넷)를 통해 서버 컴퓨팅 장치와 콘텐트를 교환할 수 있다.

일반적으로 설명하면, 전기 차량, 연소 기관 차량 하이브리드 차량 등과 같은 다양한 차량은 차량의 동작 또는 차량에 포함된 하나 이상의 시스템의 관리를 용이하게 하기 위해 다양한 센서 및 컴포넌트로 구성될 수 있다. 특정 시나리오에서, 차량 소유자 또는 차량 사용자는 차량의 동작을 용이하게 하기 위해 센서 기반 시스템을 활용하기를 원할 수 있다. 예를 들어, 차량은 종종 위치 서비스를 용이하는 하드웨어 및 소프트웨어 기능을 포함할 수 있거나 위치 서비스를 제공하는 컴퓨팅 장치에 액세스할 수 있다. 다른 예에서, 차량은 또한 차량 탑승자와 사용자에게 제공되는 내비게이션 또는 방향 정보와 관련된 정보를 생성할 수 있는 내비게이션 시스템을 포함하거나 내비게이션 컴포넌트에 액세스할 수 있다. 또 다른 예에서, 차량은 내비게이션 및 위치 서비스, 안전 서비스 또는 기타 운영 서비스/컴포넌트를 용이하게 하는 비전 시스템을 포함할 수 있다.

본 개시는, 이에 제한되는 것은 아니나, 본 개시를 예시하기 위한 것인 특정 실시예의 도면을 참조하여 본원에 설명되어 있다. 본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 본원에 개시된 개념을 예시하기 위한 것이며 비축척일 수 있다는 것을 이해해야 한다.
도 1은 본 출원의 하나 이상의 양태에 따른 차량 내 비전 시스템을 위한 시뮬레이션 콘텐트 모델 및 훈련 세트 데이터를 생성하기 위한 예시적인 환경의 블록도를 도시한다;
도 2a는 본 출원의 하나 이상의 양태에 따른 차량에 대응하는 환경을 예시한다;
도 2b는 본 출원의 하나 이상의 양태에 따른 차량용 예시적인 비전 시스템이다;
도 3은 본 출원의 양태에 따른 비전 정보 처리 컴포넌트를 구현하기 위한 예시적인 아키텍처를 도시한다,
도 4a 내지 4b는 시뮬레이션 모델 콘텐트를 기반으로 하는 기계 학습 알고리즘을 위한 비전 시스템 훈련 데이터의 생성이 예시된 도 1의 예시적인 환경의 블록도이다; 그리고
도 5는 예시적인 실시예에 따른 시뮬레이션 콘텐트 서비스에 의해 구현된 시뮬레이션 모델 콘텐트 생성 루틴을 예시하는 흐름도이다.

일반적으로 설명하면, 본 개시의 하나 이상의 양태는 차량 내 비전 시스템의 구성 및 구현에 관한 것이다. 예시적인 예로서, 본 출원의 양태는 다양한 동작 기능을 위해 비전 시스템에만 의존하는 차량에 사용되는 기계 학습 알고리즘의 구성 및 훈련에 관한 것이다. 보다 구체적으로, 본 출원의 양태는 실측 라벨의 자동화된 생성을 용이하게 하기 위해 캡처된 비전 시스템 데이터 세트의 활용에 관한 것이다. 예시적으로, 비전 전용 시스템은 비전 기반 시스템을 레이더 기반 시스템, LIDAR 기반 시스템, SONAR 시스템 등과 같은 하나 이상의 추가 센서 시스템과 조합할 수 있는 차량과 대조된다.

비전 전용 시스템은 차량에 장착된 복수의 카메라를 포함할 수 있는 비전 시스템의 입력만 처리할 수 있는 기계 학습 알고리즘으로 구성될 수 있다. 기계 학습 알고리즘은 오브젝트를 식별하고 차량에 대해 측정된 위치, 속도, 가속도와 같은 식별된 오브젝트의 특성/속성을 지정하는 출력을 생성할 수 있다. 그런 다음 기계 학습 알고리즘의 출력은 내비게이션 시스템, 위치 확인 시스템, 안전 시스템 등과 같은 추가 처리에 활용될 수 있다.

본 출원의 양태에 따르면, 네트워크 서비스는 기계 학습 알고리즘이 식별된 오브젝트 및 예컨대 위치, 속도, 가속도 등과 같은 지정된 특성/속성을 포함하는 캡처된 비전 시스템 정보 및 라벨링된 데이터를 포함하는 훈련 세트로 훈련되는 지도(supervised) 학습 모델에 따라 기계 학습 알고리즘을 구성할 수 있다. 훈련 데이터 세트를 생성하고 기계 학습 알고리즘을 형성하기 위한 기계 학습 알고리즘을 훈련시키는 전통적인 접근 방식은 종종 캡처된 비전 시스템 정보에 대한 실측 라벨 및 관련 값을 수동으로 결정해야 한다. 이러한 수동 접근 방식은 캡처된 비전 시스템 데이터가 처리될 대량의 개별의 캡처된 데이터에 해당할 수 있는 대규모 구현에는 적합하지 않다. 캡처된 비전 시스템 데이터에 대한 실측 라벨 데이터를 생성하는 자동화된 접근 방식은 종종 각각의 개별적으로 캡처된 비전 시스템 프레임(또는 프레임 세트)에서의 불완전하거나 모호한 이미지 데이터를 기반으로 하여 비효율적일 수 있다. 예를 들어, 캡처된 비전 시스템 데이터의 특정 프레임은 포지셔닝(예를 들어, 요(yaw)), 거리, 속도 등과 같은 검출된 오브젝트 및 속성 값에 대해 여러가지 잠재적인 해석을 가질 수 있다. 따라서, 일부 자동화 시스템은 오브젝트 및 관련 속성/값을 확인하거나 식별하기 위해 RADAR, LIDAR 또는 기타 검출 시스템과 같은 추가 센서/입력에 대한 필요성을 포함할 수 있다.

예시적으로, 네트워크 서비스는 제1 시점에 캡처된 비전 시스템 데이터를 포함하는 제1 입력 세트(예를 들어, 제1 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 그런 다음 네트워크 서비스는 캡처된 비전 시스템 데이터와 연관된 적어도 실측 라벨 데이터를 처리하여 초기 실측 라벨 및 값 세트를 결정한다. 네트워크 서비스는 제2 시점에 캡처된 비전 시스템 데이터를 포함하는 제2 입력 세트(예를 들어, 제2 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 제2 시점은 제1 시점 이후이다. 그런 다음 네트워크 서비스는 캡처된 비전 시스템 데이터와 연관된 적어도 실측 라벨 데이터를 처리하여 제2 실측 라벨 및 값 세트를 결정한다.

그런 다음 제2 실측 라벨 및 값 세트에 기초하여, 네트워크 서비스는 제1 실측 라벨 및 값 세트에 대한 라벨 및 관련 값을 결정할 수 있다. 보다 구체적으로, 네트워크 서비스는 이전 시점의 비전 시스템 데이터의 처리가 어떠했는지를 결정하거나 업데이트하기 위해 이후 시점의 결과로 알려진 실측 라벨 및 값을 활용할 수 있다. 예를 들어, 여러 잠재적 방향 속성(예를 들어, 요레이트)과 관련된 제1 인스턴스의 실측 데이터는 적절한 최종 위치를 초래하는 적절한 요레이트로 해결된다. 다른 예에서, 검출된 오브젝트에 대한 위치 계산 값과 관련된 실측 라벨 값은 제2 시점에서의 위치 값의 결정에 기초하여 해결될 수 있다.

예시적으로, 생성된 데이터 세트를 사용하면 이전에 수집된 실측 데이터/비전 데이터를 원래 비전 데이터 처리에서 달리 사용할 수 없었던 추가 정보 또는 속성/특성으로 보충할 수 있다. 그런 다음 결과적인 처리된 콘텐트 속성은 후속 훈련 데이터 생성을 위한 기초를 형성할 수 있다. 그런 다음 네트워크 서비스는 전체 비전 데이터 세트와 데이터 라벨을 갖는 생성된 콘텐트를 처리할 수 있다. 이후, 네트워크 서비스는 조합된 데이터 세트에 대한 훈련을 기반으로 업데이트된 기계 학습 알고리즘을 생성한다. 훈련된 기계 학습 알고리즘은 비전 전용 기반 차량으로 전송될 수 있다.

예시적인 실시예 및 특징의 조합에 따라 다양한 양태가 설명될 것이지만, 관련 기술 분야의 당업자는 이러한 예 및 특징의 조합이 본질적으로 예시적인 것이며 제한하는 것으로 해석되어서는 안 된다는 것을 이해할 것이다. 보다 구체적으로, 본 출원의 양태는 조합 엔진, 하이브리드 엔진, 전기 엔진 등과 같은 다양한 추진 시스템을 갖춘 차량을 포함하는 다양한 유형의 차량에 적용될 수 있다. 또한, 본 출원의 양태는 다양한 유형의 센서, 감지 시스템, 내비게이션 시스템 또는 위치 시스템을 통합할 수 있는 다양한 유형의 차량에 적용될 수 있다. 따라서, 예시적인 예는 제한하는 것으로 해석되어서는 안 된다. 마찬가지로, 본 출원의 양태는 자율 주행 애플리케이션, 운전자 편의 애플리케이션 등을 포함하여 차량의 동작을 용이하게 할 수 있는 다른 유형의 컴포넌트와 조합되거나 구현될 수 있다.

도 1은 본 출원의 하나 이상의 양태에 따른 차량 내 비전 시스템을 위한 시뮬레이션 콘텐트 모델 및 훈련 세트 데이터를 생성하기 위한 예시적인 환경(100)의 블록도를 도시한다. 시스템(100)은 네트워크를 포함할 수 있으며, 네트워크는 차량 세트(102), 하나 이상의 추가 클라이언트 장치(104) 및 네트워크 서비스(110)를 연결한다. 예시적으로, 네트워크 서비스(110)와 관련된 다양한 양태는 하나 이상의 기능 또는 서비스와 연관된 하나 이상의 컴포넌트로서 구현될 수 있다. 컴포넌트는 별도의 독립형 외부 컴퓨팅 장치일 수 있는 하나 이상의 외부 컴퓨팅 장치에 의해 구현되거나 실행되는 소프트웨어 모듈에 대응할 수 있다. 따라서, 네트워크 서비스(110)의 컴포넌트는 하나 이상의 외부 컴퓨팅 장치에 대한 임의의 특정 구현을 요구하지 않고 서비스의 논리적 표현으로 간주되어야 한다.

네트워크(106)는, 도 1에 도시된 바와 같이, 시스템의 장치와 모듈을 연결한다. 네트워크는 임의 개수의 장치를 연결할 수 있다. 일부 실시예들에서, 네트워크 서비스 공급자는 네트워크를 통해 클라이언트 장치에 네트워크 기반 서비스를 제공한다. 네트워크 서비스 제공자는 네트워크 기반 서비스를 구현하며, 네트워크 액세스 가능한 컴퓨팅 리소스(예컨대 컴퓨트, 스토리지 또는 네트워킹 리소스, 애플리케이션 또는 서비스)의 대규모 공유 풀을 말하며, 이는 가상화되거나 베어-메탈(bare-metal)이 될 수 있다. 네트워크 서비스 제공자는 고객 명령에 응답하여 프로그래밍 방식으로 프로비저닝 및 릴리스될 수 있는 구성 가능한 컴퓨팅 리소스의 공유 풀에 대한 온-디맨드 네트워크 액세스를 제공할 수 있다. 이러한 리소스는 동적으로 프로비저닝되고 가변 로드에 맞게 조정되도록 재구성될 수 있다. 따라서 "클라우드 컴퓨팅" 또는 "네트워크 기반 컴퓨팅"의 개념은 네트워크를 통해 서비스로 전달되는 애플리케이션과 해당 서비스를 제공하는 네트워크 서비스 공급자의 하드웨어 및 소프트웨어 모두로 간주될 수 있다. 일부 실시예들에서, 네트워크는 콘텐트 전달 네트워크일 수 있다.

예시적으로, 차량 세트(102)는 오브젝트를 식별하고 식별된 오브젝트의 하나 이상의 속성을 특성화하기 위한 비전 전용 기반 시스템으로 구성된 하나 이상의 차량에 대응한다. 차량 세트(102)는 지도(supervised) 학습 모델을 구현하는 기계 학습 알고리즘과 같은 기계 학습 알고리즘으로 구성되며, 이는 오브젝트를 식별하고 식별된 오브젝트의 속성(예컨대 위치, 속도 및 가속도 속성)을 특성화하기 위해 비전 시스템 입력만을 활용하도록 구성된다. 차량 세트(102)는 레이더 검출 시스템, LIDAR 검출 시스템 등과 같은 임의의 추가적인 검출 시스템 없이 구성될 수 있다.

예시적으로, 네트워크 서비스(110)는 본 출원의 양태에 적용되는 비전 전용 기반 시스템에 대한 기계 학습 알고리즘에 대한 구성/요청에 응답하는 기능을 제공할 수 있는 복수의 네트워크 기반 서비스를 포함할 수 있다. 도 1에 예시된 바와 같이, 네트워크 기반 서비스(110)는 차량(102)으로부터 데이터 세트를 획득하고, 데이터 세트를 처리하여 기계 학습 알고리즘을 위한 훈련 자료를 형성하고, 비전 전용 기반 차량(102)을 위한 기계 학습 알고리즘을 생성할 수 있는 비전 정보 처리 컴포넌트(112)를 포함할 수 있다. 네트워크 기반 서비스는 차량 데이터 저장소(114) 및 기계 학습 알고리즘 데이터 저장소(116)를 포함하여, 본 출원의 양태와 관련된 다양한 정보를 유지하기 위한 복수의 데이터 저장소를 포함할 수 있다. 도 1의 데이터 저장소는 본질적으로 논리적이며 다양한 방식으로 네트워크 서비스(110)에서 구현될 수 있다.

예시를 위해, 도 2a는 본 출원의 하나 이상의 양태에 따른 차량(102)에 대응하는 환경을 예시한다. 환경은 본원에 설명된 바와 같은 차량의 동작 또는 정보의 수집을 위한 입력을 제공할 수 있는 로컬 센서 입력 모음을 포함한다. 로컬 센서의 모음에는 차량에 포함되거나 그렇지 않으면 동작 동안 차량에 의해 접근 가능한 하나 이상의 센서 또는 센서 기반 시스템이 포함될 수 있다. 로컬 센서 또는 센서 시스템은 차량에 통합될 수 있다. 대안적으로, 로컬 센서 또는 센서 시스템은 물리적 연결, 무선 연결 또는 이들의 조합과 같은 차량과 관련된 인터페이스에 의해 제공될 수 있다.

일 양태에서, 로컬 센서에는 오브젝트 검출, 검출된 오브젝트의 속성(예를 들어, 위치, 속도, 가속도), 환경 조건 존재(예를 들어, 눈, 비, 얼음, 안개, 연기 등) 등과 같은 입력을 차량에 제공하는 비전 시스템이 포함될 수 있다. 비전 시스템을 형성하기 위해 차량에 장착된 예시적인 카메라 모음이 도 2b와 관련하여 설명될 것이다. 앞서 설명된 바와 같이, 차량(102)은 다른 전통적인 검출 시스템의 지원 없이 또는 이를 대신하지 않고 정의된 차량 동작 기능을 위해 이러한 비전 시스템에 의존할 것이다.

또 다른 양태에서, 로컬 센서는 차량에 대한 포지셔닝 정보를 결정할 때 다양한 수준의 정확도를 허용하는 외부 소스로부터 기준 정보를 얻을 수 있는 하나 이상의 포지셔닝 시스템을 포함할 수 있다. 예를 들어, 포지셔닝 시스템은 GPS 소스, 무선 근거리 통신망(Wireless Local Area Network; WLAN) 액세스 포인트 정보 소스, 블루투스(Bluetooth) 정보 소스, 무선 주파수 식별(radio-frequency identification; RFID) 소스 등으로부터의 정보를 처리하기 위한 다양한 하드웨어 및 소프트웨어 컴포넌트를 포함할 수 있다. 일부 실시예들에서, 포지셔닝 시스템은 다수의 소스로부터 정보 조합을 획득할 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 입력 소스로부터 정보를 획득하고 차량의 포지셔닝 정보, 특히 현재 위치의 고도를 결정할 수 있다. 다른 실시예에서, 포지셔닝 시스템은 또한 주행 방향, 속도, 가속도 등과 같은 주행 관련 동작 파라미터를 결정할 수 있다. 포지셔닝 시스템은 자율 주행 애플리케이션, 향상된 주행 또는 사용자 지원 내비게이션 등을 포함한 다양한 목적을 위해 차량의 일부로 구성될 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 차량 파라미터 또는 프로세스 정보의 식별을 용이하게 하는 처리 컴포넌트 및 데이터를 포함할 수 있다.

또 다른 양태에서, 로컬 센서는 내비게이션 관련 정보를 식별하기 위한 하나 이상의 내비게이션 시스템을 포함할 수 있다. 예시적으로, 내비게이션 시스템은 포지셔닝 시스템으로부터 포지셔닝 정보를 획득하고 고도, 도로 등급 등과 같이 식별된 위치에 대한 특성이나 정보를 식별할 수 있다. 내비게이션 시스템은 또한 차량 사용자에게 제공되거나 예상되는 방향을 기반으로 다중 차선 도로에서 제안되거나 의도된 차선 위치를 식별할 수 있다. 위치 시스템과 유사하게, 내비게이션 시스템은 자율 주행 애플리케이션, 향상된 주행 또는 사용자 지원 내비게이션 등을 포함한 다양한 목적을 위해 차량의 일부로 구성될 수 있다. 내비게이션 시스템은 포지셔닝 시스템과 조합되거나 통합될 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 차량 파라미터 또는 프로세스 정보의 식별을 용이하게 하는 처리 컴포넌트 및 데이터를 포함할 수 있다.

로컬 리소스는 차량 또는 차량에 의해 접근 가능한 컴퓨팅 장치(예를 들어, 모바일 컴퓨팅 장치)에 호스팅될 수 있는 하나 이상의 처리 컴포넌트(들)(214)를 더 포함한다. 처리 컴포넌트(들)는 예시적으로 다양한 로컬 센서 또는 센서 시스템으로부터의 입력에 액세스하고 본원에 설명된 바와 같이 입력된 데이터를 처리할 수 있다. 본 출원의 목적을 위해, 처리 컴포넌트(들)는 예시적인 양태와 관련된 하나 이상의 기능과 관련하여 설명될 것이다. 예를 들어, 차량(102)의 처리 컴포넌트(들)는 수집된 비전 정보에 대응하는 제1 데이터 세트를 수집하고 전송할 것이다.

환경은 하나 이상의 동작 상태에 따라 사용하기 위한 다양한 동작 파라미터에 관한 정보를 제공하도록 동작 가능한 다양한 추가 센서 컴포넌트 또는 감지 시스템을 더 포함할 수 있다. 환경은 통신 출력을 통한 데이터 전송, 메모리 내 데이터 생성, 다른 처리 컴포넌트로의 출력의 전송 등과 같은 출력을 처리하기 위한 하나 이상의 제어 컴포넌트를 더 포함할 수 있다.

이제 도 2b를 참조하면, 차량용 예시적인 비전 시스템(200)이 설명될 것이다. 비전 시스템(200)은 차량의 동작 동안 이미지 데이터를 캡처할 수 있는 카메라 세트를 포함한다. 상기에 설명된 바와 같이, 개별 이미지 정보는 예시된 이미지가 이미지의 특정 타임 스탬프를 나타내도록 특정 주파수에서 수신될 수 있다. 일부 실시예들에서, 이미지 정보는 HDR(high dynamic range) 이미지를 나타낼 수 있다. 예를 들어, 서로 다른 노출을 조합하여 HDR 이미지를 형성할 수 있다. 다른 예로서, 이미지 센서의 이미지는 사전 처리되어 이들을 (예를 들어, 기계 학습 모델을 사용하여) HDR 이미지로 변환할 수 있다.

도 2b에 예시된 바와 같이, 카메라 세트는 이미지 데이터를 캡처하는 전방 카메라 세트(202)를 포함할 수 있다. 전방 카메라는 차량의 앞 유리 부분에 장착되어 약간 더 높은 고도를 가질 수 있다. 도 2b에 예시된 바와 같이, 전방 카메라(202)는 합성 이미지를 생성하도록 구성된 다수의 개별 카메라를 포함할 수 있다. 예를 들어, 카메라 하우징은 전방을 가리키는 3개의 이미지 센서를 포함할 수 있다. 이 예에서, 이미지 센서 중 첫 번째는 광각(예를 들어, 어안) 렌즈를 가질 수 있다. 이미지 센서 중 두 번째는 일반 또는 표준 렌즈(예를 들어, 35mm 등가 초점 거리, 50mm 등가, 등)를 가질 수 있다. 이미지 센서 중 세 번째는 줌 또는 좁은 렌즈를 가질 수 있다. 이러한 방식으로, 차량의 전방 방향에서 다양한 초점 거리의 세 가지 이미지가 획득될 수 있다. 비전 시스템(200)은 차량의 도어 필러(door pillar)에 장착된 카메라 세트(204)를 더 포함한다. 비전 시스템(200)은 차량의 앞 범퍼에 장착된 2개의 카메라(206)를 더 포함할 수 있다. 추가적으로, 비전 시스템(200)은 후방 범퍼, 트렁크 또는 번호판 홀더에 장착된 후방 카메라(208)를 포함할 수 있다.

카메라 세트(202, 204, 206 및 208)는 모든 캡처된 이미지를 전용 컨트롤러/임베디드 시스템과 같은 하나 이상의 처리 컴포넌트(214)에 제공할 수 있다. 예를 들어, 처리 컴포넌트(214)는 기계 학습 모델과 연관된 정보를 신속하게 처리하도록 구성된 하나 이상의 매트릭스 프로세서를 포함할 수 있다. 처리 컴포넌트(212)는, 일부 실시예들에서, 콘볼루션 신경망을 통한 순방향 패스와 연관된 콘볼루션을 수행하는 데 사용될 수 있다. 예를 들어, 입력 데이터와 가중치 데이터가 콘볼루션될 수 있다. 처리 컴포넌트(212)는 콘볼루션을 수행하는 다수의 곱셈-누산 유닛을 포함할 수 있다. 일 예로서, 매트릭스 프로세서는 더 큰 콘볼루션 동작을 용이하게 하기 위해 구성되거나 형식화된 입력 및 가중치 데이터를 사용할 수 있다. 대안적으로, 이미지 데이터는 범용 처리 컴포넌트로 전송될 수 있다.

예시적으로, 개별 카메라는 처리를 위한 시각적 데이터의 별도 입력으로 개별적으로 동작하거나 간주될 수 있다. 다른 실시예들에서, 카메라 데이터의 하나 이상의 서브세트는 전방 카메라(202)의 트리오와 같은 합성 이미지 데이터를 형성하기 위해 조합될 수 있다. 도 2b에 추가로 예시된 바와 같이, 차량(102)과 같은 비전 전용 시스템을 통합한 차량과 관련된 실시예들에서, 검출 시스템이 210에 포함되지 않을 것이다.

이제 도 3을 참조하면, 하나 이상의 로컬 리소스 또는 네트워크 서비스에 비전 정보 처리 컴포넌트(112)를 구현하기 위한 예시적인 아키텍처가 설명될 것이다. 비전 정보 처리 컴포넌트(112)는 오브젝트 인식, 내비게이션, 위치 서비스 등을 위한 기계 학습 알고리즘과 관련된 기능을 제공하는 컴포넌트/시스템의 일부일 수 있다.

도 3의 아키텍처는 본질적으로 예시적인 것이며 비전 정보 처리 컴포넌트(112)에 대해 임의의 특정 하드웨어 또는 소프트웨어 구성을 요구하는 것으로 해석되어서는 안 된다. 도 3에 도시된 비전 정보 처리 컴포넌트(112)의 일반적인 아키텍처는 본 개시의 양태를 구현하는데 사용될 수 있는 컴퓨터 하드웨어 및 소프트웨어 컴포넌트의 배열을 포함한다. 예시된 바와 같이, 비전 정보 처리 컴포넌트(112)는 처리 유닛(302), 네트워크 인터페이스(304), 컴퓨터 판독 가능 매체 드라이브(306) 및 입력/출력 장치 인터페이스(308)를 포함하며, 이들 모두는 통신 버스를 통해 서로 통신할 수 있다. 비전 정보 처리 컴포넌트(112)의 컴포넌트는 물리적 하드웨어 컴포넌트이거나 가상화된 환경에서 구현될 수 있다.

네트워크 인터페이스(304)는 도 1의 네트워크와 같은, 하나 이상의 네트워크 또는 컴퓨팅 시스템에 대한 연결성을 제공할 수 있다. 따라서 처리 유닛(302)은 네트워크를 통해 다른 컴퓨팅 시스템 또는 서비스로부터 정보 및 명령어를 수신할 수 있다. 처리 유닛(302)은 또한 메모리(310)와 통신할 수 있고 입력/출력 장치 인터페이스(308)를 통해 선택적인 디스플레이(도시되지 않음)에 대한 출력 정보를 더 제공할 수 있다. 일부 실시예들에서, 비전 정보 처리 컴포넌트(112)는 도 3에 도시된 것보다 더 많은(또는 더 적은) 컴포넌트를 포함할 수 있다.

메모리(310)는 하나 이상의 실시예를 구현하기 위해 처리 유닛(302)이 실행하는 컴퓨터 프로그램 명령어를 포함할 수 있다. 메모리(310)는 일반적으로 RAM, ROM, 또는 기타 영구 또는 비일시적 메모리를 포함한다. 메모리(310)는 비전 정보 처리 컴포넌트(112)의 일반적인 관리 및 동작에서 처리 유닛(302)에 의해 사용하기 위한 컴퓨터 프로그램 명령어를 제공하는 인터페이스 소프트웨어(312) 및 운영 체제(314)를 저장할 수 있다. 메모리(310)는 본 개시의 양태를 구현하기 위한 컴퓨터 프로그램 명령어 및 기타 정보를 더 포함할 수 있다. 예를 들어, 일 실시예에서, 메모리(310)는 차량(102), 데이터 저장소, 기타 서비스 등과 같은 차량으로부터 정보(예를 들어, 캡처된 비디오 정보)를 획득하는 센서 인터페이스 컴포넌트(316)를 포함한다.

메모리(310)는 캡처된 비전 시스템 정보를 획득 및 처리하고 본원에 설명된 차량의 다양한 동작 상태에 따라 캡처된 비전 정보에 대한 추가 또는 대체 실측 라벨 정보를 생성하기 위한 비전 정보 처리 컴포넌트(318)를 더 포함한다. 메모리(310)는 본원에 설명된 바와 같이 기계 학습 알고리즘을 훈련시키는데 사용하기 위해 자동으로 라벨을 생성하기 위한 자동 라벨링 처리 컴포넌트(320)를 더 포함할 수 있다. 예시적으로, 일 실시예에서, 비전 정보 처리 컴포넌트(112)는 정적 오브젝트 검출, 동적 오브젝트 검출 등과 같은 다수의 기계 학습 알고리즘을 훈련시킬 수 있다.

이제 도 4a 내지 4b로 돌아가서, 비전 시스템 데이터를 처리하고 시뮬레이션 콘텐트 시스템 데이터를 생성하여 기계 학습 알고리즘에 대한 훈련 모델을 업데이트하는 환경의 컴포넌트에 대한 예시적인 상호 작용이 설명될 것이다. (1)에서, 하나 이상의 차량(102)은 입력 세트(예를 들어, 제1 데이터 세트)를 수집하고 전송할 수 있다. 제1 데이터 세트는 예시적으로 차량(102)의 비전 시스템(200)에 의해 수집된 비디오 이미지 데이터 및 임의의 관련 메타데이터 또는 기타 속성에 대응한다.

예시적으로, 차량(102)은 비전 시스템 데이터를 수집하고 수집된 데이터를 전송하도록 구성될 수 있다. 예시적으로, 차량(102)은 캡처된 비전 시스템 정보에 대한 실측 라벨 정보를 적어도 부분적으로 생성하기 위해 비전 시스템에서의 처리 능력을 포함할 수 있다. 다른 실시예들에서, 차량(102)은 캡처된 비전 시스템 정보(임의의 실측 라벨이 있거나 없이)를 예컨대 네트워크(110) 내 다른 서비스로 전송할 수 있다. 그런 다음 추가 서비스는 실측 라벨 정보를 (수동으로 또는 자동으로) 추가할 수 있다. 예를 들어, 수집된 비전 시스템 데이터는 주기적인 타임프레임 또는 다양한 수집/전송 기준에 기초하여 전송될 수 있다. 또한, 일부 실시예들에서, 차량(102)은 또한 예컨대 지리적 좌표 또는 기타 식별자 등을 통해 수집된 데이터의 수집 및 전송을 초래하는 특정 시나리오 또는 위치를 식별하도록 구성될 수 있다.

예시적으로, 네트워크 서비스는 차량(102)으로부터 수집된 비전 시스템 데이터 및 실측 라벨을 수신하고 처리한다. 보다 구체적으로, (3)에서, 네트워크 서비스는 제1 시점에 캡처된 비전 시스템 데이터를 포함하는 제1 입력 세트(예를 들어, 제1 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 그런 다음 네트워크 서비스는 캡처된 비전 시스템 데이터와 연관된 적어도 실측 라벨 데이터를 처리하여 초기 실측 라벨 및 값 세트를 결정한다. 제1 시점에서 처리된 제1 캡처된 비전 시스템 데이터는 하나 이상의 불확실한 값 또는 다수의 가능한 값을 포함할 수 있는 초기 실측 라벨 및 값 세트를 형성할 수 있다. 제1 실측 라벨 데이터 세트의 생성은 하나 이상의 기계 학습 알고리즘을 기반으로 할 수 있다.

(4)에서 네트워크 서비스는 제2 시점에 캡처된 비전 시스템 데이터를 포함하는 제2 입력 세트(예를 들어, 제2 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 제2 시점은 제1 시점 이후이다. 일 실시예에서, 제1 및 제2 비전 시스템 데이터의 캡처는 캡처 주파수에 기초할 수 있다. 예를 들어, 차량(102)의 비전 시스템은 20Hz, 21Hz, 22Hz, 23Hz, 24Hz, 25Hz, 26Hz, 27Hz, 28Hz, 29Hz, 30Hz, 40Hz(및 그 사이에 있는 모든 개재 값); 50Hz(및 그 안의 모든 개재 값), 60Hz(및 그 안의 모든 개재 값), 70Hz(및 그 안의 모든 개재 값), 80Hz(및 그 안의 모든 개재 값), 90Hz(및 그 안의 모든 개재 값, 등의 캡처 주파수에 기초하여 캡처할 수 있다. 그런 다음 네트워크 서비스는 캡처된 비전 시스템 데이터와 연관된 적어도 실측 라벨 데이터를 처리하여 제2 실측 라벨 및 값 세트를 결정한다.

그런 다음 (5)에서, 제2 실측 라벨 및 값 세트에 기초하여, 네트워크 서비스는 제1 실측 라벨 및 값 세트에 대한 라벨 및 관련 값을 결정할 수 있다. 보다 구체적으로, 네트워크 서비스는 이전 시점의 비전 시스템 데이터의 처리가 어떠했는지를 결정하거나 업데이트하기 위해 이후 시점의 결과로 알려진 실측 라벨 및 값을 활용할 수 있다. 예를 들어, 여러 잠재적 방향 속성(예를 들어, 요레이트)과 관련된 제1 인스턴스의 실측 데이터는 적절한 최종 위치를 초래하는 적절한 요레이트로 해결된다. 다른 예에서, 검출된 오브젝트에 대한 위치 계산 값과 관련된 실측 라벨 값은 제2 시점에서의 위치 값의 결정에 기초하여 해결될 수 있다. 이 실시예에서, 네트워크 서비스는 예시적으로 제2 캡처된 비디오 데이터 세트에 의해 제공되는 알려진 결과를 사용하여 제1 데이터 세트에 대한 실측 라벨 및 값을 도출하거나 검증하고 있다. 값을 도출하는 구체적인 프로세스는 실측 라벨 데이터의 유형을 기반으로 할 수 있다. 예를 들어, 검출 오브젝트(들)에 대한 위치 추정치를 도출하는 것은 제2 캡처된 비전 데이터 세트(예를 들어, 실제 위치)에서 검출된 오브젝트에 대해 측정된 위치 값을 기반으로 할 수 있다. 다른 예에서, 속도 추정값을 도출하는 것은 제2 캡처된 비전 데이터 세트에서 위치 데이터 및 만료 시간을 계산하는 것을 기반으로 할 수 있다. 또 다른 실시예들에서, 정적 오브젝트 또는 동적 오브젝트의 식별을 도출하는 것은 제2 캡처된 비전 데이터 세트로부터 식별된 정적 오브젝트 또는 동적 오브젝트를 매칭시키거나 업데이트하는 것을 기반으로 할 수 있다. 따라서, 관련 기술 분야의 당업자라면 (5)에서 제1 및 제2 비전 데이터 세트에 대해 다양한 기술이 적용될 수 있음을 이해할 수 있을 것이다.

(6)에서, 결과적인 실측 라벨 및 값이 저장될 수 있다. 추가적으로, 라벨 및 값은 추가 서비스로 전송되거나 그렇지 않으면 추가 서비스에 사용 가능하도록 할 수 있다.

이제 도 4b로 돌아가서, 비전 정보 처리 컴포넌트(112) 비전 정보 처리 컴포넌트(112)가 훈련 세트를 수신하면, (1)에서 네트워크 서비스(110)는 훈련 세트를 처리한다. (2)에서, 비전 정보 처리 컴포넌트(112)는 조합된 데이터 세트에 대한 훈련을 기반으로 업데이트된 기계 학습 알고리즘을 생성한다. 예시적으로, 네트워크 서비스(110)는 다양한 기계 학습 모델을 활용하여 업데이트된 기계 학습 알고리즘을 생성할 수 있다.

이제 도 5로 돌아가면, 오디오 라벨링을 제공하기 위해 수집된 비전을 처리하기 위한 루틴(500)이 설명될 것이다. 루틴(500)은 예시적으로 비전 정보 처리 컴포넌트(112)에 의해 구현된다. 상기에 설명된 바와 같이, 루틴(500)은 비전 시스템 데이터 및 캡처된 비전 시스템 데이터에 대한실측 라벨 데이터를 포함하는 타겟 차량(들)(102)이 처리에 이용 가능한 후에 구현될 수 있다. 예시적으로, 차량(102)은 비전 시스템 데이터를 수집하고 수집된 데이터 및 관련 실측 라벨을 전송하도록 구성될 수 있다. 예를 들어, 수집된 비전 시스템 데이터는 주기적인 타임프레임 또는 다양한 수집/전송 기준에 기초하여 전송될 수 있다. 또한, 일부 실시예들에서, 차량(102)은 또한 예컨대 지리적 좌표 또는 기타 식별자 등을 통해 수집된 데이터의 수집 및 전송을 초래하는 특정 시나리오 또는 위치를 식별하도록 구성될 수 있다. 다른 실시예들에서, 차량(102)은 캡처된 비전 시스템 정보(임의의 실측 라벨이 있거나 없이)를 예컨대 네트워크(110) 내 다른 서비스로 전송할 수 있다. 그런 다음 추가 서비스는 실측 라벨 정보를 (수동으로 또는 자동으로) 추가할 수 있다. 예시적으로, 비전 정보 처리 컴포넌트(112)는 차량(102)으로부터 수집된 비전 시스템 데이터 및 실측 라벨을 수신하고 처리한다.

보다 구체적으로, 블록(502)에서, 비전 정보 처리 컴포넌트(112)는 제1 시점에 캡처된 비전 시스템 데이터를 포함하는 제1 입력 세트(예를 들어, 제1 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 그런 다음 네트워크 서비스는 캡처된 비전 시스템 데이터와 연관된 적어도 실측 라벨 데이터를 처리하여 초기 실측 라벨 및 값 세트를 결정한다. 제1 시점에서 처리된 제1 캡처된 비전 시스템 데이터는 하나 이상의 불확실한 값 또는 다수의 가능한 값을 포함할 수 있는 초기 실측 라벨 및 값 세트를 형성할 수 있다. 제1 실측 라벨 데이터 세트의 생성은 하나 이상의 기계 학습 알고리즘을 기반으로 할 수 있다.

블록(504)에서, 비전 정보 처리 컴포넌트(112)는 제2 시점에 캡처된 비전 시스템 데이터를 포함하는 제2 입력 세트(예를 들어, 제2 데이터 세트)를 타겟 차량으로부터 수신할 수 있다. 제2 시점은 제1 시점 이후이다. 일 실시예에서, 제1 및 제2 비전 시스템 데이터의 캡처는 캡처 주파수에 기초할 수 있다. 예를 들어, 차량(102)의 비전 시스템은 20Hz(및 그 안의 모든 개재 값), 30Hz(및 그 안의 모든 개재 값), 40Hz(및 그 사이에 있는 모든 개재 값); 50Hz(및 그 안의 모든 개재 값), 60Hz(및 그 안의 모든 개재 값), 70Hz(및 그 안의 모든 개재 값), 80Hz(및 그 안의 모든 개재 값), 90Hz(및 그 안의 모든 개재 값, 등의 캡처 주파수에 기초하여 캡처할 수 있다. 그런 다음 비전 정보 처리 컴포넌트(112)는 캡처된 비전 시스템 데이터와 연관된 적어도 실측 라벨 데이터를 처리하여 제2 실측 라벨 및 값 세트를 결정한다.

그런 다음 블록(506)에서, 제2 실측 라벨 및 값 세트에 기초하여, 비전 정보 처리 컴포넌트(112)는 제1 실측 라벨 및 값 세트에 대한 라벨 및 관련 값을 결정할 수 있다. 보다 구체적으로, 네트워크 서비스는 이전 시점의 비전 시스템 데이터의 처리가 어떠했는지를 결정하거나 업데이트하기 위해 이후 시점의 결과로 알려진 실측 라벨 및 값을 활용할 수 있다. 예를 들어, 여러 잠재적 방향 속성(예를 들어, 요레이트)과 관련된 제1 인스턴스의 실측 데이터는 적절한 최종 위치를 초래하는 적절한 요레이트로 해결된다. 다른 예에서, 검출된 오브젝트에 대한 위치 계산 값과 관련된 실측 라벨 값은 제2 시점에서의 위치 값의 결정에 기초하여 해결될 수 있다. 이 실시예에서, 네트워크 서비스는 예시적으로 제2 캡처된 비디오 데이터 세트에 의해 제공되는 알려진 결과를 사용하여 제1 데이터 세트에 대한 실측 라벨 및 값을 도출하거나 검증하고 있다. 값을 도출하는 구체적인 프로세스는 실측 라벨 데이터의 유형을 기반으로 할 수 있다. 예를 들어, 검출 오브젝트(들)에 대한 위치 추정치를 도출하는 것은 제2 캡처된 비전 데이터 세트(예를 들어, 실제 위치)에서 검출된 오브젝트에 대해 측정된 위치 값을 기반으로 할 수 있다. 다른 예에서, 속도 추정값을 도출하는 것은 제2 캡처된 비전 데이터 세트에서 위치 데이터 및 만료 시간을 계산하는 것을 기반으로 할 수 있다. 또 다른 실시예들에서, 정적 오브젝트 또는 동적 오브젝트의 식별을 도출하는 것은 제2 캡처된 비전 데이터 세트로부터 식별된 정적 오브젝트 또는 동적 오브젝트를 매칭시키거나 업데이트하는 것을 기반으로 할 수 있다. 따라서, 관련 기술 분야의 당업자라면 블록(506)에서 제1 및 제2 비전 데이터 세트에 대해 다양한 기술이 적용될 수 있음을 이해할 수 있을 것이다.

블록(508)에서, 결과적인 실측 라벨 및 값이 저장될 수 있다. 추가적으로, 라벨 및 값은 추가 서비스로 전송되거나 그렇지 않으면 추가 서비스에 사용 가능하도록 할 수 있다. 루틴(500)은 블록(510)에서 종료된다. 상기에 설명된 바와 같이, 비전 정보 처리 컴포넌트(112)는 조합된 데이터 세트에 대한 훈련을 기반으로 업데이트된 기계 학습 알고리즘을 생성한다. 예시적으로, 비전 정보 처리 컴포넌트(112)는 다양한 기계 학습 모델을 활용하여 업데이트된 기계 학습 알고리즘을 생성할 수 있다. 예를 들어, 다수의 기계 학습 알고리즘은 검출된 오브젝트 유형 또는 실측 라벨에 기초하여 형성될 수 있다.

전술한 개시는 본 개시를 개시된 정확한 형태 또는 특정 사용 분야로 제한하려는 의도가 아니다. 이와 같이, 본원에 명시적으로 기술되든 또는 암시되든, 본 개시에 대한 다양한 대체 실시예 및/또는 수정이 본 개시에 비추어 가능하다는 것이 고려된다. 따라서 본 개시의 실시예를 설명하였지만, 당업자는 본 개시의 범위를 벗어나지 않고 형태 및 세부 사항에 있어서 변경이 이루어질 수 있다는 것을 인식할 것이다. 따라서, 본 개시는 청구범위에 의해서만 제한된다.

전술한 명세서에서, 본 개시는 특정 실시예를 참조하여 설명되었다. 그러나, 당업자라면 이해할 수 있듯이, 본원에 개시된 다양한 실시예들은 본 개시의 정신 및 범위를 벗어나지 않고 다양한 다른 방식으로 수정되거나 구현될 수 있다. 따라서, 이 설명은 예시적인 것으로 간주되어야 하며 개시된 결정 및 제어 알고리즘의 다양한 실시예를 만들고 사용하는 방식을 당업자에게 교시하기 위한 것이다. 본원에 도시되고 설명된 개시의 형태는 대표적인 실시예로 간주되어야 한다는 것이 이해되어야 한다. 동등한 요소, 재료, 프로세스 또는 단계가 본원에 대표적으로 예시되고 설명된 것들을 대체할 수 있다. 더욱이, 본 개시의 특정 특징은 다른 특징의 사용과 독립적으로 활용될 수 있으며, 이는 모두 본 개시의 설명의 이점을 얻은 후에 당업자에게 명백할 것이다. 본 개시를 설명하고 청구하기 위해 사용된 "포함하는(including)", "포함하는(comprising)", "병합하는(incorporating)", "구성되는(consisting of)", "갖는(have)", "이다(is)"와 같은 표현은 비배타적인 방식으로 해석되도록 의도되는 것으로, 즉 명시적으로 설명되지 않은 품목, 컴포넌트 또는 요소도 존재할 수 있도록 허용하는 것이다. 단수에 대한 언급은 또한 복수에 관련된 것으로 해석되어야 한다.

또한, 본원에 개시된 다양한 실시예들은 예시적이고 설명적인 의미로 받아들여져야 하며 어떠한 방식으로든 본 개시를 제한하는 것으로 해석되어서는 안 된다. 모든 조인더 참조(예를 들어, 첨부(attached), 첨부(affixed), 결합, 연결 등)는 본 개시에 대한 독자의 이해를 돕기 위해서만 사용되며, 특히 시스템의 위치, 방향 또는 사용 및/또는 본원에 개시된 방법과 관련하여 제한을 만들지 않을 수 있다. 따라서 조인더 참조(있는 경우)는 광범위하게 해석되어야 한다. 더욱이, 이러한 조인더 참조는 반드시 두 요소가 서로 직접 연결되어 있다고 추론하는 것은 아니다.

추가적으로, 이에 제한되는 것은 아니나, "제1", "제2", "제3", "1차", "2차", "주" 또는 임의의 기타 일반적인 및/또는 숫자 용어와 같은 모든 수치 용어는 또한 본 개시의 다양한 요소, 실시예, 변형 및/또는 수정에 대한 독자의 이해를 돕기 위해 식별자로만 간주되어야 하며, 특히 다른 요소, 실시예, 변형 및/또는 수정에 대한 또는 그에 대한 임의의 요소, 실시예, 변형 및/또는 수정의 순서 또는 선호도에 대해 어떠한 제한도 만들지 않을 수 있다.

또한, 그림/도면에 묘사된 요소 중 하나 이상은 더 분리되거나 통합된 방식으로 구현될 수도 있거나, 특정 애플리케이션에 따라 유용한 것처럼 특정 경우에 심지어 제거되거나 작동 불가능한 것으로 렌더링될 수도 있다는 것이 이해될 것이다.

Claims

차량 내 비전 시스템을 관리하기 위한 시스템에 있어서, 상기 시스템은,
적어도 하나의 기계 학습 알고리즘에 따라 하나 이상의 비전 시스템으로부터 캡처된 비전 데이터를 생성하고 처리하기 시스템을 포함하는 복수의 차량으로서, 하나 이상의 비전 시스템으로부터 캡처된 상기 비전 데이터는 실측 라벨과 연관되는, 상기 복수의 차량;
상기 복수의 차량에 의해 실행하기 위한 상기 적어도 하나의 기계 학습 알고리즘을 생성하는 것에 응답하는 비전 시스템 정보 처리 컴포넌트를 구현하기 위한 컴퓨터 실행 가능 명령어를 실행하는, 처리 장치 및 메모리를 포함하는 하나 이상의 컴퓨팅 시스템으로서, 상기 적어도 하나의 기계 학습 알고리즘은 세트 훈련 데이터로부터 생성되는, 상기 하나 이상의 컴퓨팅 시스템; 및
비전 시스템 처리 서비스를 구현하기 위한 컴퓨터 실행 가능 명령어를 실행하는, 처리 장치 및 메모리를 포함하는 하나 이상의 컴퓨팅 시스템으로서, 상기 비전 시스템 처리 서비스는,
차량의 동작 시 캡처된 이미지와 연관된 제1 비전 시스템 캡처 정보를 획득하되, 상기 제1 비전 시스템 캡처 정보는 제1 시간 인스턴스와 연관되고;
상기 차량의 동작 시 캡처된 이미지와 연관된 제2 비전 시스템 캡처 정보를 획득하되, 상기 제2 비전 시스템 캡처 정보는 제2 시간 인스턴스와 연관되고, 상기 제2 시간 인스턴스는 상기 제1 시간 인스턴스 이후이고;
상기 제2 비전 시스템 캡처 정보와 연관된 실측 데이터 라벨 및 값을 획득하고;
상기 제2 비전 시스템 캡처 정보와 연관된 상기 획득된 실측 데이터 라벨 및 값에 기초하여 상기 제1 비전 시스템 캡처 정보와 연관된 실측 데이터 라벨 및 값을 결정 또는 업데이트 중 적어도 하나를 하고;
상기 제1 및 제2 시간 인스턴스에 대한 실측 라벨 및 값 세트를 저장하도록 동작 가능한, 상기 하나 이상의 컴퓨팅 시스템을 포함하는, 시스템.
제1항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 속도에 대응하는, 시스템.
제1항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 요(yaw)에 대응하는, 시스템.
제1항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 검출된 오브젝트에 대한 위치에 대응하는, 시스템.
제1항에 있어서, 상기 비전 시스템 처리 서비스는 상기 제2 비전 시스템 캡처 정보와 연관된 상기 실측 데이터 라벨 및 값을 획득하기 전에 상기 제1 비전 시스템 캡처 정보와 연관된 초기 실측 데이터 라벨 및 값 세트를 결정하도록 동작 가능한, 시스템.
제1항에 있어서, 상기 비전 시스템 처리 서비스는 상기 제2 비전 시스템 캡처 정보와 연관된 상기 실측 데이터 라벨 및 값을 결정하도록 동작 가능한, 시스템.
차량 내 비전 시스템을 관리하기 위한 방법으로서, 상기 시스템은,
차량의 동작 시 캡처된 이미지와 연관된 제1 비전 시스템 캡처 정보를 획득하는 단계로서, 상기 제1 비전 시스템 캡처 정보는 제1 시간 인스턴스와 연관되는, 상기 획득하는 단계;
상기 차량의 동작 시 캡처된 이미지와 연관된 제2 비전 시스템 캡처 정보를 획득하는 단계로서, 상기 제2 비전 시스템 캡처 정보는 제2 시간 인스턴스와 연관되고, 상기 제2 시간 인스턴스는 상기 제1 시간 인스턴스 이후인, 상기 획득하는 단계;
상기 제2 비전 시스템 캡처 정보와 연관된 실측 데이터 라벨 및 값을 획득하는 단계;
상기 제2 비전 시스템 캡처 정보와 연관된 상기 획득된 실측 데이터 라벨 및 값에 기초하여 상기 제1 비전 시스템 캡처 정보와 연관된 실측 데이터 라벨 및 값을 결정하는 단계 또는 업데이트하는 단계 중 적어도 하나; 및
상기 제1 및 제2 시간 인스턴스에 대한 실측 라벨 및 값 세트를 저장하는 단계를 포함하는, 방법.
제7항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 속도에 대응하는, 방법.
제7항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 요(yaw)에 대응하는, 방법.
제7항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 검출된 오브젝트에 대한 위치에 대응하는, 방법.
제7항에 있어서, 상기 제2 비전 시스템 캡처 정보와 연관된 상기 실측 데이터 라벨 및 값을 획득하기 전에 상기 제1 비전 시스템 캡처 정보와 연관된 초기 실측 데이터 라벨 및 값 세트를 결정하는 단계를 더 포함하는, 방법.
제7항에 있어서, 상기 제2 비전 시스템 캡처 정보와 연관된 상기 실측 데이터 라벨 및 값을 결정하는 단계를 더 포함하는, 방법.
제7항에 있어서, 차량의 동작 시 캡처된 이미지와 연관된 제1 비전 시스템 캡처 정보를 획득하는 단계로서, 상기 제1 비전 시스템 캡처 정보는 제1 시간 인스턴스와 연관되는, 상기 획득하는 단계 및 상기 차량의 동작 시 캡처된 이미지와 연관된 제2 비전 시스템 캡처 정보를 획득하는 단계로서, 상기 제2 비전 시스템 캡처 정보는 제2 시간 인스턴스와 연관되고, 상기 제1 시간 인스턴스 이후의 상기 제2 시간 인스턴스는 캡처 속도에 기초하는, 상기 획득하는 단계를 포함하는, 방법.
제13항에 있어서, 상기 캡처 속도는 24 헤르츠인, 방법.
차량 내 비전 시스템을 관리하기 위한 방법으로서, 상기 시스템은,
제1 및 제2 비전 시스템 캡처 정보와 연관된 실측 데이터 라벨 및 값을 획득하는 단계로서, 상기 제1 비전 시스템 캡처 정보는 제1 시간 인스턴스와 연관되고 상기 제2 비전 시스템 캡처 정보는 제2 시간 인스턴스와 연관되고, 상기 제2 시간 인스턴스는 상기 제1 시간 인스턴스 이후인, 상기 획득하는 단계;
상기 제2 비전 시스템 캡처 정보와 연관된 상기 획득된 실측 데이터 라벨 및 값에 기초하여 상기 제1 비전 시스템 캡처 정보와 연관된 실측 데이터 라벨 및 값을 업데이트하는 단계; 및
상기 제1 및 제2 시간 인스턴스에 대한 실측 라벨 및 값 세트를 저장하는 단계를 포함하는, 방법.
제15항에 있어서, 상기 제1 및 제2 실측 데이터 라벨 및 값은 검출된 오브젝트에 대한 속도, 요 또는 위치 중 적어도 하나에 대응하는, 방법.
제15항에 있어서, 상기 제2 비전 시스템 캡처 정보와 연관된 상기 실측 데이터 라벨 및 값을 획득하기 전에 상기 제1 비전 시스템 캡처 정보와 연관된 초기 실측 데이터 라벨 및 값 세트를 결정하는 단계를 더 포함하는, 방법.
제15항에 있어서, 상기 제2 비전 시스템 캡처 정보와 연관된 상기 실측 데이터 라벨 및 값을 결정하는 단계를 더 포함하는, 방법.
제15항에 있어서, 차량의 동작 시 캡처된 이미지와 연관된 제1 비전 시스템 캡처 정보를 획득하는 단계를 더 포함하는, 방법.
제19항에 있어서, 상기 차량의 동작 시 캡처된 이미지와 연관된 제2 비전 시스템 캡처 정보를 획득하는 단계를 더 포함하며, 상기 제2 비전 시스템 캡처 정보는 캡처 속도에 기초하는, 방법.