KR20240047408A - 비전 기반 시스템을 위한 검출된 오브젝트 경로 예측 - Google Patents

Abstract

본 출원의 양태는 비전 시스템으로부터 검출된 동적 오브젝트에 대한 시뮬레이션 또는 예측된 주행 경로를 생성하기 위해 비전 시스템으로부터의 입력 세트의 활용에 대응한다. 예시적으로, 서비스는 하나 이상의 비전 시스템(또는 추가 서비스)으로부터 수집된 입력 세트(예를 들어, 관련 실측 라벨 데이터)를 처리하여 캡처된 비전 시스템 정보로부터 검출된 임의의 동적 오브젝트에 대한 예측된 주행 경로를 식별할 수 있다. 전형적으로, 하나 이상의 주행 경로가 최소 임계치를 충족하거나 초과하는 것으로 간주될 수 있도록 복수의 예측된 주행 경로가 생성될 수 있다. 결과적인 예측된 주행 경로는 검출된 동적 오브젝트에 대한 임의의 하나의 예측된 주행 경로가 발생할 가능성을 특성화하는 신뢰도 값과 추가로 연관될 수 있다. 생성 및 처리된 경로는 내비게이션 시스템/서비스, 반자율 또는 자율 주행 시스템/서비스 등과 같은 추가 시스템에 대한 입력으로 제공되거나 사용될 수 있다.

Description

비전 기반 시스템을 위한 검출된 오브젝트 경로 예측

관련 특허 출원들에 대한 상호 참조

본 출원은 2021년 8월 19일에 출원된 ENHANCED SYSTEMS AND METHODS FOR AUTONOMOUS VEHICLE OPERATION AND TRAINING이라는 명칭의 미국 임시 출원 번호 제63/260,439호 및 2021년 12월 9일에 출원된 ENHANCED SYSTEMS AND METHODS FOR AUTONOMOUS VEHICLE OPERATION AND TRAINING이라는 명칭의 미국 임시 출원 번호 제63/287,936호에 대한 우선권을 주장한다. 미국 임시 출원 번호 제63/260,439호 및 제63/287,936호는 본원에 그 전문이 참조로 통합된다.

일반적으로 설명하면, 컴퓨팅 장치 및 통신 네트워크는 데이터 및/또는 정보를 교환하는 데 활용될 수 있다. 일반적인 애플리케이션에서, 컴퓨팅 장치는 통신 네트워크를 통해 다른 컴퓨팅 장치에 콘텐트를 요청할 수 있다. 예를 들어, 컴퓨팅 장치는 다양한 데이터를 수집하고 소프트웨어 애플리케이션을 활용하여 네트워크(예를 들어, 인터넷)를 통해 서버 컴퓨팅 장치와 콘텐트를 교환할 수 있다.

일반적으로 설명하면, 전기 차량, 연소 기관 차량 하이브리드 차량 등과 같은 다양한 차량은 차량의 동작 또는 차량에 포함된 하나 이상의 시스템의 관리를 용이하게 하기 위해 다양한 센서 및 컴포넌트로 구성될 수 있다. 특정 시나리오에서, 차량 소유자 또는 차량 사용자는 차량의 동작을 용이하게 하기 위해 센서 기반 시스템을 활용하기를 원할 수 있다. 예를 들어, 차량은 종종 위치 서비스를 용이하게 하는 하드웨어 및 소프트웨어 기능을 포함할 수 있거나 위치 서비스를 제공하는 컴퓨팅 장치에 액세스할 수 있다. 다른 예에서, 차량은 또한 차량 탑승자와 사용자에게 제공되는 내비게이션 또는 방향 정보와 관련된 정보를 생성할 수 있는 내비게이션 시스템을 포함하거나 내비게이션 컴포넌트에 액세스할 수 있다. 또 다른 예에서, 차량은 내비게이션 및 위치 서비스, 안전 서비스 또는 기타 운영 서비스/컴포넌트를 용이하게 하는 비전 시스템을 포함할 수 있다.

본 개시는, 이에 제한되는 것은 아니나, 본 개시를 예시하기 위한 것인 특정 실시예의 도면을 참조하여 본원에 설명되어 있다. 본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 본원에 개시된 개념을 예시하기 위한 것이며 비축척일 수 있다는 것을 이해해야 한다.
도 1a는 본 출원의 하나 이상의 양태에 따른 차량에 대응하는 환경을 예시한다;
도 1b는 본 출원의 하나 이상의 양태에 따른 차량용 예시적인 비전 시스템이다;
도 2는 본 출원의 양태에 따른 비전 정보 처리 컴포넌트를 구현하기 위한 예시적인 아키텍처를 도시한다.
도 3은 예시적인 실시예에 따른 시뮬레이션 콘텐트 서비스에 의해 구현된 시뮬레이션 모델 콘텐트 생성 루틴을 예시하는 흐름도이다;
도 4a 및 도 4b는 본 출원의 양태에 따른 검출된 오브젝트에 대한 잠재적 주행 경로의 표현을 예시한다; 그리고
도 5a 및 도 5b는 본 출원의 양태에 따른 검출된 오브젝트에 대한 실현 가능성 원뿔(feasibility cone)의 모델에 대한 두 개의 서로 다른 실시예를 예시한다.

일반적으로 설명하면, 본 개시의 하나 이상의 양태는 차량 내 비전 시스템의 구성 및 구현에 관한 것이다. 예시적인 예로서, 본 출원의 양태는 다양한 동작 기능을 위해 비전 시스템에만 의존하는 차량에 사용되는 기계 학습 알고리즘의 구성 및 훈련에 관한 것이다. 예시적으로, 비전 전용 시스템은 비전 기반 시스템을 레이더 기반 시스템, LIDAR 기반 시스템, SONAR 시스템 등과 같은 하나 이상의 추가 센서 시스템과 조합할 수 있는 차량과 대조된다.

비전 전용 시스템은 차량에 장착된 복수의 카메라를 포함할 수 있는 비전 시스템의 입력만 처리할 수 있는 기계 학습 알고리즘으로 구성될 수 있다. 기계 학습 알고리즘은 오브젝트를 식별하고 차량에 대해 측정된 위치, 속도, 가속도와 같은 식별된 오브젝트의 특성/속성을 지정하는 출력을 생성할 수 있다. 추가로, 주행 중인 동적 오브젝트의 경우, 하나 이상의 양태는 차량에 대한 검출 오브젝트의 잠재적 주행 경로의 특성을 제공하는 것에 관한 것이다. 잠재적 주행 경로는 신뢰도 값에 기초하여 우선순위가 정해지거나 그렇지 않으면 소팅(sorted)될 수 있다. 그런 다음 주행 데이터의 결정된 잠재적 경로를 포함하여 기계 학습 알고리즘의 출력은 내비게이션 시스템, 위치 확인 시스템, 안전 시스템 등과 같은 추가 처리에 활용될 수 있다.

본 출원의 양태에 따르면, 서비스는 기계 학습 알고리즘이 도로 가장자리, 차선, 중앙 차선 등을 포함하는 주행 표면(들)과 관련된 오브젝트의 식별과 같은, 식별된 오브젝트 및 지정된 특성/속성을 식별하고 나타내기 위해 라벨링된 데이터로 훈련되는 지도(supervised) 학습 모델에 따라 기계 학습 알고리즘을 구성할 수 있다. 추가로, 기계 학습 알고리즘(들)은 정적 및 동적 오브젝트(예를 들어, 차량)와 같은 주행 표면에 대한 정적 오브젝트 및 위치, 속도, 가속도 등과 같은 관련 정보를 식별하도록 추가로 구성될 수 있다.

서비스는 식별된 오브젝트(예를 들어, 기하학적 표현) 및 관련 속성을 활용하여 일련의 잠재적 주행 경로를 식별할 수 있다. 특히, 잠재적 주행 경로의 표현은 주행 표면의 속성과 검출된 오브젝트의 개별 속성에 적용되는 동역학 기반 모델링을 기반으로 할 수 있다. 예시적으로, 입력 처리의 처리 결과는 동적 오브젝트가 예상 경로를 따를 가능성을 특징짓는 신뢰도 값을 포함할 수도 있다. 일부 실시예들에서, 서비스는 예컨대 최소 임계치를 초과하지 않는 임의의 결정된 잠재적 주행 경로를 제거하는 것과 같은 임계치를 기반으로 잠재적 경로의 타겟 세트를 소팅, 필터링 또는 아니면 처리할 수 있다.

일부 실시예들에서, 서비스는 추가 기준이나 외부 정보를 기반으로 생성된 잠재적 주행 경로 세트를 추가로 처리할 수 있다. 일 실시예에서, 서비스는 임의의 추가로 검출된 오브젝트(정적 또는 동적)가 잠재적인 주행 경로에 영향을 미칠 수 있는지 또는 그렇지 않으면 신뢰도 값을 수정할 수 있는지 여부를 결정할 수 있다. 예를 들어, 동적 오브젝트에 대한 초기 주행 경로 세트에는 기존 차선의 직진 이동, 교차로에서 회전 또는 인접 차선으로의 차선 변경과 관련된 주행 경로가 포함되며 모든 잠재적 경로가 초기 신뢰도 값 임계치를 충족하거나 초과한다고 가정한다. 현재 차선에서 정적 오브젝트(예를 들어, 주차된 차량)가 검출되면, 서비스는 신뢰도 값을 조정하고, 기존 차선에서 직선 주행을 제거하고, 외부의 검출된 오브젝트에 의해 영향을 받은 추가적인 또는 대체적인 잠재적 주행 경로 등을 생성한다. 생성 및 처리된 경로는 내비게이션 시스템/서비스, 반자율 또는 자율 주행 시스템/서비스 등과 같은 추가 시스템에 대한 입력으로 제공되거나 사용될 수 있다.

전통적으로, 차량은 제어 컴포넌트에 입력을 제공하는 데 사용될 수 있는 물리적 센서와 연관된다. 많은 내비게이션, 위치 및 안전 시스템의 경우, 물리적 센서에는 오브젝트를 검출하고 검출된 오브젝트의 속성을 특성화할 수 있는 레이더 시스템, LIDAR 시스템 등과 같은 검출 기반 시스템이 포함된다. 일부 애플리케이션에서, 검출 시스템은 제조 및 유지 관리 비용을 증가시킬 수 있다. 추가적으로, 비, 안개, 눈과 같은 일부 환경 시나리오에서, 검출 기반 시스템은 검출에 아주 적합하지 않거나 검출 오류가 증가할 수 있다.

상기 결함의 적어도 일부를 해결하기 위해, 본 출원의 양태는 비전 시스템으로부터 검출된 동적 오브젝트에 대한 시뮬레이션 또는 예측된 주행 경로를 생성하기 위해 비전 시스템으로부터의 입력 세트의 활용에 대응한다. 예시적으로, 서비스는 하나 이상의 비전 시스템(또는 추가 서비스)으로부터 수집된 입력 세트(예를 들어, 관련 실측 라벨 데이터)를 처리하여 캡처된 비전 시스템 정보로부터 검출된 임의의 동적 오브젝트에 대한 예측된 주행 경로를 식별할 수 있다. 전형적으로, 하나 이상의 주행 경로가 최소 임계치를 충족하거나 초과하는 것으로 간주될 수 있도록 복수의 예측된 주행 경로가 생성될 수 있다. 결과적인 예측된 주행 경로는 검출된 동적 오브젝트에 대한 임의의 하나의 예측된 주행 경로가 발생할 가능성을 특성화하는 신뢰도 값과 추가로 연관될 수 있다. 생성 및 처리된 경로는 내비게이션 시스템/서비스, 반자율 또는 자율 주행 시스템/서비스 등과 같은 추가 시스템에 대한 입력으로 제공되거나 사용될 수 있다.

예시적인 실시예 및 특징의 조합에 따라 다양한 양태가 설명될 것이지만, 관련 기술 분야의 당업자는 이러한 예 및 특징의 조합이 본질적으로 예시적인 것이며 제한하는 것으로 해석되어서는 안 된다는 것을 이해할 것이다. 보다 구체적으로, 본 출원의 양태는 조합 엔진, 하이브리드 엔진, 전기 엔진 등과 같은 다양한 추진 시스템을 갖춘 차량을 포함하는 다양한 유형의 차량에 적용될 수 있다. 또한, 본 출원의 양태는 다양한 유형의 센서, 감지 시스템, 내비게이션 시스템 또는 위치 시스템을 통합할 수 있는 다양한 유형의 차량에 적용될 수 있다. 따라서, 예시적인 예는 제한하는 것으로 해석되어서는 안 된다. 마찬가지로, 본 출원의 양태는 자율 주행 애플리케이션, 운전자 편의 애플리케이션 등을 포함하여 차량의 동작을 용이하게 할 수 있는 다른 유형의 컴포넌트와 조합되거나 구현될 수 있다.

예시적으로, 차량 세트(102)는 오브젝트를 식별하고 식별된 오브젝트의 하나 이상의 속성을 특성화하기 위한 비전 전용 기반 시스템으로 구성된 하나 이상의 차량에 대응한다. 차량 세트(102)는 지도 학습 모델을 구현하는 기계 학습 알고리즘과 같은 기계 학습 알고리즘으로 구성되며, 이는 오브젝트를 식별하고 식별된 오브젝트의 속성(예컨대 위치, 속도 및 가속도 속성)을 특성화하기 위해 비전 시스템 입력만을 활용하도록 구성된다. 차량 세트(102)는 레이더 검출 시스템, LIDAR 검출 시스템 등과 같은 임의의 추가적인 검출 시스템 없이 구성될 수 있다.

예시를 위해, 도 1a는 본 출원의 하나 이상의 양태에 따른 차량(102)에 대응하는 환경을 예시한다. 환경은 본원에 설명된 바와 같은 차량의 동작 또는 정보의 수집을 위한 입력을 제공할 수 있는 로컬 센서 입력 모음을 포함한다. 로컬 센서의 모음에는 차량에 포함되거나 그렇지 않으면 동작 동안 차량에 의해 접근 가능한 하나 이상의 센서 또는 센서 기반 시스템이 포함될 수 있다. 로컬 센서 또는 센서 시스템은 차량에 통합될 수 있다. 대안적으로, 로컬 센서 또는 센서 시스템은 물리적 연결, 무선 연결 또는 이들의 조합과 같은 차량과 관련된 인터페이스에 의해 제공될 수 있다.

일 양태에서, 로컬 센서에는 오브젝트 검출, 검출된 오브젝트의 속성(예를 들어, 위치, 속도, 가속도), 환경 조건 존재(예를 들어, 눈, 비, 얼음, 안개, 연기 등) 등과 같은 입력을 차량에 제공하는 비전 시스템이 포함될 수 있다. 비전 시스템을 형성하기 위해 차량에 장착된 예시적인 카메라 모음이 도 1b와 관련하여 설명될 것이다. 앞서 설명된 바와 같이, 차량(102)은 다른 전통적인 검출 시스템의 지원 없이 또는 이를 대신하지 않고 정의된 차량 동작 기능을 위해 이러한 비전 시스템에 의존할 것이다.

또 다른 양태에서, 로컬 센서는 차량에 대한 포지셔닝 정보를 결정할 때 다양한 수준의 정확도를 허용하는 외부 소스로부터 기준 정보를 얻을 수 있는 하나 이상의 포지셔닝 시스템을 포함할 수 있다. 예를 들어, 포지셔닝 시스템은 GPS 소스, 무선 근거리 통신망(Wireless Local Area Network; WLAN) 액세스 포인트 정보 소스, 블루투스(Bluetooth) 정보 소스, 무선 주파수 식별(radio-frequency identification; RFID) 소스 등으로부터의 정보를 처리하기 위한 다양한 하드웨어 및 소프트웨어 컴포넌트를 포함할 수 있다. 일부 실시예들에서, 포지셔닝 시스템은 다수의 소스로부터 정보 조합을 획득할 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 입력 소스로부터 정보를 획득하고 차량의 포지셔닝 정보, 특히 현재 위치의 고도를 결정할 수 있다. 다른 실시예에서, 포지셔닝 시스템은 또한 주행 방향, 속도, 가속도 등과 같은 주행 관련 동작 파라미터를 결정할 수 있다. 포지셔닝 시스템은 자율 주행 애플리케이션, 향상된 주행 또는 사용자 지원 내비게이션 등을 포함한 다양한 목적을 위해 차량의 일부로 구성될 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 차량 파라미터 또는 프로세스 정보의 식별을 용이하게 하는 처리 컴포넌트 및 데이터를 포함할 수 있다.

또 다른 양태에서, 로컬 센서는 내비게이션 관련 정보를 식별하기 위한 하나 이상의 내비게이션 시스템을 포함할 수 있다. 예시적으로, 내비게이션 시스템은 포지셔닝 시스템으로부터 포지셔닝 정보를 획득하고 고도, 도로 등급 등과 같이 식별된 위치에 대한 특성이나 정보를 식별할 수 있다. 내비게이션 시스템은 또한 차량 사용자에게 제공되거나 예상되는 방향을 기반으로 다중 차선 도로에서 제안되거나 의도된 차선 위치를 식별할 수 있다. 위치 시스템과 유사하게, 내비게이션 시스템은 자율 주행 애플리케이션, 향상된 주행 또는 사용자 지원 내비게이션 등을 포함한 다양한 목적을 위해 차량의 일부로 구성될 수 있다. 내비게이션 시스템은 포지셔닝 시스템과 조합되거나 통합될 수 있다. 예시적으로, 포지셔닝 시스템은 다양한 차량 파라미터 또는 프로세스 정보의 식별을 용이하게 하는 처리 컴포넌트 및 데이터를 포함할 수 있다.

로컬 리소스는 차량 또는 차량에 의해 접근 가능한 컴퓨팅 장치(예를 들어, 모바일 컴퓨팅 장치)에 호스팅될 수 있는 하나 이상의 처리 컴포넌트(들)를 더 포함한다. 처리 컴포넌트(들)는 예시적으로 다양한 로컬 센서 또는 센서 시스템으로부터의 입력에 액세스하고 본원에 설명된 바와 같이 입력된 데이터를 처리할 수 있다. 본 출원의 목적을 위해, 처리 컴포넌트(들)는 예시적인 양태와 관련된 하나 이상의 기능과 관련하여 설명될 것이다. 예를 들어, 차량(102)의 처리 컴포넌트(들)는 수집된 비전 정보에 대응하는 제1 데이터 세트를 수집하고 전송할 것이다.

환경은 하나 이상의 동작 상태에 따라 사용하기 위한 다양한 동작 파라미터에 관한 정보를 제공하도록 동작 가능한 다양한 추가 센서 컴포넌트 또는 감지 시스템을 더 포함할 수 있다. 환경은 통신 출력을 통한 데이터 전송, 메모리 내 데이터 생성, 다른 처리 컴포넌트로의 출력의 전송 등과 같은 출력을 처리하기 위한 하나 이상의 제어 컴포넌트를 더 포함할 수 있다.

이제 도 1b를 참조하면, 차량용 예시적인 비전 시스템(200)이 설명될 것이다. 비전 시스템(200)은 차량의 동작 동안 이미지 데이터를 캡처할 수 있는 카메라 세트를 포함한다. 상기에 설명된 바와 같이, 개별 이미지 정보는 예시된 이미지가 이미지의 특정 타임 스탬프를 나타내도록 특정 주파수에서 수신될 수 있다. 일부 실시예들에서, 이미지 정보는 HDR(high dynamic range) 이미지를 나타낼 수 있다. 예를 들어, 서로 다른 노출을 조합하여 HDR 이미지를 형성할 수 있다. 다른 예로서, 이미지 센서의 이미지는 사전 처리되어 이들을 (예를 들어, 기계 학습 모델을 사용하여) HDR 이미지로 변환할 수 있다.

도 2b에 예시된 바와 같이, 카메라 세트는 이미지 데이터를 캡처하는 전방 카메라 세트(202)를 포함할 수 있다. 전방 카메라는 차량의 앞 유리 부분에 장착되어 약간 더 높은 고도를 가질 수 있다. 도 1b에 예시된 바와 같이, 전방 카메라(202)는 합성 이미지를 생성하도록 구성된 다수의 개별 카메라를 포함할 수 있다. 예를 들어, 카메라 하우징은 전방을 가리키는 3개의 이미지 센서를 포함할 수 있다. 이 예에서, 이미지 센서 중 첫 번째는 광각(예를 들어, 어안) 렌즈를 가질 수 있다. 이미지 센서 중 두 번째는 일반 또는 표준 렌즈(예를 들어, 35mm 등가 초점 거리, 50mm 등가, 등)를 가질 수 있다. 이미지 센서 중 세 번째는 줌 또는 좁은 렌즈를 가질 수 있다. 이러한 방식으로, 차량의 전방 방향에서 다양한 초점 거리의 세 가지 이미지가 획득될 수 있다. 비전 시스템(200)은 차량의 도어 필러(door pillar)에 장착된 카메라 세트(204)를 더 포함한다. 비전 시스템(200)은 차량의 앞 범퍼에 장착된 2개의 카메라(206)를 더 포함할 수 있다. 추가적으로, 비전 시스템(200)은 후방 범퍼, 트렁크 또는 번호판 홀더에 장착된 후방 카메라(208)를 포함할 수 있다.

카메라 세트(202, 204, 206 및 208)는 모든 캡처된 이미지를 전용 컨트롤러/임베디드 시스템과 같은 하나 이상의 처리 컴포넌트(212)에 제공할 수 있다. 예를 들어, 처리 컴포넌트(212)는 기계 학습 모델과 연관된 정보를 신속하게 처리하도록 구성된 하나 이상의 매트릭스 프로세서를 포함할 수 있다. 처리 컴포넌트(212)는, 일부 실시예들에서, 콘볼루션 신경망을 통한 순방향 패스와 연관된 콘볼루션을 수행하는 데 사용될 수 있다. 예를 들어, 입력 데이터와 가중치 데이터가 콘볼루션될 수 있다. 처리 컴포넌트(212)는 콘볼루션을 수행하는 다수의 곱셈-누산 유닛을 포함할 수 있다. 일 예로서, 매트릭스 프로세서는 더 큰 콘볼루션 동작을 용이하게 하기 위해 구성되거나 형식화된 입력 및 가중치 데이터를 사용할 수 있다. 대안적으로, 이미지 데이터는 범용 처리 컴포넌트로 전송될 수 있다.

예시적으로, 개별 카메라는 처리를 위한 시각적 데이터의 별도 입력으로 개별적으로 동작하거나 간주될 수 있다. 다른 실시예들에서, 카메라 데이터의 하나 이상의 서브세트는 전방 카메라(202)의 트리오와 같은 합성 이미지 데이터를 형성하기 위해 조합될 수 있다. 도 1b에 추가로 예시된 바와 같이, 차량(102)과 같은 비전 전용 시스템을 통합한 차량과 관련된 실시예들에서, 검출 시스템이 210에 포함되지 않을 것이다.

이제 도 2를 참조하면, 하나 이상의 로컬 리소스 또는 서비스에 비전 정보 처리 컴포넌트(112)를 구현하기 위한 예시적인 아키텍처가 설명될 것이다. 비전 정보 처리 컴포넌트(112)는 오브젝트 인식, 내비게이션, 위치 서비스 등을 위한 기계 학습 알고리즘과 관련된 기능을 제공하는 컴포넌트/시스템의 일부일 수 있다.

도 2의 아키텍처는 본질적으로 예시적인 것이며 처리 컴포넌트(212)에 대해 임의의 특정 하드웨어 또는 소프트웨어 구성을 요구하는 것으로 해석되어서는 안 된다. 도 2에 도시된 처리 컴포넌트(212)의 일반적인 아키텍처는 본 개시의 양태를 구현하는데 사용될 수 있는 컴퓨터 하드웨어 및 소프트웨어 컴포넌트의 배열을 포함한다. 예시된 바와 같이, 처리 컴포넌트(212)는 처리 유닛(202), 네트워크 인터페이스(204), 컴퓨터 판독 가능 매체 드라이브(206) 및 입력/출력 장치 인터페이스(208)를 포함하며, 이들 모두는 통신 버스를 통해 서로 통신할 수 있다. 처리 컴포넌트(212)의 컴포넌트는 물리적 하드웨어 컴포넌트이거나 가상화된 환경에서 구현될 수 있다.

네트워크 인터페이스(204)는 하나 이상의 네트워크 또는 컴퓨팅 시스템에 대한 연결성을 제공할 수 있다. 따라서 처리 유닛(202)은 네트워크를 통해 다른 컴퓨팅 시스템 또는 서비스로부터 정보 및 명령어를 수신할 수 있다. 처리 유닛(202)은 또한 메모리(210)와 통신할 수 있고 입력/출력 장치 인터페이스(208)를 통해 선택적인 디스플레이(도시되지 않음)에 대한 출력 정보를 더 제공할 수 있다. 일부 실시예들에서, 비전 정보 처리 컴포넌트(112)는 도 2에 도시된 것보다 더 많은(또는 더 적은) 컴포넌트를 포함할 수 있다.

메모리(210)는 하나 이상의 실시예를 구현하기 위해 처리 유닛(202)이 실행하는 컴퓨터 프로그램 명령어를 포함할 수 있다. 메모리(210)는 일반적으로 RAM, ROM, 또는 기타 영구 또는 비일시적 메모리를 포함한다. 메모리(210)는 처리 컴포넌트(212)의 일반적인 관리 및 동작에서 처리 유닛(202)에 의해 사용하기 위한 컴퓨터 프로그램 명령어를 제공하는 인터페이스 소프트웨어(212) 및 운영 체제(214)를 저장할 수 있다. 메모리(210)는 본 개시의 양태를 구현하기 위한 컴퓨터 프로그램 명령어 및 기타 정보를 더 포함할 수 있다. 예를 들어, 일 실시예에서, 메모리(210)는 차량(102), 데이터 저장소, 기타 서비스 등과 같은 차량으로부터 정보(예를 들어, 캡처된 비디오 정보)를 획득하는 센서 인터페이스 컴포넌트(216)를 포함한다.

메모리(210)는 캡처되거나 처리된 비전 시스템 정보를 획득 및 처리하고 본원 설명된 바와 같이 검출된 동적 오브젝트에 대한 하나 이상의 잠재적 주행 경로를 생성하기 위한 비전 정보 처리 컴포넌트(218)를 더 포함한다. 메모리(210)는 예컨대 내비게이션 또는 방향 목적을 위해 생성된 예측 경로 정보를 활용하기 위한 하나 이상의 내비게이션/방향 컴포넌트(들)(220)를 더 포함할 수 있다. 비전 정보 처리 컴포넌트(112) 내에 조합된 컴포넌트로 예시되어 있지만, 관련 기술 분야의 당업자는 메모리(210)의 컴포넌트 중 하나 이상이 물리적 컴퓨팅 환경과 가상화된 컴퓨팅 환경 모두를 포함하는 개별화된 컴퓨팅 환경에서 구현될 수 있다는 것을 이해할 것이다.

이제 도 3으로 돌아가면, 수집된 비전 및 시뮬레이션 콘텐트 시스템 데이터를 처리하기 위한 루틴(300)이 설명될 것이다. 루틴(300)은 예시적으로 처리 컴포넌트(212)에 의해 구현된다. 상기에 설명된 바와 같이, 루틴(500)은 차량(200)이 비전 시스템 데이터를 획득하고 캡처된 비전 시스템 데이터에 대한 실측 라벨 데이터가 처리에 이용 가능한 후에 구현될 수 있다.

블록(302)에서, 처리 컴포넌트(212)는 생성된 비전 데이터를 획득하고 수집한다. 예시적으로, 차량(200)은 비전 시스템 데이터를 수집하고 관련 실측 라벨을 생성하도록 구성될 수 있다. 상기에 설명된 바와 같이, 차량(200)은 캡처된 비전 시스템 정보에 대한 실측 라벨 정보를 적어도 부분적으로 생성하기 위해 비전 시스템에서의 처리 능력을 포함할 수 있다. 다른 실시예들에서, 차량(200)은 캡처된 비전 시스템 정보(임의의 실측 라벨이 있거나 없이)를 예컨대 통신 네트워크 내 다른 서비스로 전송할 수 있다. 그런 다음 추가 서비스는 추가 처리를 위해 실측 라벨 정보를 (수동으로 또는 자동으로) 추가할 수 있다.

블록(304)에서, 처리 컴포넌트(212)는 먼저 비전 시스템 데이터에 캡처된 주행 표면의 하나 이상의 속성을 식별할 수 있다. 예시적으로, 하나 이상의 속성(예를 들어, 실측 라벨)은 도로 가장자리 실측 라벨, 차선 실측 라벨, 신호 체계 실측 라벨, 방향 제어 실측 라벨 등을 포함할 수 있다. 추가적으로, 일부 실시예들에서, 검출 가능한 오브젝트 세트는 시지평선(visible horizon)(예를 들어, 캡처된 비전 정보의 가장자리)으로부터 결정된 정지 지점까지 투사될 수 있다. 일부 실시예들에서 정지 지점은 예시적으로 차량(200)일 수 있다. 다른 실시예들에서, 정지 지점은 예시적으로 차량(200) 뒤의 거리일 수 있다.

블록(306)에서, 처리 컴포넌트(212)는 하나 이상의 예측된 주행 경로를 생성하는 데 사용하기 위해 실측 라벨 데이터로부터 하나 이상의 동적 오브젝트를 식별한다. 예시적으로, 동적 오브젝트는 주행 표면 내에 위치되도록 결정된 하나 이상의 오브젝트에 해당한다.

블록(308)에서, 처리 컴포넌트(212)는 식별된 오브젝트(예를 들어, 기하학적 표현) 및 관련 속성을 활용하여 잠재적 주행 경로 세트를 식별할 수 있다. 특히, 잠재적 주행 경로의 표현은 주행 표면의 속성과 검출된 오브젝트의 개별 속성에 적용되는 동역학 기반 모델링을 기반으로 할 수 있다. 일부 실시예들에서, 하나 이상의 기계 학습 알고리즘은 잠재적 주행 경로 세트의 표현을 자동으로 결정하거나 생성하도록 훈련될 수 있다.

일 실시예에서, 검출된 동적 오브젝트는 방향 실측 라벨(예를 들어, 요(yaw)), 속도 실측 라벨 데이터 및 가속도 실측 라벨 데이터의 일부 조합과 연관될 수 있다. 이러한 속성(예를 들어, 실측 라벨)을 기반으로, 각 동적 오브젝트는 예컨대 주행 표면의 원뿔 또는 삼각형 영역을 통해 주행 표면에서 가능한 동작 범위로 추가로 표현될 수 있다. 이러한 표현은 일반적으로 실현 가능성 표현이라고 할 수 있다. 이 실시예에서, 원뿔/삼각형의 모양은 속도 및 가속도 실측 라벨이 더 높은 시나리오에서 더 좁고 긴 방식으로 표현될 수 있다(예를 들어, 동적 오브젝트의 속도가 회전 유형 또는 결정된 속도를 고려한 다른 활동을 완료할 수 없을 가능성이 있음). 마찬가지로, 원뿔/삼각형의 모양은 속도 및 가속도 실측 라벨이 더 낮은 시나리오에서 더 넓고 더 짧은 방식으로 표현될 수 있다(예를 들어, 동적 오브젝트의 속도가 회전 유형 또는 결정된 속도를 고려한 기타 활동을 완료할 수 있을 가능성이 더 높음). 이 실시예에 따르면, 가능한 동작의 표현된 범위를 벗어나는 잠재적 주행 경로가 제거되거나 완화될 수 있다.

예시적으로, 블록(308)에서, 개별적인 잠재적 주행 경로는 동적 오브젝트가 결정된 예측된 경로를 따를 가능성을 특징으로 하는 신뢰도 값을 더 포함할 수 있다. 일부 실시예들에서, 서비스는 예컨대 최소 임계치를 초과하지 않는 임의의 결정된 잠재적 주행 경로를 제거하는 것과 같은 임계치를 기반으로 잠재적 경로의 타겟 세트를 소팅, 필터링 또는 아니면 처리할 수 있다. 예시적으로, 처리 컴포넌트(212)는 하나 이상의 기계 학습 알고리즘을 활용하여 개별적인 잠재적 경로에 대한 신뢰도 값을 결정할 수 있다. 일부 실시예들에서, 복수의 잠재적 경로에 대한 신뢰도 값 세트의 합은 100%로 합할 필요가 없다. 이와 관련하여, 두 개 이상의 잠재적 주행 경로와 연관된 신뢰도 값은 그 합이 100%를 초과할 정도로 충분히 높을 수 있다. 이러한 시나리오에서, 내비게이션/방향 서비스는 다른 기능을 활용하여 어느 경로를 고려할지를 결정할 수 있다. 다른 예에서, 전체 잠재적 주행 경로 세트와 관련된 신뢰도 값은 100%보다 낮을 수 있으며, 이는 개별적인 잠재적 주행 경로가 다른 잠재적 경로보다 가능성이 높거나 훨씬 더 높은 것으로 간주되거나 특성화될 수 없음을 나타낼 수 있다.

블록(310)에서, 처리 컴포넌트(212)는 추가 기준 또는 외부 정보에 기초하여 생성된 잠재적 주행 경로 세트를 추가로 처리할 수 있다. 일 실시예에서, 서비스는 임의의 추가로 검출된 오브젝트(정적 또는 동적)가 잠재적인 주행 경로에 영향을 미칠 수 있는지 또는 그렇지 않으면 신뢰도 값을 수정할 수 있는지 여부를 결정할 수 있다. 예를 들어, 동적 오브젝트에 대한 초기 주행 경로 세트에는 기존 차선의 직진 이동, 교차로에서 회전 또는 인접 차선으로의 차선 변경과 관련된 주행 경로가 포함되며 모든 잠재적 경로가 초기 신뢰도 값 임계치를 충족하거나 초과한다고 가정한다. 현재 차선에서 정적 오브젝트(예를 들어, 주차된 차량)가 검출되면, 서비스는 신뢰도 값을 조정하고, 기존 차선에서 직선 주행을 제거하고, 외부의 검출된 오브젝트에 의해 영향을 받은 추가적인 또는 대체적인 잠재적 주행 경로 등을 생성한다. 생성 및 처리된 경로는 내비게이션 시스템/서비스, 반자율 또는 자율 주행 시스템/서비스 등과 같은 추가 시스템에 대한 입력으로 제공되거나 사용될 수 있다.

블록(312)에서, 처리 컴포넌트(212)는 생성된 잠재적 경로 및 연관된 신뢰도 값을 저장하거나 전송할 수 있다. 본원에 설명된 바와 같이, 생성 및 처리된 경로는 내비게이션 시스템/서비스, 반자율 또는 자율 주행 시스템/서비스 등과 같은 추가 시스템에 대한 입력으로 제공되거나 사용될 수 있다. 루틴(300)은 블록(314)에서 종료된다.

도 4a 및 4b는 동적 오브젝트(400)가 식별되고 잠재적 주행 경로가 두 개의 별개의 시점에 생성되는 시나리오를 예시한다. 제1 시간(도 4a)에서, 검출된 오브젝트(400)는 검출된 오브젝트의 속성(예를 들어, 요 및 속도)에 기초하여 3개의 잠재적 경로(402, 404, 406)를 따라 예측될 수 있다. 이 예에서, 각 시나리오는 45%의 가능성/신뢰도 값을 갖는 것으로 간주된다. 제2 시간(도 4b)에서, 동일한 검출된 오브젝트가 이전 경로(402)에 해당하는 차선(예를 들어, 좌회전)의 진입로를 통과했다고 가정한다. 이 시간에서, 제2 시점에 대해 결정된 잠재적 주행 경로는 이 시점에서 좌측 결정이 가능성이 없다고 간주될 수 있기 때문에 변경된다. 예시적으로, 두 개의 나머지 경로(404, 406)의 신뢰도 값은 여전히 45%로 유지될 수 있다.

도 5a 및 5b는 동적 오브젝트(500)에 대한 실현 가능성 원뿔(502, 504)의 모델에 대한 두 가지 다른 실시예들을 예시한다. 앞서 설명된 바와 같이, 도 5a의 원뿔/삼각형(예를 들어, 실현 가능성 원뿔)의 모양은 속도 및 가속도 실측 라벨이 더 높은 시나리오에서 더 좁고 긴 방식으로 표현될 수 있다(예를 들어, 동적 오브젝트의 속도가 회전 유형 또는 결정된 속도를 고려한 다른 활동을 완료할 수 없을 가능성이 있음). 마찬가지로, 도 5b의 원뿔/삼각형의 모양은 속도 및 가속도 실측 라벨이 더 낮은 시나리오에서 더 넓고 더 짧은 방식으로 표현될 수 있다(예를 들어, 동적 오브젝트의 속도가 회전 유형 또는 결정된 속도를 고려한 기타 활동을 완료할 수 있을 가능성이 더 높음). 이 실시예에 따르면, 가능한 동작의 표현된 범위를 벗어나는 잠재적 주행 경로가 제거되거나 완화될 수 있다.

전술한 개시는 본 개시를 개시된 정확한 형태 또는 특정 사용 분야로 제한하려는 의도가 아니다. 이와 같이, 본원에 명시적으로 기술되든 또는 암시되든, 본 개시에 대한 다양한 대체 실시예 및/또는 수정이 본 개시에 비추어 가능하다는 것이 고려된다. 따라서 본 개시의 실시예를 설명하였지만, 당업자는 본 개시의 범위를 벗어나지 않고 형태 및 세부 사항에 있어서 변경이 이루어질 수 있다는 것을 인식할 것이다. 따라서, 본 개시는 청구범위에 의해서만 제한된다.

전술한 명세서에서, 본 개시는 특정 실시예를 참조하여 설명되었다. 그러나, 당업자라면 이해할 수 있듯이, 본원에 개시된 다양한 실시예들은 본 개시의 정신 및 범위를 벗어나지 않고 다양한 다른 방식으로 수정되거나 구현될 수 있다. 따라서, 이 설명은 예시적인 것으로 간주되어야 하며 개시된 결정 및 제어 알고리즘의 다양한 실시예를 만들고 사용하는 방식을 당업자에게 교시하기 위한 것이다. 본원에 도시되고 설명된 개시의 형태는 대표적인 실시예로 간주되어야 한다는 것이 이해되어야 한다. 동등한 요소, 재료, 프로세스 또는 단계가 본원에 대표적으로 예시되고 설명된 것들을 대체할 수 있다. 더욱이, 본 개시의 특정 특징은 다른 특징의 사용과 독립적으로 활용될 수 있으며, 이는 모두 본 개시의 설명의 이점을 얻은 후에 당업자에게 명백할 것이다. 본 개시를 설명하고 청구하기 위해 사용된 "포함하는(including)", "포함하는(comprising)", "병합하는(incorporating)", "구성되는(consisting of)", "갖는(have)", "이다(is)"와 같은 표현은 비배타적인 방식으로 해석되도록 의도되는 것으로, 즉 명시적으로 설명되지 않은 품목, 컴포넌트 또는 요소도 존재할 수 있도록 허용하는 것이다. 단수에 대한 언급은 또한 복수에 관련된 것으로 해석되어야 한다.

또한, 본원에 개시된 다양한 실시예들은 예시적이고 설명적인 의미로 받아들여져야 하며 어떠한 방식으로든 본 개시를 제한하는 것으로 해석되어서는 안 된다. 모든 조인더 참조(예를 들어, 첨부(attached), 첨부(affixed), 결합, 연결 등)는 본 개시에 대한 독자의 이해를 돕기 위해서만 사용되며, 특히 시스템의 위치, 방향 또는 사용 및/또는 본원에 개시된 방법과 관련하여 제한을 만들지 않을 수 있다. 따라서 조인더 참조(있는 경우)는 광범위하게 해석되어야 한다. 더욱이, 이러한 조인더 참조는 반드시 두 요소가 서로 직접 연결되어 있다고 추론하는 것은 아니다.

추가적으로, 이에 제한되는 것은 아니나, "제1", "제2", "제3", "1차", "2차", "주" 또는 임의의 기타 일반적인 및/또는 숫자 용어와 같은 모든 수치 용어는 또한 본 개시의 다양한 요소, 실시예, 변형 및/또는 수정에 대한 독자의 이해를 돕기 위해 식별자로만 간주되어야 하며, 특히 다른 요소, 실시예, 변형 및/또는 수정에 대한 또는 그에 대한 임의의 요소, 실시예, 변형 및/또는 수정의 순서 또는 선호도에 대해 어떠한 제한도 만들지 않을 수 있다.

또한, 그림/도면에 묘사된 요소 중 하나 이상은 더 분리되거나 통합된 방식으로 구현될 수도 있거나, 특정 애플리케이션에 따라 유용한 것처럼 특정 경우에 심지어 제거되거나 작동 불가능한 것으로 렌더링될 수도 있다는 것이 이해될 것이다.

Claims (21)

1. 차량 내 비전 시스템을 관리하기 위한 시스템에 있어서, 상기 시스템은,
   비전 시스템 처리 컴포넌트를 구현하기 위한 컴퓨터 실행 가능 명령어를 실행하는 처리 장치 및 메모리를 포함하는 하나 이상의 컴퓨팅 시스템을 포함하며, 상기 비전 시스템 처리 컴포넌트는,
   하나 이상의 비전 시스템으로부터 수집된 비전 데이터와 관련된 제1 실측 라벨 데이터를 획득하되, 상기 획득된 제1 실측 라벨 데이터는 도로 가장자리 실측 라벨, 차선 실측 라벨 또는 도로 표시 중 적어도 하나를 포함하는 주행 표면의 속성에 대응하고;
   하나 이상의 비전 시스템으로부터 수집된 비전 데이터와 관련된 제2 실측 라벨 데이터를 획득하되, 상기 획득된 제2 실측 라벨 데이터는 검출된 하나 이상의 동적 오브젝트의 속성에 대응하고;
   상기 수집된 비전 데이터와 관련된 상기 획득된 제1 및 제2 실측 라벨 데이터를 처리하여 복수의 예측된 주행 경로를 형성하되, 각 개별 예측된 주행 경로는 신뢰도 값과 연관되고;
   적어도 하나의 추가 실측 라벨에 기초하여 상기 복수의 예측된 주행 경로를 처리하고;
   상기 처리된 복수의 예측된 주행 경로 및 관련 신뢰도 값을 저장하도록 하는, 시스템.
2. 제1항에 있어서, 상기 비전 시스템 처리 컴포넌트는 상기 수집된 비전 데이터와 연관된 상기 획득된 제1 및 제2 실측 라벨 데이터를 처리하여 최소 신뢰도 값 임계치를 초과하는 잠재적인 주행 경로를 선택하는 것에 기초하여 복수의 예측된 주행 경로를 형성하는, 시스템.
3. 제1항에 있어서, 상기 제1 및 제2 실측 라벨 데이터는 상기 캡처된 비디오 데이터의 수평 내에서 검출된 하나 이상의 오브젝트에 대응하는, 시스템.
4. 제3항에 있어서, 상기 제1 및 제2 실측 라벨 데이터는 상기 차량의 현재 정의된 위치 너머에서 검출된 하나 이상의 오브젝트에 대응하는, 시스템.
5. 제1항에 있어서, 상기 하나 이상의 검출된 동적 오브젝트의 속성은 상기 동적 오브젝트의 요(yaw), 속도 또는 가속도 중 적어도 하나에 대응하는, 시스템.
6. 제1항에 있어서, 상기 비전 시스템 처리 컴포넌트는 예측된 주행 경로를 방해할 수 있는 적어도 하나의 정적 오브젝트를 식별함으로써 적어도 하나의 추가 실측 라벨에 기초하여 상기 복수의 예측된 주행 경로를 처리하는, 시스템.
7. 제1항에 있어서, 상기 복수의 예측된 주행 경로 중 2개 이상과 관련된 신뢰도 값의 합은 100%를 초과하는 것인, 시스템.
8. 제1항에 있어서, 상기 복수의 예측된 주행 경로와 관련된 신뢰도 값의 합은 100%를 초과하지 않는 것인, 시스템.
9. 제1항에 있어서, 상기 비전 시스템 처리 컴포넌트는 검출된 동적 오브젝트에 대해 모델링된 실현 가능성 원뿔에 기초하여 상기 복수의 예측된 주행 경로를 처리하는, 시스템.
10. 차량 내 비전 시스템을 관리하기 위한 방법으로서, 상기 시스템은,
    하나 이상의 비전 시스템으로부터 수집된 비전 데이터와 관련된 제1 실측 라벨 데이터를 획득하는 단계로서, 상기 획득된 제1 실측 라벨 데이터는 주행 표면의 속성에 대응하는, 상기 획득하는 단계;
    하나 이상의 비전 시스템으로부터 수집된 비전 데이터와 관련된 제2 실측 라벨 데이터를 획득하는 단계로서, 상기 획득된 제2 실측 라벨 데이터는 검출된 하나 이상의 동적 오브젝트의 속성에 대응하는, 상기 획득하는 단계;
    상기 수집된 비전 데이터와 관련된 상기 획득된 제1 및 제2 실측 라벨 데이터를 처리하여 복수의 예측된 주행 경로를 형성하는 단계로서, 각 개별 예측된 주행 경로는 신뢰도 값과 연관되는, 상기 형성하는 단계; 및
    상기 처리된 복수의 예측된 주행 경로 및 관련 신뢰도 값을 저장하는 단계를 포함하는, 방법.
11. 제10항에 있어서, 최소 신뢰도 값 임계치를 초과하는 잠재적인 주행 경로를 선택하는 것에 기초하여 상기 복수의 예측된 주행 경로를 형성하는, 방법.
12. 제10항에 있어서, 상기 제1 및 제2 실측 라벨 데이터는 상기 캡처된 비디오 데이터의 수평 내에서 검출된 하나 이상의 오브젝트에 대응하는, 방법.
13. 제10항에 있어서, 상기 획득된 제1 실측 라벨 데이터는 도로 가장자리 실측 라벨, 차선 실측 라벨 또는 도로 표시 중 적어도 하나를 포함하는 주행 표면의 속성에 대응하는, 방법.
14. 제10항에 있어서, 상기 하나 이상의 검출된 동적 오브젝트의 속성은 상기 동적 오브젝트의 요(yaw), 속도 또는 가속도 중 적어도 하나에 대응하는, 방법.
15. 제10항에 있어서, 적어도 하나의 추가 실측 라벨에 기초하여 상기 복수의 예측된 주행 경로를 처리하는 단계를 더 포함하는, 방법.
16. 제15항에 있어서, 적어도 하나의 추가 실측 라벨에 기초하여 상기 복수의 예측된 주행 경로를 추가 처리하는 단계는 예측된 주행 경로를 방해할 수 있는 적어도 하나의 정적 오브젝트를 식별하는 단계를 포함하는, 방법.
17. 제10항에 있어서, 상기 비전 시스템 처리 컴포넌트는 검출된 동적 오브젝트에 대해 모델링된 실현 가능성 원뿔에 기초하여 상기 복수의 예측된 주행 경로를 처리하는, 방법.
18. 차량 내 비전 시스템을 관리하기 위한 방법으로서, 상기 시스템은,
    하나 이상의 비전 시스템으로부터 수집된 비전 데이터와 관련된 실측 라벨 데이터를 획득하는 단계로서, 상기 획득된 제1 실측 라벨 데이터는 주행 표면 및 검출된 하나 이상의 동적 오브젝트의 속성에 대응하는, 상기 획득하는 단계;
    상기 수집된 비전 데이터와 관련된 상기 획득된 실측 라벨 데이터에 기초하여 복수의 예측된 주행 경로를 생성하는 단계로서, 각 개별 예측된 주행 경로는 신뢰도 값과 관련되는, 상기 생성하는 단계; 및
    상기 처리된 복수의 예측된 주행 경로 및 관련 신뢰도 값을 저장하는 단계를 포함하는, 방법.
19. 제18항에 있어서, 최소 신뢰도 값 임계치를 초과하는 잠재적인 주행 경로를 선택하는 것에 기초하여 상기 복수의 예측된 주행 경로를 형성하는, 방법.
20. 제18항에 있어서, 상기 획득된 제1 실측 라벨 데이터는 도로 가장자리 실측 라벨, 차선 실측 라벨 또는 도로 표시 중 적어도 하나를 포함하는 주행 표면의 속성에 대응하는, 방법.
21. 제18항에 있어서, 상기 하나 이상의 검출된 동적 오브젝트의 속성은 상기 동적 오브젝트의 요(yaw), 속도 또는 가속도 중 적어도 하나에 대응하는, 방법.