KR20210121161A

KR20210121161A - 관련 애플리케이션에 대한 상호 참조 타겟에 자율 및 사용자 제어 차량 호출

Info

Publication number: KR20210121161A
Application number: KR1020217027366A
Authority: KR
Inventors: 일론 머스크; 케이트 박; 네나드 우주노빅; 크리스토퍼 콜멘 무어; 프란시스 하블락; 스튜어트 바우어스; 안드레즈 카프파티; 아르빈드 라마난단; 아쉬마 카푸르 수드; 폴 첸; 파릴 제인; 알랙산더 헤르츠베르그; 제이슨 콩; 리 왕; 옥테이 아슬란; 니클라스 구스타프슨; 챨스 시에; 데이비드 실리그
Original assignee: 테슬라, 인크.
Priority date: 2019-02-11
Filing date: 2020-02-07
Publication date: 2021-10-07
Also published as: US20200257317A1; US11567514B2; EP3924692A1; AU2020221897A1; US20230176593A1; WO2020167613A1; JP2022519710A; SG11202108732SA; CA3129725A1; IL285462A; CN113728210A

Abstract

메모리에 결합된 프로세서는 차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 연관된 지리적 위치의 식별을 수신하도록 구성된다. 기계 학습 모델은 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하는 데 활용된다. 수신된 지리적 위치에 대응하는 타겟 위치로의 경로의 적어도 일부는 차량을 둘러싼 환경의 적어도 일부의 생성된 표현을 사용하여 계산된다. 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터 및 결정된 경로에 기초하여 차량을 자동으로 운행하기 위한 적어도 하나의 명령이 제공된다.

Description

관련 애플리케이션에 대한 상호 참조 타겟에 자율 및 사용자 제어 차량 호출

본 발명은 관련 애플리케이션에 대한 상호 참조 타겟에 자율 및 사용자 제어 차량 호출에 관한 것이다.

이 출원은 2019년 2월 11일에 출원된 미국 특허 출원 "타겟에 자율 및 사용자 제어 차량 호출(AUTONOMOUS AND USER CONTROLLED VEHICLE SUMMON TO A TARGET)"의 연속 출원이고, 우선권을 주장하고, 그 개시 내용은 전체가 참고로 여기에 포함된다.

인간 주행자는 일반적으로 차량을 작동해야 하며 주행자가 수행하는 주행 작업은 종종 복잡하고 피곤할 수 있다. 예를 들어, 붐비는 주차장이나 차고에서 주차된 차를 찾거나 호출하는 것은 불편하고 지루할 수 있다. 기동(maneuver)은 종종 자신의 차량을 향해 걷기, 3점 방향 전환(three-point turns), 인접 차량이나 벽에 손을 대지 않고 좁은 곳에서 벗어나기, 및 이전에 왔던 위치로 주행하는 것을 포함한다. 일부 차량은 원격으로 조작할 수 있지만, 차량이 주행하는 경로는 일반적으로 조향 범위(steering range)가 제한되고 자체 경로를 따라 차량을 운행하는(navigate) 지능이 없는 전진 또는 후진 방향의 단일 직선 경로로 제한된다.

일 실시예는 시스템을 포함한다. 시스템은: 차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 연관된 지리적 위치의 식별을 수신하고; 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하기 위해 기계 학습 모델을 활용하고; 차량을 둘러싼 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치에 대한 경로의 적어도 일부를 계산하고; 및 결정된 경로 및 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터에 기초하여 차량을 자동으로 운행하기 위한 적어도 하나의 명령(command)을 제공하도록 구성된 프로세서(processor); 및 프로세서에 연결되고 프로세서에 지시(instruction)를 제공하도록 구성된 메모리(memory)를 포함한다.

다른 실시예는 방법을 포함한다. 방법은 차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 연관된 지리적 위치의 식별을 수신하는 단계; 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하기 위해 신경망을 활용하는 단계; 차량을 둘러싼 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치에 대한 경로의 적어도 일부를 계산하는 단계; 및 결정된 경로 및 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터에 기초하여 차량을 자동으로 운행하기 위한 적어도 하나의 명령을 제공하는 단계를 포함한다.

또 다른 실시예는 컴퓨터 프로그램 제품(computer program product)을 포함하고, 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독 가능 저장 매체(non-transitory computer readable storage medium)에 구현되고 컴퓨터 지시(computer instruction)을 포함한다. 컴퓨터 지시는 차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 관련된 지리적 위치의 식별을 수신하고; 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하기 위해 신경망을 활용하고; 차량을 둘러싼 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치에 대한 경로의 적어도 일부를 계산하고; 및 결정된 경로 및 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터에 기초하여 차량을 자동으로 운행하기 위한 적어도 하나의 명령을 제공하기 위한 것이다.

본 발명의 다양한 실시예는 다음의 상세한 설명 및 첨부 도면에 개시되어 있다.
도 1은 목적지 타겟까지 차량을 자동으로 운행하기 위한 프로세스의 실시예를 도시하는 흐름도이다.
도 2는 타겟 목적지를 수신하기 위한 프로세스의 실시예를 예시하는 흐름도이다.
도 3은 목적지 타겟까지 차량을 자동으로 운행하기 위한 프로세스의 실시예를 도시하는 흐름도이다.
도 4는 차량 주변 환경의 표현을 생성하기 위해 기계 학습 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시하는 흐름도이다.
도 5는 점유 그리드를 생성하기 위한 프로세스의 실시예를 예시하는 흐름도이다.
도 6은 목적지 타겟을 자동으로 운행하기 위한 프로세스의 실시예를 도시하는 흐름도이다.
도 7은 차량을 목적지 타겟까지 자동으로 운행하기 위한 자율 차량 시스템의 일 실시예를 도시한 블록도이다.
도 8은 차량을 목적지 타겟까지 자동으로 운행하기 위한 사용자 인터페이스의 일 실시예를 도시한 도면이다.
도 9는 차량을 목적지 타겟까지 자동 운행하기 위한 사용자 인터페이스의 일 실시예를 도시한 도면이다.

본 발명은, 프로세스; 장치; 시스템; 객체의 구성; 컴퓨터 판독 가능 저장 매체에 구현된 컴퓨터 프로그램 제품; 및/또는 프로세서, 예를 들어 프로세서에 결합된 메모리에 저장 및/또는 제공되는 지시를 실행하도록 구성된 프로세서와 같은, 다양한 방식으로 구현될 수 있다. 본 명세서에서, 이러한 구현 또는 본 발명이 취할 수 있는 임의의 다른 형태는 기술로 지칭될 수 있다. 일반적으로, 개시된 공정의 단계의 순서는 본 발명의 범위 내에서 변경될 수 있다. 달리 명시되지 않는 한, 프로세서나 메모리와 같은 작업을 수행하도록 구성되는 구성 요소는 주어진 시간에 작업을 수행하도록 임시로 구성되는 일반 구성 요소 또는 작업을 수행하도록 제조되는 특정 구성 요소로 구현될 수 있다. 본 명세서에 사용된 바와 같이, '프로세서(processor)'라는 용어는 컴퓨터 프로그램 지시(computer program instruction)와 같은 데이터를 처리하도록 구성된 하나 이상의 장치, 회로, 및/또는 처리 코어를 지칭한다.

본 발명의 하나 이상의 실시예의 상세한 설명은 본 발명의 원리를 예시하는 첨부 도면과 함께 아래에 제공된다. 본 발명은 이러한 실시예와 관련하여 설명되지만, 본 발명은 임의의 실시예에 제한되지 않는다. 본 발명의 범위는 청구범위에 의해서만 제한되며 본 발명은 수많은 대안, 수정 및 등가물을 포함한다. 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 하기 설명에 기재되어 있다. 이러한 세부사항은 예시의 목적으로 제공되며 본 발명은 이러한 특정 세부사항의 일부 또는 전부 없이 청구범위에 따라 실시될 수 있다. 명확성을 기하기 위해, 본 발명과 관련된 기술 분야에서 알려진 기술 자료는 본 발명이 불필요하게 흐려지는 일이 없도록 상세히 설명하지 않았다.

차량을 목적지까지 자율적으로 호출하는 기술이 개시된다. 타겟 지리적 위치가 제공되고 차량이 자동으로 타겟 위치로 운행한다. 예를 들어, 사용자는 목적지 위치의 그래픽 지도 사용자 인터페이스(graphical map user interface)에 핀을 놓아 위치를 제공한다. 다른 예로, 사용자는 사용자의 위치를 목적지 위치로 지정하여 사용자의 위치로 차량을 호출한다. 사용자는 또한 차량에 대해 검출된 실행 가능한 경로에 기초하여 목적지 위치를 선택할 수 있다. 목적지 위치가 업데이트 하여(예를 들어, 사용자가 이리저리 이동하는 경우) 자동차가 목적지 위치까지의 경로를 업데이트 할 수 있다. 특정 목적지 위치를 사용하여, 차량은 차량 주변 환경의 표현(representation)을 생성하기 위해 카메라로 캡처한 비전 데이터와 같은 센서 데이터를 활용하여 운행한다. 일부 실시예에서, 표현은 주행 가능 공간과 주행할 수 없는 공간을 자세히 설명하는 점유 그리드(occupancy grid)이다. 일부 실시예에서, 점유 그리드는 카메라 센서 데이터로부터 신경망(neural network)을 사용하여 생성된다. 환경의 표현은 추가 센서 데이터(레이더 데이터 포함), 지도 데이터 또는 기타 입력과 같은 보조 데이터로 더욱 증강될 수 있다. 생성된 표현을 사용하여 차량의 현재 위치에서 목적지 위치까지의 경로가 계획된다. 일부 실시예에서, 경로는 모델의 회전 반경, 차량 폭, 차량 길이 등과 같은 차량의 작동 파라미터에 기초하여 생성된다. 거리, 속도, 기어 변경 횟수 등과 같은 선택 파라미터에 기초하여 최적의 경로가 선택된다. 차량이 선택한 경로를 사용하여 자동으로 운행함에 따라 환경 표현이 지속적으로 업데이트된다. 예를 들어, 차량이 목적지까지 이동할 때 새로운 센서 데이터가 캡처 되고 점유 그리드가 업데이트된다. 자동 운행을 중단하거나 수정할 수 있는 안전 점검(Safety check)이 지속적으로 수행된다. 예를 들어, 초음파 센서(ultrasonic sensor)는 잠재적인 충돌(potential collision)을 검출하는 데 사용될 수 있다. 사용자는 언제든지 운행을 모니터링하고 호출된 차량을 취소할 수 있다. 일부 실시예에서, 차량은 차량이 운행을 계속하기 위해 사용자로부터 가상 심장박동(virtual heartbeat) 신호를 지속적으로 수신해야 한다. 가상 심장박동은 사용자가 차량의 진행 상황을 능동적으로 모니터링하고 있음을 나타내는 데 사용될 수 있다. 일부 실시예에서, 사용자는 경로를 선택하고 사용자는 차량을 원격으로 제어한다. 예를 들어, 사용자는 차량의 조향 각도, 방향 및/또는 속도를 제어하여 차량을 원격으로 제어할 수 있다. 사용자가 차량을 원격으로 제어함에 따라, 사용자 제어를 중단 및/또는 수정할 수 있는 안전 점검이 지속적으로 수행된다. 예를 들어 객체가 검출되면 차량을 멈출 수 있다.

일부 실시예에서, 시스템은 차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 연관된 지리적 위치의 식별을 수신하도록 구성된 프로세서를 포함한다. 예를 들어, 픽업 위치에서 기다리는 사용자는 자신의 지리적 위치를 목적지 타겟으로 지정한다. 원격 주차 장소에 주차된 차량이 목적지 타겟을 수신한다. 일부 실시예에서, 기계 학습 모델(machine learning model)은 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하는 데 활용된다. 예를 들어 카메라, 레이더, 초음파 또는 기타 센서와 같은 센서는 차량 주변 환경의 데이터를 캡처한다. 데이터는 훈련된 기계 학습 모델을 사용하여 신경망에 입력으로 제공되어 차량 주변 환경의 표현을 생성한다. 예를 들어, 표현은 차량이 운행하는 데 사용할 수 있는 주행 가능 공간(drivable space)을 설명하는 점유 그리드일 수 있다. 일부 실시예에서, 경로의 적어도 일부는 차량을 둘러싸는 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치로 계산된다. 예를 들어, 차량 주변 환경을 나타내는 점유 그리드를 사용하여 타겟 목적지까지 차량을 운행하기 위한 경로가 선택된다. 점유 그리드의 항목에 있는 값은 그리드 항목과 연관된 위치를 통해 주행하는 것과 연관된 확률 및/또는 비용일 수 있다. 일부 실시예에서, 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터 및 결정된 경로에 기초하여 차량을 자동으로 운행하기 위한 적어도 하나의 명령이 제공된다. 예를 들어, 차량 제어기(vehicle controller)는 선택한 계획을 사용하여 차량의 속도와 조향을 제어하는 엑추에이터 명령을 제공한다. 명령은 선택한 경로를 따라 차량을 운행하는 데 사용된다. 차량이 운행할 때 업데이트된 센서 데이터가 캡처 되어 차량 주변 환경의 표현을 업데이트한다. 다양한 실시예에서, 시스템은 프로세서에 연결되고 프로세서에 지시를 제공하도록 구성된 메모리를 포함한다.

도 1은 목적지 타겟까지 차량을 자동으로 운행하기 위한 프로세스의 실시예를 도시하는 흐름도이다. 일부 실시예에서, 도 1의 프로세스는 사용자에 의해 특정 지리적 위치로 차량을 호출하는 데 사용된다. 사용자는 모바일 앱, 전자 열쇠, 차량의 GUI 등을 이용하여 타겟 위치를 지정할 수 있다. 타겟 위치를 사용하여 차량은 시작 위치에서 타겟 위치까지 자동으로 운행한다. 일부 실시예에서, 타겟 위치는 사용자의 위치이고 타겟 위치는 동적이다. 예를 들어, 사용자가 이동함에 따라 차량의 타겟 목적지는 사용자의 새로운 위치로 이동한다. 일부 실시예에서, 타겟 위치는 일정표(calendar) 또는 계획(planning) 소프트웨어와 같이 간접적으로 특정다. 예를 들어, 사용자의 일정표가 분석되어 일정표 이벤트에서 타겟 목적지와 시간을 결정하는 데 사용된다. 일정표 이벤트는 이벤트의 위치 및 종료 시간과 같은 시간을 포함할 수 있다. 목적지는 이벤트의 위치를 기준으로 선택되고 시간은 이벤트의 종료 시간을 기준으로 선택된다. 만찬 종료, 결혼식, 레스토랑 예약 등 종료 시간에 차량이 자동으로 해당 위치에 도착하도록 운행한다. 일부 실시예에서, 차량은 도착 또는 출발 시간과 같은 특정 시간을 사용하여 타겟 목적지로 운행한다. 예를 들어, 사용자는 차량이 자동으로 운행을 시작하거나 특정 목적지로 출발해야 하는 시간을 지정할 수 있다. 다른 예로, 사용자는 차량이 특정 목적지에 도착해야 하는 시간을 지정할 수 있다. 그러면 차량은 특정 시간에 목적지에 도착하기 위해 특정 시간보다 먼저 출발한다. 일부 실시예에서, 도착 시간은 추정된 여행 시간과 실제 여행 시간 사이의 차이를 허용하도록 임계 시간으로 구성된다. 다양한 실시예에서, 도 1의 프로세스는 자율 차량에서 실행된다. 일부 실시예에서, 자율 차량(autonomous vehicle)과 통신하는 원격 서버는 호출 기능의 일부를 실행한다. 일부 실시예에서, 도 1의 프로세스는 도 7의 자율 차량 시스템을 사용하여 적어도 부분적으로 구현된다.

101에서 목적지가 수신된다. 예를 들어, 사용자는 스마트폰 장치의 모바일 애플리케이션에서 "나를 찾기(find me)" 기능을 선택한다. '나를 찾기' 기능은 사용자의 위치를 파악하여 차량 호출 모듈로 사용자의 위치를 전송한다. 다양한 실시예에서, 차량 호출 모듈은 차량 상에 존재할 수 있고/있거나 차량으로부터 멀리 떨어져 있을 수 있는 하나 이상의 모듈에 걸쳐 구현된다. 일부 실시예에서, 타겟 목적지는 사용자의 위치가 아닐 수 있다. 예를 들어, 사용자는 타겟 목적지로 지도 상의 위치를 선택할 수 있다. 다른 예로서, 위치는 일정표 이벤트와 연관된 위치에 기초할 수 있다. 일부 실시예에서, 위치는 타겟 목적지에서 지도 상의 핀 아이콘을 드롭 함으로써 선택된다. 위치는 경도와 위도일 수 있다. 일부 실시예에서 위치는 고도, 고도 또는 유사한 측정을 포함할 수 있다. 예를 들어, 주차장에서 위치에는 다층 주차장의 여러 층을 구분하기 위한 고도 구성요소가 포함된다. 다양한 실시예에서, 목적지는 지리적 위치이다.

일부 실시예에서, 목적지는 방향뿐만 아니라 위치를 포함한다. 예를 들어, 자동차 아이콘, 삼각형 아이콘 또는 방향이 있는 다른 아이콘은 위치와 방향을 모두 지정하는 데 사용된다. 방향을 지정하면, 차량이 선택한 타겟 목적지로 운행하고 사용자가 선택한 방향을 향하게 된다. 일부 실시예에서, 방향은 환경, 사용자, 다른 차량, 및/또는 다른 적절한 추론에 기초한 제안과 같은 방향 제안에 의해 결정된다. 예를 들어, 지도는 차량이 일방통행 도로에서 이동해야 하는 방향과 같은 차량의 적절한 방향을 결정하는 데 사용될 수 있다. 다른 예로, 차선, 교통 신호, 기타 차량 등에 기초하여 호출 기능이 도로의 적절한 방향을 결정한다. 예를 들어, 다른 차량이 향하고 있는 방향을 방향 제안으로 사용할 수 있다. 일부 실시예에서, 방향은 다른 자율 차량(autonomous vehicle)에 의해 제안된 방향에 기초한다. 예를 들어, 일부 실시예에서 차량 호출 기능은 다른 차량과 통신 및/또는 문의하여 방향을 결정하고 제공된 결과를 방향 제안으로 사용할 수 있다. 다양한 실시예에서, 하나 이상의 방향 제안이 가중되고 타겟 목적지 방향을 결정하기 위해 사용된다.

일부 실시예에서, 목적지는 질의(query)를 이행함으로써 결정된다. 예를 들어, 사용자는 예를 들어 GUI, 음성 또는 다른 질의 유형을 사용하여 자신의 차량이 특정 시간에 특정 주차장에 도착하도록 요청할 수 있다. 목적지는 목적지 주차장에 대해 지도 검색 데이터베이스와 같은 검색 엔진(search engine)을 질의하여 결정된다. 사용자의 일정표 및/또는 주소록을 사용하여 검색 결과를 구체화할 수 있다. 주차장이 식별되면 주차장 진입 및/또는 진출에 대한 지시 및/또는 교통 흐름이 결정되고 목적지를 선택하는 데 사용된다. 그런 다음 목적지는 차량 호출 모듈에 제공된다.

일부 실시예에서, 수신된 목적지는 멀티파트 목적지(multipart destination)이다. 예를 들어, 목적지는 최종 목적지에 도달하기 전에 하나 이상의 중간 지점(waypoint)에 도착해야 한다. 중간 지점은 차량이 최종 목적지로 운행하는 경로에 대한 추가 제어를 실행하는 데 사용할 수 있다. 예를 들어, 중간 지점은 공항, 주차장 또는 다른 목적지에 대한 선호하는 교통 패턴을 따르는 데 사용될 수 있다. 경유지는 한 명 이상의 추가 승객 등을 픽업 하는데 사용될 수 있다. 예를 들어, 지연 및/또는 일시 중지가 목적지에 통합되어 승객이나 물건을 태우거나 내릴 수 있다.

일부 실시예에서, 수신된 목적지는 먼저 하나 이상의 검증 및/또는 안전 검사를 통과한다. 예를 들어, 사용자는 100미터, 10미터 또는 다른 적절한 거리와 같이 차량으로부터 일정 거리(또는 반경) 내에서만 목적지를 선택할 수 있도록 거리에 따라 목적지를 제한할 수 있다. 일부 실시예에서, 거리는 지역 규칙 및/또는 규정에 기초하여 한다. 일부 실시예에서 목적지 위치는 유효한 중지 위치여야 한다. 예를 들어 보도, 횡단 보도, 교차로, 호수 등은 일반적으로 유효한 정지 위치가 아니며 사용자에게 유효한 위치를 선택하라는 메시지가 표시될 수 있다. 일부 실시예에서, 수신된 목적지는 유효한 중지 위치를 시행하는 것과 같은 안전 문제를 설명하기 위해 사용자의 초기 선택된 목적지로부터 수정된다.

103에서, 목적지까지의 경로가 결정된다. 예를 들어, 101에서 수신된 현재 위치에서 목적지까지 차량을 운행하기 위해 하나 이상의 경로가 결정된다. 일부 실시예에서, 경로는 도 7의 경로 플래너 모듈(planner module)(705)과 같은 경로 플래너 모듈을 사용하여 결정된다. 다양한 실시예에서, 경로 플래너 모듈은 목적지에 대한 상이한 경로에 적절한 가중치가 적용된 비용 함수를 사용하여 구현될 수 있다. 일부 실시예에서, 선택된 경로는 차량 위치로부터 발생하는 잠재적인 경로 아크(potential path arc)에 기초한다. 잠재적인 경로 아크는 차량 조향 범위와 같은 차량의 작동 역학으로 제한된다. 다양한 실시예에서, 각각의 잠재적인 경로는 비용을 갖는다. 예를 들어, 급격한 회전이 있는 잠재적 경로는 더 부드러운 경로보다 비용이 더 많이 든다. 다른 예로, 속도 변화가 큰 잠재적 경로는 속도 변화가 작은 경로보다 비용이 더 많이 든다. 또 다른 예로서, 기어 변경이 더 많은 잠재적 경로(예를 들어, 후진에서 전진으로의 변경)는 기어 변경이 적은 경로보다 비용이 더 많이 든다. 일부 실시예에서, 특정 객체와 마주칠 가능성이 더 높은 경로는 객체를 마주칠 가능성이 더 낮은 경로와 상이하게 가중된다. 예를 들어, 경로는 보행자, 차량, 동물, 교통체증, 조명 불량, 악천후, 통행료 등을 만날 가능성에 따라 가중치가 부여된다. 다양한 실시예에서, 목적지로 가는 경로를 결정할 때 고비용 경로는 저비용 경로보다 선호되지 않는다.

105에서, 차량은 목적지로 운행한다. 차량은 103에서 결정된 목적지까지의 경로를 이용하여 101에서 수신한 목적지까지 자동으로 운행한다. 일부 실시예에서, 경로는 다수의 더 작은 하위 경로로 구성된다. 다른 하위 경로는 전진 또는 후진과 같은 다른 기어로 이동하여 구현될 수 있다. 일부 실시예에서, 경로는 차고 문 열기, 차고 문 닫기, 주차 게이트 통과, 자동차 리프트 대기, 통행료 지불 확인, 충전, 전화 걸기, 메시지 보내기 등과 같은 동작을 포함한다. 추가 작업(additional action)을 수행하려면 차량을 멈추거나 주변 환경을 조작하기 위한 작업을 실행해야 할 수 있다. 일부 시나리오에서 최종 목적지는 101에서 수신한 목적지에 가까운 목적지이다. 예를 들어, 일부 시나리오에서는 101에서 수신된 목적지에 도달할 수 없으므로 최종 목적지는 해당 목적지에 거의 근접한다. 예를 들어, 사용자가 보도(sidewalk)를 선택하는 경우 최종 목적지는 보도에 인접한 도로 상의 위치이다. 다른 예로, 사용자가 횡단보도를 선택하는 경우, 최종 목적지는 횡단보도가 아닌 횡단보도 주변 도로 상의 위치이다.

일부 실시예에서, 운행하는 동안 하나 이상의 안전 검사가 연속적으로 확인된다. 예를 들어 초음파 또는 기타 센서의 센서 데이터와 같은 보조 데이터는 보행자, 차량, 과속 방지턱, 교통 통제 신호 등과 같은 장애물을 식별하는 데 사용된다. 객체와의 잠재적 충돌 가능성은 현재 운행을 종료하고 목적지까지의 경로를 수정한다. 일부 실시예에서, 목적지까지의 경로는 경로를 따라 이동하는 속도를 포함한다. 다른 예로서, 일부 실시예에서, 사용자의 모바일 애플리케이션으로부터의 심장박동은 운행을 계속하기 위해 수신되어야만 한다. 심장박동은 예를 들어 모바일 호출 애플리케이션에서 버튼 GUI 요소를 계속해서 눌러 호출되는 차량과의 연결을 유지하도록 사용자에게 요구함으로써 구현될 수 있다. 다른 예로, 사용자는 차량이 자동으로 운행할 수 있도록 전자 열쇠(key fob)의 버튼을 계속 누르고 있어야 한다(또는 센서와의 접촉을 유지해야 함). 연락처가 끊어진 경우 자동 운행이 종료된다. 일부 실시예에서, 운행의 종료는 차량을 안전하게 감속시키고 차량을 도로변을 따라 주차된 것과 같은, 가까운 주차 공간 등에 안전한 휴지 모드로 만든다. 일부 실시예에서, 연락이 끊어지면 시나리오에 따라 차량이 즉시 멈출 수 있다. 예를 들어, 사용자는 모바일 앱에서 호출 버튼을 해제하여 차량이 즉시 정지해야 함을 나타낼 수 있다. 이는 데드맨 장치(dead man's switch)와 유사한다. 다양한 실시예에서, 차량을 정지시키기 위해 적용되는 감속은 차량의 환경(예를 들어, 차량 뒤 등 주변에서 다른 차량의 주행 여부)에 따라 다르며, 차량 경로 앞에 장애물이나 보행자와 같은 잠재적인 충돌이 있는지, 차량이 이동하는 속도 또는 기타 적절한 파라미터가 있는지 여부. 일부 실시예에서, 차량이 이동하는 속도는 예를 들어 낮은 최대 속도로 제한된다.

107에서, 차량 호출 기능이 완료된다. 완료 시 하나 이상의 완료 작업이 실행될 수 있다. 예를 들어, 차량이 선택한 타겟 목적지에 도달했다는 알림이 전송된다. 일부 실시예에서, 차량은 그 타겟 목적지에 근접한 목적지에 도달하고 통지는 차량 위치의 사용자에게 제시된다. 일부 실시예에서, 통지는 텍스트 메시지를 통해 및/또는 다른 적절한 통지 채널을 통해 모바일 애플리케이션, 전자 열쇠(예를 들어, 전자 열쇠와 연관된 상태의 변화에 의해 표시됨)로 전송된다. 사용자를 차량으로 향하게 하기 위해 추가 방향이 제공될 수 있다. 다양한 실시예에서, 차량은 주차에 위치될 수 있고 하나 이상의 차량 설정이 트리거 될 수 있다. 예를 들어, 차량의 실내 조명이 켜져 있을 수 있다. 차량 접근 시 가시성을 높이기 위해 바닥 조명을 사용할 수 있다. 깜박이, 주차 및/또는 비상등과 같은 하나 이상의 외부 조명이 켜질 수 있다. 전방 헤드라이트와 같은 외부 조명은 차량에 접근하는 승객의 가시성을 높이기 위해 활성화될 수 있다. 작동된 방향등은 승객이 차량에 도달하기 위해 도착할 예상 방향으로 향할 수 있다. 일부 실시예에서, 오디오 경고 또는 음악과 같은 오디오 알림이 재생된다. 환영 음악 또는 이와 유사한 오디오는 사용자의 선호도에 따라 내부(cabin)에서 재생될 수 있다. 유사하게, 차량의 환경 제어는 내부를 원하는 온도 및/또는 습도로 워밍업 또는 냉각하는 것과 같이 승객을 위한 내부의 환경을 준비하도록 활성화될 수 있다. 좌석은 난방(또는 환기)될 수 있다. 열선 스티어링 휠이 활성화될 수 있다. 통풍구는 기본 설정에 따라 방향을 바꿀 수 있다. 문은 잠금 해제될 수 있고 승객을 위해 열릴 수 있다. 목적지가 전기 충전소인 경우, 차량은 충전기 포트가 충전기와 정렬되도록 방향을 지정할 수 있다. 일부 실시예에서, 사용자는 승객을 예상하여 내부 환경, 실내 조명, 외부 조명, 오디오 시스템 및 기타 차량 선호도를 포함하는 차량의 선호도를 구성할 수 있다.

다양한 실시예에서, 차량의 위치는 호출이 완료되는 동안 및 그 시에 업데이트된다. 예를 들어, 업데이트된 위치는 컴패니언 모바일 애플리케이션에 반영될 수 있다. 일부 실시예에서, 완료 동작은 최근에 캡처 및 분석된 센서 데이터로 횡단 경로 및 마주치는 환경의 주석이 달린 지도를 업데이트하는 것을 포함한다. 주석이 달린 지도는 잠재적인 장애물, 교통 신호, 주차 선호도, 교통 패턴, 보행자의 보행 패턴, 및/또는 향후 운행 및/또는 경로 계획에 유용할 수 있는 기타 적절한 경로 계획 메타데이터를 반영하도록 업데이트될 수 있다. 예를 들어, 과속 방지턱, 횡단 보도, 구덩이, 빈 주차 공간, 충전 위치, 주유소 등이 발생하면 주석이 달린 지도로 업데이트된다. 일부 실시예에서, 만남에 대응하는 데이터는 현재 차량/사용자뿐만 아니라 다른 차량 및 사용자에 대한 인식, 경로 계획, 안전 검증 및 기타 기능과 같은 호출 기능을 개선하기 위한 잠재적인 훈련 데이터로서 사용된다. 예를 들어, 빈 주차 공간은 다른 차량의 경로 계획에 사용될 수 있다. 다른 예로, 경로 계획을 위해 전기 충전소 또는 주유소가 사용된다. 차량을 전기 충전 스테이션으로 라우팅하고 충전기 포트가 충전기와 정렬되도록 방향을 지정할 수 있다.

도 2는 타겟 목적지를 수신하기 위한 프로세스의 실시예를 예시하는 흐름도이다. 일부 실시예에서, 타겟 목적지는 사용자에 의해 선택 및/또는 제공된다. 목적지 타겟은 지리적 위치와 연관되며 차량을 자동으로 운행하기 위한 목표로 사용된다. 표시된 예에서 타겟 목적지를 수신하는 프로세스는 둘 이상의 시작점에서 시작될 수 있다. 도 2의 두 시작 지점은 목적지 수신을 시작하는 두 가지 예이다. 추가 방법도 가능한다. 일부 실시예에서, 도 2의 프로세스는 도 1의 101에서 수행된다.

201에서, 목적지 위치가 수신된다. 일부 실시예에서 목적지는 지리적 위치로 제공된다. 예를 들어 경도 및 위도 값이 제공된다. 일부 실시예에서 고도도 제공된다. 예를 들어, 주차장의 특정 층과 관련된 고도가 제공된다. 다양한 실시예에서, 목적지 위치는 스마트폰 장치를 통해, 차량의 미디어 콘솔을 통해, 또는 다른 수단에 의해 사용자로부터 제공된다. 일부 실시예에서, 위치는 목적지에 출발하거나 도착하는 것과 연관된 시간과 함께 수신된다. 일부 실시예에서, 하나 이상의 목적지가 수신된다. 예를 들어, 일부 시나리오에서 둘 이상의 정류장이 포함된 다단계 목적지가 수신된다. 일부 실시예에서, 목적지 위치는 방향 또는 방향을 포함한다. 예를 들어, 방향은 차량이 목적지에 도착한 후 향해야 하는 방향을 나타낸다.

203에서, 사용자 위치가 결정된다. 예를 들어, 사용자의 위치는 글로벌 포지셔닝 시스템(global positioning system) 또는 다른 위치 인식 기술을 사용하여 결정된다. 일부 실시예에서, 사용자의 위치는 전자 열쇠, 사용자의 스마트폰 장치, 또는 사용자의 제어에 있는 다른 장치의 위치에 의해 근사화 된다. 일부 실시예에서, 사용자의 위치는 지리적 위치로서 수신된다. 201과 유사하게, 위치는 경도 및 위도 쌍일 수 있고 일부 실시예에서는 고도를 포함할 수 있다. 일부 실시예에서, 사용자의 위치는 동적이며 일정한 간격으로 지속적으로 업데이트되거나 업데이트된다. 예를 들어 사용자가 새 위치로 이동할 수 있으며 수신된 위치가 업데이트된다. 일부 실시예에서, 목적지 위치는 방향 또는 방향을 포함한다. 예를 들어, 방향은 차량이 목적지에 도착한 후 향해야 하는 방향을 나타낸다.

205에서, 목적지가 검증된다. 예를 들어, 목적지에 도달할 수 있는지 확인하기 위해 목적지가 검증된다. 일부 실시예에서 목적지는 차량 출발 위치로부터 특정 거리 내에 있어야 한다. 예를 들어, 특정 규정에 따라 차량은 자동으로 50미터 이하로 운행하도록 제한될 수 있다. 다양한 실시예에서, 유효하지 않은 목적지는 사용자가 새로운 위치를 제공하도록 요구할 수 있다. 일부 실시예에서, 대안적인 목적지가 사용자에게 제안된다. 예를 들어, 사용자가 잘못된 방향을 선택한 경우 제안된 방향이 제공된다. 다른 예로, 사용자가 정지 금지 구역을 선택하는 경우 가장 가까운 유효 정지 구역과 같은 유효 정지 구역을 제안한다. 일단 검증되면, 선택된 목적지는 단계 207에 제공된다.

207에서, 목적지는 경로 플래너 모듈에 제공된다. 일부 실시예에서, 경로 플래너 모듈은 차량에 대한 경로를 결정하는 데 사용된다. 207에서, 검증된 목적지가 경로 플래너 모듈에 제공된다. 일부 실시예에서, 목적지는 하나 이상의 위치, 예를 들어 다수의 정류장이 있는 목적지로 제공된다. 목적지는 위도 및 경도 위치와 같은 2차원 위치를 포함할 수 있다. 대안적으로, 일부 실시예에서 목적지는 고도를 포함한다. 예를 들어, 다층 주차장, 교량 등과 같은 특정 주행 가능 영역에는 동일한 2차원 위치에 대해 여러 개의 주행 가능 평면이 있다. 목적지에는 목적지에 도착할 때 차량이 향해야 하는 방향을 지정하는 방향이 포함될 수도 있다. 일부 실시예에서, 경로 플래너 모듈은 도 7의 경로 플래너 모듈(705)이다.

도 3은 목적지 타겟까지 차량을 자동으로 운행하기 위한 프로세스의 실시예를 도시하는 흐름도이다. 예를 들어, 도 3의 프로세스를 사용하여 차량을 둘러싼 환경의 표현이 생성되고 목적지에 대한 하나 이상의 경로를 결정하는 데 사용된다. 차량은 결정된 경로를 사용하여 자동으로 운행한다. 추가 센서 데이터가 업데이트되면 환경을 둘러싼 표현이 업데이트된다. 일부 실시예에서, 도 3의 프로세스는 도 7의 자율 차량 시스템을 사용하여 수행된다. 일부 실시예에서, 301의 단계는 도 1의 101에서 수행되고, 303, 305, 307, 및/또는 309의 단계는 도 1의 103에서 수행되고, 311 및/또는 313의 단계는 도 1의 105에서 수행된다. 도 1 및/또는 315의 단계는 도 1의 107에서 수행된다. 일부 실시예에서, 신경망은 차량이 따라가는 경로를 지시하는 데 사용된다. 예를 들어, 머신 러닝 네트워크를 사용하여 조향 및/또는 가속도 값은 목적지 타겟까지의 경로를 따라 차량을 운행하도록 예측된다.

301에서, 목적지가 수신된다. 예를 들어, 지리적 위치는 모바일 앱, 열쇠 고리, 차량의 제어 센터 또는 다른 적절한 장치를 통해 수신된다. 일부 실시예에서, 목적지는 위치 및 방향이다. 일부 실시예에서, 목적지는 고도 및/또는 시간을 포함한다. 다양한 실시예에서, 목적지는 도 2의 프로세스를 사용하여 수신된다. 일부 실시예에서, 목적지는 동적이고 새로운 목적지는 적절하게 수신될 수 있다. 예를 들어, 사용자가 "나를 찾기" 기능을 선택하는 경우 목적지가 사용자의 위치를 따르도록 업데이트된다. 기본적으로 차량은 애완동물처럼 사용자를 따라갈 수 있다.

303에서, 비전 데이터가 수신된다. 예를 들어, 차량에 부착된 하나 이상의 카메라 센서를 사용하여 카메라 이미지 데이터를 수신한다. 일부 실시예에서, 이미지 데이터는 차량 주변 환경을 커버하는 센서로부터 수신된다. 비전 데이터는 분석을 위한 데이터의 유용성을 향상시키기 위해 전처리될 수 있다. 예를 들어, 비전 데이터의 노이즈를 줄이기 위해 하나 이상의 필터가 적용될 수 있다. 다양한 실시예에서, 비전 데이터는 차량을 둘러싼 환경을 업데이트하기 위해 지속적으로 캡처 된이다.

305에서, 주행 가능 공간이 결정된다. 일부 실시예에서, 주행 가능 공간은 303에서 수신된 비전 데이터에 대한 추론을 적용함으로써 신경망을 사용하여 결정된다. 예를 들어, 컨볼루션 신경망(Convolutional Neural Network) (CNN)은 비전 데이터를 사용하여 차량 주변 환경에 대한 주행 가능 공간과 주행 불가능 공간을 결정하는 데 적용된다. 주행 가능 공간에는 차량이 이동할 수 있는 영역이 포함된다. 다양한 실시예에서, 주행 가능 공간에는 차량이 결정된 주행 가능 공간을 통한 경로를 사용하여 이동할 수 있도록 장애물이 없다. 다양한 실시예에서, 기계 학습 모델은 주행 가능 공간을 결정하도록 훈련되고 차량에 배치되어 이미지 데이터로부터 주행 가능 공간을 자동으로 분석 및 결정한다.

일부 실시예에서, 비전 데이터는 추가 센서 데이터와 같은 추가 데이터로 보완된다. 추가 센서 데이터에는 초음파, 레이더, 라이더, 오디오 또는 기타 적절한 센서 데이터가 포함될 수 있다. 추가 데이터에는 지도 데이터와 같은 주석이 달린 데이터도 포함될 수 있다. 예를 들어, 주석이 달린 지도는 차량 차선, 추월 차선(speed line), 교차로 및/또는 기타 주행 메타데이터에 주석을 달 수 있다. 추가 데이터는 기계 학습 모델에 대한 입력으로 사용되거나 주행 가능 공간을 결정하기 위한 결과를 개선하기 위해 점유 그리드를 생성할 때 다운스트림에서 소비될 수 있다.

307에서, 점유 그리드가 생성된다. 305에서 결정된 주행 가능 공간을 이용하여 차량의 환경을 나타내는 점유 그리드를 생성한다. 일부 실시예에서, 점유 격자는 차량이 있는 전체 평면(예를 들어, 경도 및 위도 축을 따라 360도)을 나타내는 2차원 점유 격자이다. 일부 실시예에서, 점유 그리드는 고도를 설명하기 위해 제3 차원을 포함한다. 예를 들어, 다층 주차장, 고가도로 등과 같이 고도가 다른 여러 개의 주행 가능 경로가 있는 영역은 3차원 점유 격자로 나타낼 수 있다.

다양한 실시예에서, 점유 그리드는 주변 환경의 위치에 대응하는 각각의 그리드 위치에서 주행 가능 값(drivability value)을 포함한다. 각 위치에서의 주행 가능 값은 해당 위치가 주행 가능 확률일 수 있다. 예를 들어, 보도는 주행 가능 값이 0인 반면 자갈은 주행 가능 값이 0.5가 되도록 설계될 수 있다. 주행 가능 값은 0과 1 사이의 범위를 갖는 정규화된 확률일 수 있으며, 305에서 결정된 주행 가능 공간에 기초하여 한다. 일부 실시예에서, 그리드의 각 위치는 해당 위치를 통과하는 비용(또는 패널티/보상)과 관련된 비용 메트릭을 포함한다. 점유 그리드의 각 그리드 위치의 비용 값은 주행 가능 값에 기초하여 한다. 비용 값은 선호도 데이터와 같은 추가 데이터에 더 의존할 수 있다. 예를 들어 유료 도로, 카풀 차선, 스쿨존 등을 피하도록 경로 기본 설정을 구성할 수 있다. 다양한 실시예에서, 경로 선호도 데이터는 기계 학습 모델을 통해 학습될 수 있고 305에서 주행 가능 공간의 일부로서 결정된다. 일부 실시예에서, 경로 선호도 데이터는 301에서 수신된 목적지로의 운행을 위해 취해진 경로를 최적화하기 위해 사용자 및/또는 오퍼레이터에 의해 구성된다. 예를 들어, 경로 선호도는 다른 목표 중에서 안전성, 편의성, 이동 시간 및/또는 편안함을 개선하도록 최적화될 수 있다. 다양한 실시예에서, 선호도는 각 위치 그리드의 비용 값을 결정하는 데 사용되는 추가 가중치이다.

일부 실시예에서, 점유 그리드는 추가 센서 데이터와 같은 보조 데이터로 업데이트된다. 예를 들어, 주변 객체를 캡처하는 초음파 센서 데이터는 점유 그리드를 업데이트하는 데 사용된다. 라이더, 레이더, 오디오 등과 같은 다른 센서 데이터도 사용될 수 있다. 다양한 실시예에서, 주석이 달린 지도는 점유 그리드를 생성하기 위해 부분적으로 사용될 수 있다. 예를 들어 도로 및 해당 속성(속도 제한, 차선 등)을 사용하여 점유 그리드를 생성하기 위한 비전 데이터를 보강할 수 있다. 다른 예로, 다른 차량의 점유 데이터를 사용하여 점유 그리드를 업데이트할 수 있다. 예를 들어, 유사한 기능을 갖춘 이웃 차량은 센서 데이터 및/또는 점유 그리드 결과를 공유할 수 있다.

일부 실시예에서, 점유 데이터는 마지막으로 생성된 점유 그리드로 초기화된다. 예를 들어, 차량이 더 이상 새 데이터를 캡처하지 않거나 주차하거나 꺼져 있을 때 마지막 점유 표가 저장된다. 점유 그리드가 필요한 경우, 예를 들어 차량을 호출할 때 마지막으로 생성된 점유 그리드를 로드 하여 초기 점유 그리드로 사용한다. 이 최적화는 초기 그리드의 정확도를 크게 향상시킵니다. 예를 들어, 일부 객체는 정지 상태에서 검출하기 어려울 수 있지만 차량이 현재 주차 위치에 접근할 때 이동 중일 때 마지막 저장 점유 그리드에서 검출되었을 것이다.

309에서, 경로 목표가 결정된다. 점유 그리드를 사용하여 301에서 수신된 현재 위치에서 목적지까지 차량을 운행하기 위한 경로를 결정하기 위해 검색이 수행된다. 잠재적인 경로는 부분적으로 회전 반경, 차량 폭, 차량 길이 등과 같은 차량의 작동 특성에 기초하여 한다. 각 차량 모델은 특정 차량 작동 특성으로 구성될 수 있다. 일부 실시예에서, 경로 찾기는 구성 가능한 제한 및/또는 목표를 구현하도록 구성된다. 예를 들어 차량은 옆으로 이동할 수 없으며 차량은 급회전 횟수를 제한해야 하며 차량은 기어 변경 횟수를 제한해야 한다(예를 들어, 후진에서 전진 또는 그 반대로). 제한/목표는 비용 함수에서 가중 비용으로 구현될 수 있다. 다양한 실시예에서, 차량의 초기 위치는 x, y 및 방향 값을 포함한다. x 및 y 값은 경도 및 위도 값에 해당할 수 있다. 목표에 도달하기 위해 초기 위치에서 시작하여 하나 이상의 잠재적 경로가 결정된다. 일부 실시예에서, 경로는 아크 기초 요소와 같은 하나 이상의 경로 기초 요소로 구성된다. 경로 기초 요소는 차량이 목적지에 도달하기 위해 운행할 수 있는 경로(및 경로 목표)를 설명한다.

다양한 실시예에서, 선택된 경로 목표는 비용 함수에 기초하여 선택된다. 각각의 잠재적 경로에 대해 비용 함수가 수행된다. 각각의 잠재적인 경로는 점유 그리드의 그리드 세트를 가로지르며, 여기서 각 그리드는 그리드 위치를 통과하는 이동에 대해 보상하거나 페널티를 주는 비용 값을 갖습니다. 최적의 비용 값을 갖는 경로가 경로 목표로 선택된다. 경로 목표는 운행 차량의 모션을 모델링하기 위해 아크와 같은 하나 이상의 경로 기초 요소를 포함할 수 있다. 예를 들어, 두 개의 경로 기초 요소 쌍은 차량을 후진으로 이동한 다음 앞으로 이동하는 것을 표현할 수 있다. 역방향 경로는 하나의 아크로 표시되고 정방향 경로는 다른 아크로 표시된다. 다른 예로서, 차량 경로는 3점 회전을 포함할 수 있다. 회전의 각 기초 요소는 아크 경로로 표현될 수 있다. 각 경로 기초 요소의 끝에서 차량은 새로운 x, y 및 방향 값을 갖습니다. 일부 실시예에서, 차량은 예를 들어 주차장의 다른 층 사이의 운행을 지원하기 위해 고도 값을 포함한다. 아크 경로 기초 요소가 목표 경로를 정의하는 데 사용되지만 다른 적절한 기하학적 기초 요소도 사용될 수 있다. 일부 실시예에서, 각각의 경로는 속도 파라미터를 포함한다. 예를 들어, 속도 파라미터를 사용하여 경로를 따라 이동 속도를 제안할 수 있다. 초기 속도, 최대 속도, 가속도, 최대 가속도 및 기타 속도 파라미터를 사용하여 차량이 경로를 따라 운행하는 방법을 제어할 수 있다. 일부 실시예에서, 최대 속도는 저속으로 설정되고 차량이 너무 빨리 주행하는 것을 방지하는 데 사용된다. 예를 들어, 사용자가 신속하게 개입할 수 있도록 낮은 최대 속도를 적용할 수 있다.

다양한 실시예에서, 결정된 경로 목표는 경로를 따라 운행하기 위해 차량 제어기(vehicle controller)에 전달된다. 일부 실시예에서, 경로 목표는 먼저 차량 제어기에 의해 사용하기 위해 경로를 따라 경로 포인트의 세트로 변환된다. 일부 실시예에서, 경로 계획은 연속적으로 실행되고 현재 경로가 진행되는 동안 새로운 경로가 결정될 수 있다. 일부 실시예에서, 의도된 경로는 더 이상 도달할 수 없습니다. 예를 들어 경로가 차단되고 새로운 경로가 결정된다. 309에서의 경로 계획은 도 3의 프로세스의 다른 기능보다 더 낮은 빈도로 실행될 수 있다. 예를 들어, 경로 계획은 305에서 결정된 주행 가능 공간보다 낮은 빈도로 실행될 수 있고/또는 차량이 311에서 운행하도록 제어된다. 점유 그리드가 업데이트되는 것보다 경로 목표를 덜 자주 결정함으로써 경로 계획 처리가 보다 효율적이고 실제 보다 더 정확한 표현을 활용한다.

일부 실시예에서, 목적지에 대한 하나 이상의 경로가 실행 가능하고 다중 경로 목표가 사용자에게 제공된다. 예를 들어, 사용자에게 두 개 이상의 경로 목표가 옵션으로 표시된다. 사용자는 예를 들어 GUI, 음성 명령 등을 이용하여 목적지까지 차량을 운행하기 위해 사용할 경로 목표를 선택할 수 있다. 예를 들어, 사용자에게 차량에서 목적지까지의 두 경로가 표시된다. 제1 경로는 시간이 덜 걸릴 것으로 예상되지만 회전이 더 많고 빈번한 기어 변경이 필요하다. 제2 경로는 더 부드럽지만 시간이 더 걸립니다. 사용자는 두 가지 옵션에서 경로 목표를 선택할 수 있다. 일부 실시예에서, 사용자는 경로 목표를 선택하고 경로를 수정할 수 있다. 예를 들어, 사용자는 혼잡한 교차로와 같은 특정 장애물 주위로 운행하기 위해 선택한 경로를 조정할 수 있다.

311에서, 차량은 자동으로 경로 목표로 운행한다. 경로 목표 또는 309에서 결정된 목표를 사용하여 차량은 현재 위치에서 목표 경로(들)를 따라 자동으로 운행하여 도착 목적지에 도달한다. 예를 들어, 차량 제어기는 목표 경로를 수신하고 경로를 따라 차량을 운행하는 데 필요한 차량 제어를 차례로 구현한다. 경로 목표(들)는 운행할 경로를 따라 경로 포인트 세트로 수신될 수 있다. 일부 실시예에서, 차량 제어기는 아크와 같은 경로 기초 요소(primitive)를 경로 포인트로 변환한다. 다양한 실시예에서, 차량은 차량 제어기로부터 차량 엑추에이터로 엑추에이터 파라미터를 전송함으로써 제어된다. 일부 실시예에서, 차량 제어기는 도 7의 차량 제어기(707)이고 차량 엑추에이터는 도 7의 차량 엑추에이터(713)이다. 차량 엑추에이터를 사용하여 조향, 제동, 가속 및/또는 기타 작동 기능이 작동된다.

일부 실시예에서, 차량이 경로 목표로 운행함에 따라, 사용자는 차량의 운행/동작을 조정할 수 있다. 예를 들어, 사용자는 "더 왼쪽으로 조종"과 같은 입력을 제공하여 운행을 조정할 수 있다. 추가적인 예로서, 사용자는 운행하는 동안 차량의 속도를 높이거나 낮출 수 있고/있거나 조향 각도를 조정할 수 있다.

313에서, 차량이 301에서 수신된 목적지에 도착했는지 여부가 결정된다. 차량이 목적지에 도착한 경우 처리는 315로 계속된다. 차량이 목적지에 도착하지 않은 경우 처리는 301로 루프백 하여 잠재적으로 업데이트된 목적지를 수신하고 (잠재적으로 업데이트된) 선택된 목적지로 자동 운행한다. 다양한 실시예에서, 차량은 목적지에 도착했지만 목적지의 정확한 위치에 있지 않을 수 있다. 예를 들어, 선택한 목적지는 더 이상 주행 가능 위치가 아닐 수도 있고 그렇지 않을 수도 있다. 일례로, 선택된 목적지에 다른 차량이 주차되어 있을 수 있다. 또 다른 예로서, 사용자는 승객 대기 구역과 같이 주행이 불가능한 위치로 이동될 수 있다. 특정 상황에서는 차량이 목적지에 가장 가까운 도달 가능 위치에 도착한 경우 차량이 목적지에 도착한 것으로 판별된다. 클로짓 도달 가능 목적지(closet reachable destination)는 309에서 결정된 경로에 기초하여 할 수 있다. 일부 실시예에서, 클로짓 도달 가능 목적지는 현재 위치와 목적지 사이의 잠재적인 경로를 계산하는데 사용되는 비용 함수에 기초한다. 일부 실시예에서, 도착한 위치와 수신된 목적지 사이의 차이는 위치를 결정하기 위해 이용 가능한 기술의 정확성에 기초한다. 예를 들어, 차량은 사용 가능한 글로벌 포지셔닝 시스템의 정확도 내에서 주차될 수 있다.

315에서, 호출이 완료된다. 다양한 실시예에서, 호출 기능이 완료되고 하나 이상의 완료 동작이 실행된다. 예를 들어, 도 1의 107과 관련하여 설명된 완료 동작이 수행된다. 일부 실시예에서, 307에서 생성된 점유 그리드는 저장 및/또는 완료 동작으로 내보내 진다. 점유 그리드는 차량 및/또는 원격 서버에 로컬로 저장될 수 있다. 일단 저장되면 차량에서 그리드를 사용하거나 경로가 잠재적으로 겹치는 다른 차량과 공유할 수 있다.

도 4는 차량 주변 환경의 표현을 생성하기 위해 기계 학습 모델을 훈련 및 적용하기 위한 프로세스의 실시예를 도시하는 흐름도이다. 일부 실시예에서, 도 4의 프로세스는 적어도 부분적으로 센서 데이터를 사용하여 점유 그리드를 생성하기 위한 주행 가능 공간을 결정하는 데 사용된다. 훈련된 기계 학습 모델의 훈련 및/또는 적용에 사용되는 센서 데이터는 카메라 센서를 사용하여 차량에서 캡처한 이미지 데이터에 해당할 수 있다. 일부 실시예에서, 프로세스는 도 7의 자율 차량 시스템을 위한 기계 학습 모델을 생성하고 배포하는 데 사용된다. 일부 실시예에서, 도 4의 프로세스는 도 3의 305에서 주행 가능 공간을 결정하고 도 3의 307에서 점유 그리드를 생성하는 데 사용된다.

401에서, 훈련 데이터가 준비된다. 일부 실시예에서, 이미지 데이터를 포함하는 센서 데이터는 훈련 데이터 세트를 생성하기 위해 활용된다. 센서 데이터는 하나 이상의 카메라로부터의 정지 이미지 및/또는 비디오를 포함할 수 있다. 레이더, 라이더, 초음파 등과 같은 추가 센서를 사용하여 관련 센서 데이터를 제공할 수 있다. 다양한 실시예에서, 센서 데이터는 센서 데이터의 특징을 식별하는 것을 돕기 위해 대응하는 차량 데이터와 쌍을 이룬다. 예를 들어, 위치 및 위치 데이터의 변경은 차선, 교통 제어 신호, 객체 등과 같은 센서 데이터에서 관련 기능의 위치를 식별하는 데 사용할 수 있다. 일부 실시예에서, 훈련 데이터는 주행 가능 공간을 식별하기 위해 기계 학습 모델을 훈련하도록 준비된다. 준비된 훈련 데이터는 훈련, 검증, 테스트를 위한 데이터를 포함할 수 있다. 일부 실시예에서, 데이터의 형식은 배치된 딥 러닝 애플리케이션에서 사용되는 기계 학습 모델과 호환 가능한다.

403에서 기계 학습 모델이 학습된다. 예를 들어 기계 학습 모델은 401에서 준비된 데이터를 사용하여 학습된다. 일부 실시예에서, 모델은 컨볼루션 신경망(CNN)과 같은 신경망이다. 다양한 실시예에서, 모델은 다수의 중간 층을 포함한다. 일부 실시예에서, 신경망은 다중 컨볼루션 및 풀링 계층을 포함하는 다중 계층을 포함할 수 있다. 일부 실시예에서, 훈련 모델(training model)은 수신된 센서 데이터로부터 생성된 검증 데이터 세트를 사용하여 검증된다. 일부 실시예에서, 기계 학습 모델은 이미지 데이터로부터 주행 가능 공간을 예측하도록 훈련된다. 예를 들어, 차량을 둘러싼 환경의 주행 가능 공간은 카메라에서 캡처 된 이미지에서 유추할 수 있다. 일부 실시예에서, 이미지 데이터는 개선된 정확도를 위해 레이더 또는 초음파 센서 데이터와 같은 다른 센서 데이터로 증강된다.

405에서, 훈련된 기계 학습 모델이 배포된다. 예를 들어 훈련된 기계 학습 모델은 딥 러닝 네트워크에 대한 업데이트로 차량에 설치된다. 일부 실시예에서, 딥 러닝 네트워크는 도 7의 인식 모듈(703)과 같은 인식 모듈의 일부이다. 훈련된 기계 학습 모델은 무선 업데이트로 설치될 수 있다. 일부 실시예에서, 업데이트는 WiFi 또는 셀룰러 네트워크와 같은 무선 네트워크를 사용하여 전송되는 펌웨어 업데이트이다. 일부 시나리오에서는 차량 서비스 시 새로 훈련된 기계 학습 모델이 설치된다.

407에서, 센서 데이터가 수신된다. 예를 들어, 센서 데이터는 차량의 하나 이상의 센서에서 캡처 된다. 일부 실시예에서, 센서는 비전 데이터를 캡처하는 데 사용되는 도 7의 비전 센서(701) 및/또는 도 7의 추가 센서(709)와 같은 비전 센서이다. 비전 센서는 앞 유리 뒤에 장착된 카메라, 기둥에 장착된 전방 및/또는 측면 카메라, 후방 카메라 등과 같은 이미지 센서를 포함할 수 있다. 다양한 실시예에서, 센서 데이터는 403에서 훈련된 기계 학습 모델이 입력으로서 활용하는 형식이거나 형식으로 변환된다. 예를 들어, 센서 데이터는 원시 또는 처리된 이미지 데이터일 수 있다. 일부 실시예에서, 센서 데이터는 초음파 센서, 레이더, 라이더(LiDAR) 센서, 마이크로폰, 또는 다른 적절한 기술로부터 캡처 된 데이터이다. 일부 실시예에서, 센서 데이터는 전처리 단계 동안 이미지 프리 프로세서(pre-processor)와 같은 이미지 프리 프로세서를 사용하여 전처리된다. 예를 들어 왜곡, 노이즈 등을 제거하기 위해 이미지를 정규화할 수 있다.

409에서 훈련된 기계 학습 모델이 적용된다. 예를 들어, 403에서 훈련된 기계 학습 모델은 407에서 수신된 센서 데이터에 적용된다. 일부 실시예에서, 모델의 적용은 딥 러닝 네트워크를 사용하여 도 7의 인식 모듈(703)과 같은 인식 모듈에 의해 수행된다. 다양한 실시예에서, 훈련된 기계 학습 모델을 적용함으로써 주행 가능 공간이 식별 및/또는 예측된다. 예를 들어, 차량 주변 환경에서 주행 가능 공간이 추론된다. 다양한 실시예에서, 차량, 장애물, 차선, 교통 제어 신호, 지도 특징, 객체 거리, 속도 제한 등이 기계 학습 모델을 적용하여 식별된다. 검출된 기능은 주행 가능 공간을 결정하는 데 사용될 수 있다. 일부 실시예에서, 교통 제어 및 다른 주행 특징은 속도 제한, 정지할 위치, 주차할 영역, 대면 방향 등과 같은 운행 파라미터를 결정하는 데 사용된다. 예를 들어 정지 표지판, 주차 공간, 차선 및 기타 교통 통제 기능이 검출되어 주행 가능 공간과 주행 파라미터를 결정하는 데 활용된다.

411에서 점유 그리드가 생성된다. 예를 들어, 409에서 적용된 훈련된 기계 학습 모델의 출력을 사용하여 차량 운행을 위한 목표 경로를 결정하기 위한 경로 계획을 위한 점유 그리드가 생성된다. 점유 그리드는 도 3의 307과 관련하여 설명된 바와 같이 및/또는 도 5의 프로세스를 사용하여 생성될 수 있다.

도 5는 점유 그리드를 생성하기 위한 프로세스의 실시예를 예시하는 흐름도이다. 예를 들어, 센서 데이터에서 결정된 주행 가능 공간을 사용하여 경로 계획을 위한 점유 그리드를 생성할 수 있다. 점유 격자는 추가 센서 데이터, 주석이 달린 지도 및/또는 이전에 생성된 점유 격자와 같은 추가 소스의 메타데이터로 보강될 수 있다. 일부 실시예에서, 도 5의 프로세스는 도 1의 103, 도 3의 307, 및/또는 도 4의 411에서 수행된다. 일부 실시예에서, 도 5의 프로세스는 도 7의 자율 차량 시스템을 사용하여 수행된다.

일부 실시예에서, 점유 그리드는 경로 계획 이전에 생성된다. 예를 들어, 점유 그리드가 생성된 다음 스마트폰 장치의 GUI를 통해 또는 차량의 디스플레이를 통해 검사하도록 사용자에게 제공된다. 사용자는 점유율 그리드를 보고 타겟 목적지를 선택할 수 있다. 사용자는 사용자가 연석의 어느 부분까지 차량을 끌어올릴 것인지 지정할 수 있다. 선택하면 차량이 타겟 목적지로 운행할 수 있다.

501에서, 저장된 점유 그리드가 로드된다. 일부 실시예에서, 차량의 현재 위치에 대응하는 이전에 생성된 점유 그리드가 로드된다. 기존에 저장된 점유 그리드로 점유 그리드를 초기화하여 차량 주변 환경의 정확도를 향상시킬 수 있다. 이 최적화는 초기 그리드의 정확도를 크게 향상시킵니다. 예를 들어, 일부 객체는 정지 상태에서 검출하기 어려울 수 있지만 차량이 현재 주차 위치에 접근할 때 이동했을 때 마지막으로 저장된 점유 그리드에서 검출되었습니다.

503에서, 주행 가능 공간이 수신된다. 예를 들어, 주행 가능 공간은 컨볼루션 신경망과 같은 신경망에서 출력으로 수신된다. 일부 실시예에서, 새로운 센서 데이터가 캡처 되고 분석됨에 따라 주행 가능 공간이 지속적으로 업데이트된다. 수신된 주행 가능 공간은 그리드 위치로 분할될 수 있다. 일부 실시예에서, 주행 가능 공간에 추가하여 다른 비전 기반 측정이 수신된다. 예를 들어, 연석, 차량, 보행자, 원뿔 등과 같은 객체가 검출되고 수신된다.

505에서, 보조 데이터가 수신된다. 예를 들어, 보조 데이터는 점유 그리드의 정확도를 업데이트하고 추가로 개선하는 데 사용된다. 보조 데이터에는 초음파 센서 또는 레이더와 같은 센서의 데이터가 포함될 수 있다. 보조 데이터에는 다른 차량에서 생성된 점유 데이터도 포함될 수 있다. 예를 들어, 차량의 메시 네트워크는 점유 데이터의 시간 및 위치에 기초하여 점유 데이터를 공유할 수 있다. 다른 예로서, 주석이 달린 지도 데이터는 점유 그리드를 보강하는 데 사용될 수 있다. 속도 제한, 차선, 주행 가능 공간, 교통 패턴 등과 같은 지도 데이터는 주석이 달린 지도 데이터를 통해 로드될 수 있다.

일부 실시예에서, 운행을 중단하거나 수정하는 데 사용되는 안전 데이터는 보조 데이터로 수신된다. 예를 들어 충돌 경고 시스템은 잠재적 또는 보류 중인 충돌을 설명하기 위해 그리드 값을 중단하는 데 사용되는 505에 데이터를 입력한다. 일부 실시예에서, 보조 데이터는 사용자로부터 제공된 데이터를 포함한다. 예를 들어, 사용자는 주차 위치 및/또는 방향과 같은 목적지를 식별하는 데 도움이 되는 이미지 또는 비디오를 포함할 수 있다. 수신된 데이터는 점유 그리드를 수정하는 데 사용될 수 있다.

507에서, 점유 그리드가 업데이트된다. 503 및/또는 505에서 수신된 데이터를 사용하여 점유 그리드가 업데이트된다. 업데이트된 그리드는 그리드 위치의 확률 값에 대응하는 각 그리드 위치의 값을 포함할 수 있다. 값은 그리드 위치 운행과 관련된 비용 값일 수 있다. 일부 실시예에서, 값은 또한 그리드 위치가 주행 가능 영역일 확률에 대응하는 주행 가능 값을 포함한다. 다양한 실시예에서, 업데이트된 점유 그리드가 저장 및/또는 내보내기 될 수 있다. 예를 들어 그리드 데이터를 원격 서버에 업로드하거나 로컬에 저장할 수 있다. 예를 들어, 차량이 주차된 경우 그리드 데이터를 저장하고 나중에 그리드를 초기화하는 데 사용할 수 있다. 다른 예로서, 그리드 데이터는 경로 또는 잠재적 경로가 교차하는 차량과 같은 관련 차량과 공유될 수 있다.

점유 그리드가 업데이트되면 처리는 503으로 루프백 하여 새로 수신된 데이터로 점유 그리드를 계속 업데이트한다. 예를 들어, 차량이 경로를 따라 운행할 때 점유 그리드를 업데이트하기 위해 새로운 주행 가능 및/또는 보조 데이터가 수신된다. 새로 업데이트된 그리드는 자동 운행에 사용되는 목표 경로를 수정 및/또는 업데이트하는 데 사용할 수 있다. 예를 들어, 이전에 비어 있던 공간이 이제 차단될 수 있다. 마찬가지로 이전에 차단된 공간이 열릴 수 있다.

도 6은 목적지 타겟을 자동으로 운행하기 위한 프로세스의 실시예를 도시하는 흐름도이다. 도 6의 프로세스는 현재 위치에서 목적지 타겟 위치를 향해 결정된 계획 목표를 사용하여 차량을 운행하는 데 사용될 수 있다. 다양한 실시예에서, 운행은 차량의 조향 및 속도를 수정하기 위해 차량 엑추에이터를 사용하는 차량 제어기에 의해 자동으로 수행된다. 도 6의 프로세스는 차량 운행의 안전성을 향상시키기 위해 여러 안전 검사를 구현한다. 안전 점검을 통해 운행을 종료 및/또는 수정할 수 있다. 예를 들어, 사용자가 차량의 진행 상황을 모니터링하고 있는지 확인하기 위해 사용자가 차량에 지속적으로 접촉을 유지해야 하는 가상 심장박동이 구현될 수 있다. 일부 실시예에서, 운행은 목적지 타겟에 대한 최적의 경로를 따라 차량을 운행하기 위해 경로 목표를 활용한다. 경로 목표는 아크와 같은 경로 기초 요소로서, 선택된 경로를 따른 점 세트 및/또는 경로 기초 요소의 다른 형태로 수신될 수 있다. 일부 실시예에서, 도 6의 프로세스는 도 1의 105 및/또는 도 3의 311에서 수행된다. 일부 실시예에서, 프로세스는 도 7의 자율 차량 시스템을 사용하여 수행된다.

일부 실시예에서, 도 6의 프로세스는 차량을 원격으로 제어하기 위해 사용자에 의해 사용될 수 있다. 예를 들어, 사용자는 차량 조정을 통해 차량을 원격으로 제어하기 위해 차량의 조향 각도, 방향 및/또는 속도를 제어할 수 있다. 사용자가 차량을 원격으로 제어함에 따라 사용자 제어를 중단 및/또는 수정할 수 있는 안전 점검이 지속적으로 수행된다. 예를 들어 객체가 검출되거나 원격 사용자와의 연락이 끊긴 경우 차량을 정지할 수 있다.

601에서, 차량 조정이 결정된다. 예를 들어, 차량 속도 및 조향 조정은 차량을 경로 목표에 유지하기 위해 결정된다. 일부 실시예에서, 차량 조정은 도 7의 차량 제어기(707)와 같은 차량 제어기에 의해 결정된다. 일부 실시예에서, 차량 제어기는 차량을 제어하기 위한 거리, 속도, 방향, 및/또는 다른 주행 파라미터를 결정한다. 일부 실시예에서, 차량의 속도를 제한하기 위해 최대 차량 속도가 결정되고 사용된다. 운행의 안전성을 높이고 사용자가 호출 기능을 종료하기에 충분한 반응 시간을 허용하기 위해 최대 속도가 적용될 수 있다.

603에서, 차량은 경로 목표를 따라 코스를 유지하도록 조정된다. 예를 들어, 601에서 결정된 차량 조정이 구현된다. 일부 실시예에서, 도 7의 차량 엑추에이터(713)와 같은 차량 엑추에이터는 차량 조정을 구현한다. 차량 엑추에이터는 차량의 조향 및/또는 속도를 조정한다. 다양한 실시예에서, 모든 조정이 기록되고 추후 검토를 위해 원격 서버에 업로드될 수 있다. 예를 들어, 안전 문제의 경우, 차량 작동, 경로 목표, 목적지 위치, 현재 위치, 이동 속도 및/또는 기타 주행 파라미터를 검토하여 잠재적 개선 영역을 식별할 수 있다.

605에서, 차량 조정에 따라 차량이 작동되고 차량의 작동이 모니터링된다. 예를 들어, 차량은 603에서 적용된 차량 조정의 지시에 따라 작동한다. 다양한 실시예에서, 차량의 작동은 안전, 편안함, 성능, 효율성 및 기타 작동 파라미터를 시행하기 위해 모니터링된다.

607에서, 장애물이 검출되었는지 여부가 결정된다. 장애물이 검출되면 처리는 611로 계속된다. 장애물이 검출되지 않는 경우 처리는 차량의 작동이 계속 모니터링되는 605로 계속된다. 일부 실시예에서, 장애물은 초음파 센서와 같은 충돌 또는 객체 센서에 의해 검출된다. 일부 실시예에서, 장애물은 네트워크 인터페이스를 통해 통신될 수 있다. 예를 들어, 다른 차량에서 검출한 장애물을 공유하고 수신할 수 있다. 다양한 실시예에서, 검출된 장애물은 점유 그리드 생성과 관련된 것들과 같은 자율 차량 시스템의 다른 컴포넌트에 알리는 데 사용될 수 있지만, 차량이 검출된 장애물에 대해 즉시 조정할 수 있도록 운행 컴포넌트에서도 수신된다.

609에서, 사용자와의 연락이 끊어졌는지 여부가 결정된다. 사용자와의 연락이 끊어진 경우 처리는 611로 계속된다. 사용자와의 연락이 끊어지지 않은 경우 처리는 차량의 작동이 계속 모니터링되는 605로 계속된다. 일부 실시예에서, 자동 운행을 활성화하려면 사용자와의 지속적인 접촉이 필요한다. 예를 들어, 가상 심장박동이 사용자로부터 전송된다. 심장박동은 사용자의 스마트폰 장치 또는 열쇠 고리와 같은 다른 적절한 장치에서 전송될 수 있다. 일부 실시예에서, 사용자가 가상 심장박동을 활성화하는 한, 가상 심장박동이 수신되고 연락이 끊기지 않을 것이다. 사용자가 더 이상 가상 심장박동을 전송하지 않는 것에 대한 응답으로, 사용자와의 연락이 끊어진 것으로 간주되고 611에서 차량의 운행이 적절하게 응답한다.

일부 실시예에서, 가상 심장박동은 사용자가 심장박동 스위치, 버튼, 또는 다른 사용자 인터페이스 장치와 지속적으로 접촉하는 한 구현된다(그리고 접촉을 유지하기 위해 지속적으로 전송됨). 사용자가 적절한 사용자 인터페이스 요소와 연결을 끊으면 가상 심장박동이 더 이상 전송되지 않고 연결이 끊어진다.

611에서, 운행이 중단된다. 검출된 장애물 및/또는 사용자와의 연락 끊김에 대한 응답으로 자동 운행이 중단된다. 예를 들어, 차량이 저속으로 주행하는 경우 차량이 즉시 정지할 수 있다. 차량이 더 빠른 속도로 주행하는 경우 차량이 안전하게 정지한다. 안전한 정지를 위해서는 점진적인 제동과 도로 측면이나 주차 공간과 같은 안전한 정지 위치를 결정해야 할 수 있다. 다양한 실시예에서, 무효화된 운행은 사용자가 자동 운행을 사전에 계속하도록 요구할 수 있다. 일부 실시예에서, 검출된 장애물이 더 이상 존재하지 않으면 재정의된 운행이 재개된다.

일부 실시예에서, 검출된 장애물이 운행을 중단하는 경우, 차량은 새로운 경로를 사용하여 목적지로 다시 라우팅된다. 예를 들어, 검출된 장애물을 피하는 새로운 경로 목표가 결정된다. 다양한 실시예에서, 점유 그리드는 검출된 장애물로 업데이트되고 업데이트된 점유 그리드는 새로운 경로 목표를 결정하는 데 사용된다. 실행 가능한 새 경로가 결정되면 적절한 경우(예를 들어, 연락이 다시 설정되면) 운행을 계속할 수 있다. 일부 실시예에서, 운행이 중단될 때 새로운 경로가 결정된다. 예를 들어, 연락이 끊긴 경우 목적지까지의 경로를 재확인한다. 적절한 경우 기존 경로를 사용하거나 새 경로를 선택할 수 있다. 다양한 실시예에서, 실행 가능한 경로를 찾을 수 없는 경우 차량은 정지된 상태로 유지된다. 예를 들어 차량이 완전히 차단되었습니다.

도 7은 차량을 목적지 타겟까지 자동으로 운행하기 위한 자율 차량 시스템의 일 실시예를 도시한 블록도이다. 자율 차량 시스템에는 차량을 자동으로 타겟 지리적 위치로 운행하는 데 함께 사용할 수 있는 다양한 구성 요소가 포함된다. 도시된 예에서, 자율 차량 시스템은 온보드 컴포넌트(onboard component)(700), 원격 인터페이스 컴포넌트(remote interface component)(751), 및 운행 서버(navigation server)(761)를 포함한다. 온보드 컴포넌트(700)는 차량에 장착되는 컴포넌트이다. 원격 인터페이스 컴포넌트(751)는 차량을 자동으로 운행하기 위해 차량에서 원격으로 사용될 수 있는 하나 이상의 원격 컴포넌트이다. 예를 들어, 원격 인터페이스 컴포넌트(751)는 스마트폰 장치 상에서 실행되는 스마트폰 애플리케이션, 전자 열쇠, 차량을 제어하기 위한 웹사이트와 같은 GUI, 및/또는 다른 원격 인터페이스 컴포넌트를 포함한다. 운행 서버(761)는 운행 기능을 용이하게 하는 데 사용되는 선택적 서버이다. 운행 서버(761)는 원격 서버이고 원격 클라우드 서버 및/또는 스토리지로서 기능할 수 있다. 일부 실시예에서, 도 7의 자율 차량 시스템은 도 1-6의 프로세스 및 도 8-9의 사용자 인터페이스와 관련된 기능을 구현하는 데 사용된다.

도시된 예에서, 온보드 컴포넌트(700)는 비전 센서(vision sensor)(701), 인식 모듈(perception module)(703), 경로 플래너 모듈(path planner module)(705), 차량 제어기(707), 추가 센서(additional sensor)(709), 안전 제어기(safety controller)(711), 차량 엑추에이터(vehicle actuator)(713), 및 네트워크 인터페이스(network interface)(715)를 포함하는 자율 차량 시스템이다. 다양한 실시예에서, 상이한 구성 요소는 통신 가능하게 연결된다. 예를 들어, 비전 센서(701) 및 추가 센서(709)로부터의 센서 데이터는 인식 모듈(703)에 공급된다. 인식 모듈(703)의 출력은 경로 플래너 모듈(705)에 공급된다. 경로 플래너 모듈(705)의 출력 및 추가 센서(709)로부터의 센서 데이터는 차량 제어기(707)에 공급된다. 일부 실시예에서, 차량 제어기(707)의 출력은 차량의 속도, 제동 및/또는 조향 등과 같은 차량의 작동을 제어하기 위해 차량 엑추에이터(713)에 공급되는 차량 제어 명령이다. 일부 실시예에서, 추가 센서(709)로부터의 센서 데이터는 추가 안전 검사를 수행하기 위해 차량 엑추에이터(713)에 공급된다. 다양한 실시예에서, 안전 제어기(711)는 인식 모듈(703), 차량 제어기(707), 및/또는 차량 엑추에이터(713)와 같은 하나 이상의 컴포넌트에 연결되어 각 모듈에서 안전 검사를 구현한다. 예를 들어, 안전 제어기(711)는 자동 운행을 중단하기 위해 추가 센서(709)로부터 추가 센서 데이터를 수신할 수 있다.

다양한 실시예에서, 센서 데이터, 기계 학습 결과, 인식 모듈 결과, 경로 계획 결과, 안전 제어기 결과 등이 네트워크 인터페이스(715)를 통해 운행 서버(761)로 전송될 수 있다. 예를 들어, 센서 데이터는 네트워크 인터페이스(715)를 통해 운행 서버(761)로 전송되어 차량의 성능, 편안함, 및/또는 안전을 개선하기 위한 훈련 데이터를 수집할 수 있다. 다양한 실시예에서, 네트워크 인터페이스(715)는 무엇보다도 운행 서버(761)와 통신하고, 전화를 걸고, 문자 메시지를 전송 및/또는 수신하고, 차량의 작동에 기초하여 센서 데이터를 전송하는 데 사용된다. 일부 실시예에서, 온보드 컴포넌트(700)는 적절한 추가 또는 더 적은 컴포넌트를 포함할 수 있다. 예를 들어, 일부 실시예에서, 온보드 컴포넌트(700)는 센서 데이터를 향상시키기 위해 이미지 프리 프로세서(미도시)를 포함한다. 다른 예로서, 이미지 프리 프로세서는 이미지를 정규화하거나 이미지를 변환하는데 사용될 수 있다. 일부 실시예에서, 노이즈, 왜곡, 및/또는 흐릿함은 전처리 단계 동안 제거되거나 감소된다. 다양한 실시예에서, 이미지는 기계 학습 분석의 결과를 개선하기 위해 조정되거나 정규화된다. 예를 들어, 이미지의 화이트 밸런스는 일광, 화창함, 흐림, 황혼, 일출, 일몰 및 야간 조건과 같은 다양한 조명 작동 조건을 고려하여 조정된다. 다른 예로서, 어안 렌즈로 캡처 된 이미지가 휘어질 수 있고 이미지 프리 프로세서(image pre-processor)가 휘어짐을 제거하거나 수정하기 위해 이미지를 변환하는 데 사용될 수 있다. 다양한 실시예에서, 온보드 컴포넌트의 하나 이상의 컴포넌트는 운행 서버(761)와 같은 원격 서버에 배포될 수 있다.

일부 실시예에서, 비전 센서(701)는 하나 이상의 비전 센서를 포함한다. 다양한 실시예에서, 비전 센서(701)는 차량의 상이한 위치에서 차량에 부착될 수 있고/있거나 하나 이상의 상이한 방향으로 방향될 수 있다. 예를 들어, 비전 센서(701)는 전방, 후방, 측면 등의 방향으로 차량의 전방, 측면, 후방 및/또는 지붕 등에 부착될 수 있다. 일부 실시예에서, 비전 센서(701)는 높은 동적 범위 카메라와 같은 이미지 센서이다. 예를 들어, 고생동폭 (High Dynamic Range)(HDR) 전방 카메라는 차량 앞에서 이미지 데이터를 캡처한다. 일부 실시예에서, 차량에는 데이터를 캡처하기 위한 다중 센서가 부착된다. 예를 들어, 일부 실시예에서 8개의 서라운드 카메라가 차량에 부착되어 최대 250미터의 범위로 차량 주변의 360도 가시성을 제공한다. 일부 실시예에서, 카메라 센서는 광폭 전방 카메라, 좁은 전방 카메라, 후방 카메라, 전방 측 카메라, 및/또는 후방 후방 카메라를 포함한다. 다양한 카메라 센서를 사용하여 차량 주변 환경을 캡처하고 캡처한 이미지를 딥 러닝 분석에 제공한다.

일부 실시예에서, 비전 센서(701)는 온보드 컴포넌트(700)의 차량에 장착되지 않는다. 예를 들어, 비전 센서(701)는 이웃 차량에 장착 및/또는 도로 또는 환경에 부착될 수 있으며 센서 데이터를 캡처하기 위한 딥 러닝 시스템의 일부로 포함될 수 있다. 일부 실시예에서, 비전 센서(701)는 차량이 주행하는 노면을 캡처하는 하나 이상의 카메라를 포함한다. 예를 들어, 하나 이상의 전면 및/또는 기둥 카메라는 차량이 주행하는 차선의 차선 표시를 캡처한다. 비전 센서(701)는 정지 이미지 및/또는 비디오를 캡처할 수 있는 이미지 센서 모두를 포함할 수 있다. 데이터는 일정 기간 동안 캡처 된 데이터의 시퀀스와 같이 일정 기간 동안 캡처될 수 있다.

일부 실시예에서, 인식 모듈(703)은 센서 데이터를 분석하여 차량을 둘러싼 환경의 표현을 생성하는 데 사용된다. 일부 실시예에서, 인식 모듈(703)은 점유 그리드를 생성하기 위해 훈련된 기계 학습 네트워크를 활용한다. 인식 모듈(703)은 비전 센서(701) 및/또는 추가 센서(709)로부터의 데이터를 포함하는 센서 데이터를 입력으로 취하기 위해 딥 러닝 네트워크를 활용할 수 있다. 인식 모듈(703)의 딥 러닝 네트워크는 센서 데이터와 같은 입력에 대해 훈련되는 컨볼루션 신경망(CNN)과 같은 인공 신경 네트워크일 수 있으며 그 출력은 경로 플래너 모듈(705)에 제공된다. 일례로, 출력은 차량 주변 환경의 주행 가능 공간을 포함할 수 있다. 일부 실시예에서, 인식 모듈(703)은 입력으로서 적어도 센서 데이터를 수신한다. 추가 입력에는 차량 주변 환경을 설명하는 장면 데이터 및/또는 차량의 작동 특성과 같은 차량 사양이 포함될 수 있다. 장면 데이터에는 비, 젖은 도로, 눈, 진흙탕, 고밀도 교통, 고속도로, 도시, 스쿨존 등과 같이 차량 주변 환경을 설명하는 장면 태그가 포함될 수 있다. 일부 실시예에서, 인식 모듈(703)은 도 1의 103, 도 3의 305 및/또는 309, 도 4의 411, 및/또는 도 5의 프로세스에서 활용된다.

일부 실시예에서, 경로 플래너 모듈(705)은 한 위치에서 다른 위치로 차량을 운행하기 위한 최적의 경로를 선택하기 위한 경로 계획 컴포넌트다. 경로 계획 컴포넌트는 최적 경로를 선택하기 위해 점유 그리드 및 비용 함수를 활용할 수 있다. 일부 실시예에서, 잠재적인 경로는 차량의 작동 특성을 모델링하는 원호 기초 요소와 같은 하나 이상의 경로 기초 요소로 구성된다. 일부 실시예에서, 경로 플래너 모듈(705)은 도 1의 단계(103) 및/또는 도 3의 단계(309)에서 활용된다. 다양한 실시예에서, 경로 플래너 모듈(705)은 더 느린 주파수에서 실행되거나 인식 모듈(703) 및 차량 제어기(707)와 같은 다른 컴포넌트보다 덜 자주 업데이트된다.

일부 실시예에서, 차량 제어기(707)는 경로 플래너 모듈(705)의 출력을 처리하고 선택된 경로를 차량 제어 동작 또는 명령으로 변환하는 데 사용된다. 일부 실시예에서, 차량 제어기(707)는 선택된 목적지 타겟으로의 자동 운행을 위해 차량을 제어하는 데 이용된다. 다양한 실시예에서, 차량 제어기(707)는 차량 엑추에이터(713)에 명령을 전송함으로써 차량의 속도, 가속도, 조향, 제동 등을 조정할 수 있다. 예를 들어, 일부 실시예에서, 차량 제어기(707)는 현재 위치에서 선택된 목적지까지의 경로를 따라 차량의 위치를 유지하도록 차량을 제어하는 데 사용된다.

일부 실시예에서, 차량 제어기(707)는 제동등, 방향 지시등, 헤드라이트 등과 같은 차량 조명을 제어하는 데 사용된다. 일부 실시예에서, 차량 제어기(707)는 차량의 사운드 시스템, 오디오 경고 재생, 마이크 활성화, 경적 활성화 등과 같은 차량 오디오 상태를 제어하는 데 사용된다. 일부 실시예에서, 차량 제어기(707)는 주행이자 및/또는 승객에게 잠재적인 충돌 또는 의도된 목적지의 접근과 같은 주행 이벤트를 알리는 경고 시스템을 포함하는 알림 시스템을 제어하는 데 사용된다. 일부 실시예에서, 차량 제어기(707)는 차량의 센서(701)와 같은 센서를 조정하는 데 사용된다. 예를 들어, 차량 제어기(707)는 방향 수정, 출력 해상도 및/또는 형식 유형 변경, 캡처 속도 증가 또는 감소, 캡처 된 동적 범위 조정, 카메라의 초점 조정 및/또는 센서 활성화 및/또는 비활성화 등과 같은 하나 이상의 센서의 파라미터를 변경하는 데 사용될 수 있다.

일부 실시예에서, 추가 센서(709)는 비전 센서(701) 외에 하나 이상의 센서를 포함한다. 다양한 실시예에서, 추가 센서(709)는 차량에 부착될 수 있고, 차량의 다른 위치에서, 및/또는 하나 이상의 다른 방향으로 방향될 수 있다. 예를 들어, 추가 센서(709)는 전방, 후방, 측면 등의 방향으로 차량의 전방, 측면, 후방 및/또는 지붕 등에 부착될 수 있다. 일부 실시예에서, 추가 센서(709)는 무엇보다도 레이더, 오디오, LiDAR, 관성, 주행 거리 측정, 위치, 및/또는 초음파 센서를 포함한다. 초음파 및/또는 레이더 센서를 사용하여 주변 세부 정보를 캡처할 수 있다. 예를 들어, 12개의 초음파 센서를 차량에 부착하여 딱딱한 객체와 부드러운 객체를 모두 검출할 수 있다. 일부 실시예에서, 전방을 향하는 레이더는 주변 환경의 데이터를 캡처하는 데 활용된다. 다양한 실시예에서, 레이더 센서는 폭우, 안개, 먼지 및 기타 차량에도 불구하고 주변 세부 사항을 캡처할 수 있다. 다양한 센서를 이용하여 차량 주변 환경을 캡처하고, 캡처한 이미지를 딥 러닝 분석에 제공한다.

일부 실시예에서, 추가 센서(709)는 온보드 컴포넌트(700)의 차량에 장착되지 않습니다. 예를 들어, 추가 센서(709)는 이웃 차량에 장착되고/되거나 도로 또는 환경에 부착될 수 있으며 센서 데이터를 캡처하기 위한 자율 차량 시스템의 일부로 포함될 수 있다. 일부 실시예에서, 추가 센서(709)는 차량이 주행하는 노면을 포착하는 하나 이상의 비-비전 센서를 포함한다. 일부 실시예에서, 추가 센서(709)는 차량의 위치 및/또는 위치의 변화를 결정하기 위한 글로벌 포지셔닝 시스템(GPS) 센서와 같은 위치 센서를 포함한다.

일부 실시예에서, 안전 제어기(711)는 온보드 컴포넌트(700)에 대한 안전 검사를 구현하는 데 사용되는 안전 컴포넌트다. 일부 실시예에서, 안전 제어기(711)는 비전 센서(701) 및/또는 추가 센서(709)로부터 센서 입력을 수신한다. 객체가 검출되고/거나 충돌 가능성이 높은 경우, 안전 제어기(711)는 즉각적으로 계류 중인 안전 문제를 다른 컴포넌트에 알릴 수 있다. 일부 실시예에서, 안전 제어기(711)는 인지 모듈(703), 차량 제어기(707), 및/또는 차량 엑추에이터(713)의 결과를 중단 및/또는 증강할 수 있다. 일부 실시예에서, 안전 제어기(711)는 검출된 안전 우려에 응답하는 방법을 결정하는 데 사용된다. 예를 들어, 저속에서는 차량을 즉시 정지시킬 수 있지만 고속에서는 차량을 안전하게 감속하고 안전한 위치에 주차해야 한다. 다양한 실시예에서, 안전 제어기(711)는 원격 인터페이스 컴포넌트(751)와 통신하여 온보드 컴포넌트(700)와 원격 인터페이스 컴포넌트(751)의 사용자 사이에 라이브 연결이 설정되었는지 여부를 검출한다. 예를 들어, 안전 제어기(711)는 원격 인터페이스 컴포넌트(751)로부터 가상 심장박동을 모니터링할 수 있고 가상 심장박동이 더 이상 검출되지 않는 경우, 자동 운행을 종료하거나 수정하기 위해 안전 경고가 트리거 될 수 있다. 일부 실시예에서, 도 6의 프로세스는 안전 제어기(711)에 의해 적어도 부분적으로 구현된다.

일부 실시예에서, 차량 엑추에이터(713)는 차량의 특정 작동 제어를 구현하는 데 사용된다. 예를 들어, 차량 엑추에이터(713)는 차량의 속도 및/또는 조향의 변화를 개시한다. 일부 실시예에서, 차량 엑추에이터(713)는 구동 인버터 및/또는 스티어링 랙에 작동 명령을 전송한다. 다양한 실시예에서, 차량 엑추에이터(713)는 잠재적인 충돌이 검출되는 경우 추가 센서(709) 및/또는 안전 제어기(711)로부터의 입력에 기초하여 안전 검사를 구현한다. 예를 들어, 차량 엑추에이터(713)는 차량을 즉시 정지시킨다.

일부 실시예에서, 네트워크 인터페이스(715)는 음성 데이터를 포함하는 데이터를 전송 및/또는 수신하기 위한 통신 인터페이스이다. 다양한 실시예에서, 네트워크 인터페이스(715)는 연결하고 음성 통화를 하기 위해, 문자 메시지 보내기 및/또는 받기 위해, 센서 데이터를 전송하기 위해, 업데이트된 기계 학습 모델을 포함하는 인식 모듈에 대한 업데이트를 수신하기 위해, 기상 조건 및 예보, 교통 상황, 교통 규칙 및 규정 등을 포함한 환경 조건을 검색하기 위해, 원격 서버와 인터페이스하기 위한 셀룰러 또는 무선 인터페이스를 포함한다. 예를 들어, 네트워크 인터페이스(715)는 센서(701), 인식 모듈(703), 경로 플래너 모듈(705), 차량 제어기(707), 추가 센서(709), 안전 제어기(711), 및/또는 차량 액추에이터(713)에 대한 지시 및/또는 작동 파라미터에 대한 업데이트를 수신하는 데 사용될 수 있다. 지각 모듈(703)의 기계 학습 모델은 네트워크 인터페이스(715)를 사용하여 업데이트될 수 있다. 다른 예로서, 네트워크 인터페이스(715)는 비전 센서(701)의 펌웨어 및/또는 가중 비용과 같은 경로 플래너 모듈(705)의 운영 목표를 업데이트하는 데 사용될 수 있다. 또 다른 예로서, 네트워크 인터페이스(715)는 다른 차량과의 공유를 위해 점유 그리드 데이터를 운행 서버(761)에 전송하는 데 사용될 수 있다.

일부 실시예에서, 원격 인터페이스 컴포넌트(751)는 차량을 자동으로 운행하기 위해 차량으로부터 원격으로 사용될 수 있는 하나 이상의 원격 컴포넌트다. 예를 들어, 원격 인터페이스 컴포넌트(751)는 스마트폰 장치 상에서 실행되는 스마트폰 애플리케이션, 전자 열쇠, 차량을 제어하기 위한 웹사이트와 같은 GUI, 및/또는 다른 원격 인터페이스 컴포넌트를 포함한다. 사용자는 지리적 위치에 의해 특정 선택된 목적지 타겟으로 차량을 자동으로 운행하는 호출 기능을 시작할 수 있다. 예를 들어, 사용자는 차량이 사용자를 찾아 팔로우 하도록 할 수 있다. 다른 예로서, 사용자는 원격 인터페이스 컴포넌트(751)를 사용하여 주차 위치를 지정할 수 있고 차량은 특정 위치 또는 도달하기에 안전한 특정 위치에 가장 가까운 위치로 자동으로 운행할 것이다.

일부 실시예에서, 운행 서버(761)는 선택적인 원격 서버이고 원격 저장소를 포함한다. 운행 서버(761)는 새로 생성된 점유 격자를 초기화하기 위해 나중에 사용될 수 있는 점유 격자 및/또는 점유 데이터를 저장할 수 있다. 일부 실시예에서, 운행 서버(761)는 상이한 차량에 걸쳐 점유 데이터를 동기화하는 데 사용된다. 예를 들어, 새로운 점유 데이터가 있는 영역의 차량은 다른 차량에서 생성된 점유 데이터로 시작되거나 업데이트될 수 있다. 다양한 실시예에서, 운행 서버(761)는 네트워크 인터페이스(715)를 통해 온보드 컴포넌트(700)와 통신할 수 있다. 일부 실시예에서, 운행 서버(761)는 원격 인터페이스 컴포넌트(751)와 통신할 수 있다. 일부 실시예에서, 온보드 컴포넌트(700)의 하나 이상의 컴포넌트 또는 부분 컴포넌트는 운행 서버(761)에서 구현된다. 예를 들어, 운행 서버(761)는 인지 처리 및/또는 경로 계획과 같은 처리를 수행하고 온보드 컴포넌트(700)에 필요한 결과를 제공할 수 있다.

도 8은 차량을 목적지까지 자동으로 운행하기 위한 사용자 인터페이스의 일 실시예를 도시한 도면이다. 일부 실시예에서, 도 8의 사용자 인터페이스는 도 1-6의 프로세스를 시작 및/또는 모니터링하는 데 사용된다. 일부 실시예에서, 도 8의 사용자 인터페이스는 스마트폰 애플리케이션의 사용자 인터페이스 및/또는 도 7의 원격 인터페이스 컴포넌트(751)이다. 일부 실시예에서, 도 8과 연관된 기능은 차량을 사용자의 위치로 운행하기 위해 도 2의 203에서 시작된다. 예를 들어, 스마트폰 장치의 사용자 인터페이스와 상호 작용하는 사용자는 "나를 찾기" 동작을 활성화하여 차량을 사용자의 스마트폰 장치 위치로 운행하며, 이는 사용자의 위치를 정확하게 근사한다. 도시된 예에서, 사용자 인터페이스(800)는 사용자 인터페이스 컴포넌트 지도(user interface components map)(801), 대화창(dialog window)(803), 차량 로케이터 요소(vehicle locator element)(805), 사용자 로케이터 요소(user locator element)(809), 및 유효 호출 영역 요소(valid summon area element)(807)를 포함한다.

일부 실시예에서, 사용자 인터페이스(800)는 차량의 위치가 차량 로케이터 요소(805)에 표시되고 사용자의 위치가 사용자 로케이터 요소(809)에 표시된 지도(801)를 표시한다. 사용자에게 자동으로 운행할 때 차량이 진행할 수 있는 영역은 유효 호출 영역 요소(807)로 표시된다. 다양한 실시예에서, 유효 호출 영역 요소(807)는 차량이 이동할 수 있는 최대 거리를 표시하는 원이다. 일부 실시예에서, 유효 호출 영역 요소(807)는 사용자로부터 차량까지의 시선을 고려하고 시선이 있는 영역만이 자동 운행을 위해 허용된다.

도시된 예에서 지도(801)는 위성 지도이지만 대체 지도가 사용될 수 있다. 일부 실시예에서, 지도(801)는 예를 들어 지도(801)를 패닝(panning) 또는 줌잉(zooming)함으로써 상이한 위치를 보기 위해 조작될 수 있다. 다양한 실시예에서, 지도(801)는 사용자가 주차장의 상이한 레벨과 같은 상이한 고도를 선택할 수 있도록 하는 3차원 뷰(도시되지 않음)를 포함한다. 예를 들어, 다른 고도에서 주행 가능 영역이 있는 영역은 강조 표시되며 분해 보기에서 볼 수 있다.

일부 실시예에서, 차량 로케이터 요소(805)는 차량의 위치와 방향(또는 방향) 모두를 표시한다. 예를 들어, 차량이 향하는 방향은 차량 로케이터 요소(805)의 화살표가 가리키는 방향으로 표시된다. 사용자 로케이터 요소(809)는 사용자의 위치를 나타낸다. 일부 실시예에서, 다른 잠재적인 승객의 위치도 예를 들어 다른 색상(미도시)으로 표시된다. 일부 실시예에서, 지도(map)(801)는 차량 로케이터 요소(805)를 중심으로 한다. 다양한 실시예에서, 차량의 원래(또는 시작) 위치, 사용자의 현재 위치, 사용자의 현재 위치에 가장 가까운 도달 가능한 위치 등과 같은 다른 데이터가 지도(801)의 중심으로서 사용될 수 있다.

도시된 예에서, 대화창(803)은 사용자에게 호출 기능을 활성화하는 방법을 알려주기 위해 "시작하려면 길게 누르거나, 지도를 탭하여 목적지를 선택하십시오"와 같은 텍스트 설명을 포함한다. 일부 실시예에서, 기본 동작은 차량을 사용자에게 운행하는 것이다. 기본 동작은 대화창 803의 일부인 "나를 찾기" 버튼을 선택하여 활성화된다. 일부 실시예에서, "나를 찾기" 동작이 활성화되면, 선택된 경로가 사용자 인터페이스(도 8에 도시되지 않음)에 표시된다. 차량이 사용자의 위치로 운행함에 따라 차량의 새로운 위치를 반영하기 위해 차량 로케이터 요소(805)가 업데이트된다. 유사하게, 사용자가 이동함에 따라 사용자 로케이터 요소(809)는 사용자의 새로운 위치를 반영하도록 업데이트된다. 일부 실시예에서, 흔적은 사용자 위치의 변화를 보여줍니다. 다양한 실시예에서, 사용자는 자동 운행이 계속될 수 있도록 가상 심장박동 버튼과 계속 접촉해야 한다. 사용자가 가상 심장박동 버튼을 놓으면 자동 운행이 중지된다. 일부 실시예에서, 심장박동 버튼은 대화창(803)의 "나를 찾기" 버튼이다. 일부 실시예에서, 개별 정방향 및 역방향 버튼은 각각 정방향 및 역방향(도시되지 않음)으로의 자동 운행을 확인하기 위해 가상 심장박동 버튼으로서 기능한다.

일부 실시예에서, 추가적인 "찾기" 기능(도시되지 않음)은 예를 들어 사용자와 다른 승객을 픽업하기 위해 차량을 선택된 사람의 위치로 자동 운행할 수 있다. 다양한 실시예에서, 목적지 타겟으로서 선택될 수 있는 미리 식별된 위치가 표시될 수 있다(도시되지 않음). 예를 들어, 위치는 승객을 태우기 위한 유효한 주차 위치 또는 대기 위치로 미리 식별될 수 있다.

도 9는 차량을 목적지까지 자동 운행하기 위한 사용자 인터페이스의 일 실시예를 도시한 도면이다. 일부 실시예에서, 도 9의 사용자 인터페이스는 도 1-6의 프로세스를 시작 및/또는 모니터링하는 데 사용된다. 일부 실시예에서, 도 9의 사용자 인터페이스는 스마트폰 애플리케이션의 사용자 인터페이스이고/이거나 도 7의 원격 인터페이스 컴포넌트(751)이다. 일부 실시예에서, 도 9와 관련된 기능은 도 2의 201에서 시작되어 사용자에 의해 특정 위치로 차량을 운행한다. 예를 들어, 스마트폰 장치에서 사용자 인터페이스와 상호 작용하는 사용자는 핀을 떨어뜨려 차량이 운행할 목적지 타겟을 지정한다. 도시된 예에서, 사용자 인터페이스(900)는 사용자 인터페이스 컴포넌트 지도(901), 대화창(903), 차량 로케이터 요소(905), 사용자 로케이터 요소(909), 유효한 호출 영역 요소(907), 및 목적지 타겟 요소(911)를 포함한다.

일부 실시예에서, 사용자 인터페이스(900)는 차량의 위치가 차량 로케이터 요소(905)에 표시되고 사용자의 위치가 사용자 로케이터 요소(909)에 표시된 지도(901)를 표시한다. 사용자에게 자동으로 운행할 때 차량이 횡단할 수 있는 영역은 유효한 호출 영역 요소(907)로 표시된다. 다양한 실시예에서, 유효한 호출 영역 요소(907)는 차량이 이동하도록 허용된 최대 거리를 표시하는 원이고 사용자는 유효한 호출 영역 요소(907) 내에서만 목적지 타겟을 선택할 수 있다. 일부 실시예에서, 유효한 호출 영역 요소(907)는 사용자로부터 차량까지의 시선을 고려하고 시선이 있는 영역만이 자동 운행을 위해 허용된다.

도시된 예에서 지도(901)는 위성 지도이지만 대체 지도가 사용될 수 있다. 일부 실시예에서, 지도(901)는 예를 들어 지도(901)를 패닝(panning) 또는 줌잉(zooming)함으로써 상이한 위치를 보기 위해 조작될 수 있다. 다양한 실시예에서, 지도(901)는 사용자가 주차장의 상이한 레벨과 같은 상이한 고도를 선택할 수 있도록 하는 3차원 뷰(도시되지 않음)를 포함한다. 예를 들어, 다른 고도에서 주행 가능 영역이 있는 영역은 강조 표시되고 타겟 목표를 선택하기 위해 분해 보기에서 볼 수 있다.

일부 실시예에서, 차량 로케이터 요소(905)는 차량의 위치와 방향(또는 방향) 모두를 표시한다. 예를 들어, 차량이 향하고 있는 방향은 차량 로케이터 요소(905)의 화살표가 가리키는 방향으로 표시된다. 사용자 로케이터 요소(909)는 사용자의 위치를 나타낸다. 일부 실시예에서, 다른 잠재적인 승객의 위치도 예를 들어 다른 색상(미도시)으로 표시된다. 일부 실시예에서, 지도(901)는 차량 로케이터 요소(905)를 중심으로 한다. 다양한 실시예에서, 차량의 원래(또는 시작) 위치, 사용자의 현재 위치, 사용자의 현재 위치에 가장 가까운 도달 가능한 위치, 타겟 타겟 요소(911) 등

도시된 예에서, 대화창(903)은 사용자에게 호출 기능을 활성화하는 방법을 알려주기 위해 "시작하려면 길게 누르거나, 지도를 탭하여 목적지를 선택하십시오"와 같은 텍스트 설명을 포함한다. 사용자는 지도(901)에서 유효한 호출 영역 요소(907) 내의 위치를 선택하여 타겟 목적지를 선택할 수 있다. 타겟 타겟 요소(911)는 유효한 선택된 위치에 표시된다. 표시된 예에서 핀 아이콘은 타겟 타겟 요소(911)에 사용된다. 일부 실시예에서, 화살표 또는 차량 아이콘과 같은 방향을 갖는 아이콘(미도시)이 목적지 타겟 요소(911)로서 사용된다. 목적지 타겟 요소(911)의 아이콘은 최종 목적지 방향을 선택하도록 조작될 수 있다. 다양한 실시예에서, 선택된 방향은 방향이 유효한지 확인하기 위해 검증된다. 예를 들어, 일방통행 도로에서는 교통체증을 마주하는 방향이 허용되지 않을 수 있다. 목적지 타겟 요소(911)와 관련된 선택된 위치를 지우기 위해, 사용자는 대화창(903)의 "핀 지우기" 대화창을 선택할 수 있다. 자동 운행을 시작하기 위해, 사용자는 대화창(903)의 "시작" 버튼을 선택한다. 일부 실시예에서, 자동 운행이 활성화되면 선택된 경로가 사용자 인터페이스(도 9에 도시되지 않음)에 표시된다. 차량이 목적지 타겟 위치로 운행함에 따라 차량 로케이터 요소(905)는 차량의 새로운 위치를 반영하도록 업데이트된다. 유사하게, 사용자가 이동함에 따라 사용자 로케이터 요소(909)는 사용자의 새로운 위치를 반영하도록 업데이트된다. 일부 실시예에서, 흔적은 사용자 위치의 변화를 보여줍니다. 다양한 실시예에서, 사용자는 자동 운행이 계속될 수 있도록 가상 심장박동 버튼과 계속 접촉해야 한다. 사용자가 가상 심장박동 버튼을 놓으면 자동 운행이 중지된다. 일부 실시예에서, 심장박동 버튼은 대화창(903)의 "시작" 버튼이다. 일부 실시예에서, 개별 정방향 및 역방향 버튼은 각각 정방향 및 역방향(도시되지 않음)으로의 자동 운행을 확인하기 위해 가상 심장박동 버튼으로서 기능한다.

전술한 실시예는 이해의 명확성을 위해 일부 상세하게 설명되었지만, 본 발명은 제공된 상세 사항으로 제한되지 않는다. 본 발명을 구현하는 많은 대안적인 방법이 있다. 개시된 실시예는 예시적이며 제한적이지 않다.

Claims

시스템에 있어서,
차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 연관된 지리적 위치의 식별을 수신하고; 상기 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 상기 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하기 위해 기계 학습 모델을 활용하고; 상기 차량을 둘러싼 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치에 대한 경로의 적어도 일부를 계산하고; 및 결정된 경로 및 상기 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터에 기초하여 상기 차량을 자동으로 운행하기 위한 적어도 하나의 명령을 제공하도록 구성된 프로세서; 및
상기 프로세서에 연결되고 상기 프로세서에 지시를 제공하도록 구성된 메모리를 포함하는
시스템.
제1항에 있어서,
상기 사용자에 의해 특정 상기 타겟은 사용자의 모바일 장치의 동적으로 업데이트된 현재 위치인
시스템.
제1항 또는 제2항에 있어서,
상기 지리적 위치는 상기 사용자의 모바일 장치에 의해 검출된 글로벌 포지셔닝 시스템 위치에 기초하는
시스템.
제1항에 있어서,
상기 사용자가 지정한 타겟은 상기 차량의 타겟 방향을 나타내는
시스템.
제1항에 있어서,
상기 타겟은 상기 사용자에 의해 지도 상에 지정되는
시스템.
제1항에 있어서,
상기 사용자는 상기 타겟을 지정하기 위해 상기 사용자에 의해 활용된 장치의 검출된 위치로부터 임계 거리 내의 제한된 지리적 영역 내에서 타겟을 선택하는
시스템.
제1항에 있어서,
상기 사용자는 상기 차량의 현재 위치와 연관된 제한된 지리적 영역 내에서 상기 타겟을 선택하는
시스템.
제1항에 있어서,
상기 사용자가 상기 타겟을 지정하는 능력은 상기 사용자의 장치의 위치가 상기 차량의 현재 위치로부터 임계 거리 내에 있다는 결정에 기초하여 활성화되는
시스템.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 차량의 자동 운행은 상기 사용자의 장치로부터 심장박동 신호가 수신되지 않았다는 결정에 응답하여 중단되는
시스템.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 차량의 자동 운행은 초음파 센서를 이용한 장애물 검출에 응답하여 일시 정지되는
시스템.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 자동 운행 동안의 상기 차량의 속도는 특정 제한 이하로 제한되는
시스템.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 타겟 위치는 주기적으로 업데이트되는 상기 사용자 장치의 지리적 위치에 기초하여 동적으로 업데이트되는
시스템.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 차량의 하나 이상의 센서는 복수의 카메라를 포함하는
시스템.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 환경의 적어도 일부의 표현은: 초음파 센서 또는 레이더 센서 중 하나 이상을 사용하여 획득된 보조 센서 데이터를 사용하여 생성되는
시스템.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 프로세서는 상기 사용자에 의해 특정 타겟과 연관된 특정 타겟 시간을 수신하도록 추가로 구성되는
시스템.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 차량을 둘러싼 상기 환경의 적어도 일부의 표현은 상기 환경의 일부의 3차원 표현을 포함하는
시스템.
제1항 내지 제16항 중 어느 한 항에 있어서,
상기 타겟 위치는 상기 특정 타겟의 지리적 위치가 상기 차량이 점유할 유효한 위치인지 여부를 결정하는 것을 포함하여 결정되는
시스템.
제1항 내지 제17항 중 어느 한 항에 있어서,
상기 타겟 위치는 상기 하나 이상의 센서로부터의 센서 데이터에 기초하여 결정되는
시스템.
방법에 있어서,
차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 관련된 지리적 위치의 식별 정보를 수신하는 단계;
상기 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 상기 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하기 위해 신경망을 활용하는 단계;
상기 차량을 둘러싼 상기 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치에 대한 경로의 적어도 일부를 계산하는 단계; 및
결정된 경로 및 상기 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터에 기초하여 상기 차량을 자동으로 운행하기 위한 적어도 하나의 명령을 제공하는 단계를 포함하는
방법.
컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은
비일시적 컴퓨터 판독 가능 저장 매체에 구현되고 및
차량에서 멀리 떨어진 사용자에 의해 특정 타겟과 관련된 지리적 위치의 식별 정보를 수신하고;
상기 차량의 하나 이상의 센서로부터의 센서 데이터를 사용하여 상기 차량을 둘러싼 환경의 적어도 일부의 표현을 생성하기 위해 신경망을 활용하고;
상기 차량을 둘러싼 상기 환경의 적어도 일부의 생성된 표현을 사용하여 수신된 지리적 위치에 대응하는 타겟 위치에 대한 경로의 적어도 일부를 계산하고; 및
결정된 경로 및 상기 차량의 하나 이상의 센서의 적어도 일부로부터의 업데이트된 센서 데이터에 기초하여 상기 차량을 자동으로 운행하기 위한 적어도 하나의 명령을 제공하기 위한 컴퓨터 지시를 포함하는
컴퓨터 프로그램.