KR20210042169A - 자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템 및 방법 - Google Patents

자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210042169A
KR20210042169A KR1020217009525A KR20217009525A KR20210042169A KR 20210042169 A KR20210042169 A KR 20210042169A KR 1020217009525 A KR1020217009525 A KR 1020217009525A KR 20217009525 A KR20217009525 A KR 20217009525A KR 20210042169 A KR20210042169 A KR 20210042169A
Authority
KR
South Korea
Prior art keywords
vehicle
visualization
representation
graphic elements
physical environment
Prior art date
Application number
KR1020217009525A
Other languages
English (en)
Inventor
한 한 수에
지시 구오
캐서린 마리사 딜
요한 울리크 르윈 예센
오드리 리우
올레그 바딤 파니체프
로버트 얼 라스무손
Original Assignee
리프트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리프트, 인크. filed Critical 리프트, 인크.
Publication of KR20210042169A publication Critical patent/KR20210042169A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시되는 컴퓨터 구현 방법은 차량 환경 인식을 디스플레이하는 단계를 포함할 수 있다. 일부 실시예에서, 시각화 시스템은 모바일 장치 및/또는 차량에 내장된 장치를 통하여 차량의 물리적 환경의 추상적 표현을 디스플레이할 수 있다. 예를 들어, 시각화는 환경을 표현하기 위해 복셀 그리드를 사용할 수 있고 차량의 센서가 형상에 의해 표현되는 공간을 점유하고 있음을 감지할 때 그 시각적 현저함을 증가시키기 위해 그리드의 형상의 특성을 변경할 수 있다. 일부 실시예에서, 시각화는 완화 파장 효과를 생성하기 위해 그리드의 형상의 시각적 현저함을 점진적으로 증가 및 감소시킬 수 있다. 다양한 다른 방법, 시스템 및 컴퓨터 판독 가능한 매체도 개시된다.

Description

자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템 및 방법
운송 요청자에게 온디맨드 운송을 제공하는 동적 운송 네트워크는 동적 운송 네트워크에 참여하는 인간 운전자에 의해 운용되는 차량뿐만 아니라 자율 주행 차량도 포함할 수 있다. 자율 주행 차량은 안전하고 효율적으로 운송 요청자에게 운송을 제공할 수 있지만, 자율 주행 차량의 기능과 환경 인식은 자율 주행 차량에 탑승한 요청자에게 불투명할 수 있다. 따라서, 그래픽 인터페이스는 요청자에게 자율 주행 차량의 환경 인식을 보여주기 위하여 그 환경 내에서 탐색하는 자율 주행 차량의 표현을 제공하여, 자율 주행 차량의 요청자 신뢰를 높일 수 있다.
하지만, 자율 주행 차량 센서 데이터의 높은 충실도의 표현을 제공하려는 시도는 인간의 인지로 잘 번역되지 않는다. 일부 예시에서, 자율 주행 차량으로부터의 미가공 센서 데이터는 스스로 정확한 시각화를 생성하도록 도움이 되는 방식으로 포맷되지 않을 수 있다. 예를 들어, 미가공 데이터의 직접 번역은 예측하지 못하게 객체가 지터로 보이도록 야기할 수 있다. 일부 예시에서, 미가공 센서 데이터의 표현을 정확하게 만들려 시도하는 시각화 시스템은 위험하지 않은 객체를 부정확하게 다른 차량으로 만들어, 긴박한 충돌의 외관을 만들 수 있다. 따라서, 본 명세서는 자율 주행 차량의 환경 인식을 디스플레이하기 위한 추가적이고 향상된 시스템 및 방법의 필요를 인식하고 다룬다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
첨부되는 도면은 다수의 예시적 실시예를 도시하고 본 명세서의 일부이다. 다음 설명과 함께, 이들 도면은 본 명세서의 다양한 원리를 보여주고 설명한다.
도 1은 자율 주행 차량과 그 주위 환경을 수반하는 예시적인 시나리오뿐만 아니라 그 시나리오의 예시적인 디스플레이 표현을 도시한다.
도 2는 문맥에서 자율 주행 차량의 표현의 예시의 도시이다.
도 3은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다.
도 4는 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다.
도 5a, 5b 및 5c는 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다.
도 6은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다.
도 7은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다.
도 8은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다.
도 9는 자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템의 예시의 블록도이다.
도 10은 자율 주행 차량 환경 인식을 디스플레이하기 위한 방법의 예시의 흐름도이다.
도 11은 요청자/제공자 관리 환경의 예시의 도시이다.
도 12는 데이터 수집 및 적용 관리 시스템의 예시의 도시이다.
도면을 통틀어, 동일한 참조 부호와 설명은 유사하지만, 반드시 동일하지는 않은 요소를 가리킨다. 본 명세서에 서술되는 실시예의 예시가 다양한 수정 및 대안적 형태를 허용할 수 있지만, 특정한 실시예가 도면에 예시의 방식으로 도시되었으며 본 명세서에 자세히 서술될 것이다. 하지만, 본 명세서에 서술된 예시적인 실시예는 개시된 특정한 형태로 제한되는 의도가 아니다. 오히려, 본 명세서는 첨부되는 청구범위 내에 속하는 모든 수정, 균등물 및 대안을 포함한다.
본 명세서는 일반적으로 차량 자체의 표현, 차량의 물리적 환경 및/또는 차량의 센서에 의해 감지된 근처의 객체를 포함하는 디스플레이를 차량에 의해 운송되는 승객에게 제공함으로써 차량 환경 인식을 디스플레이하는 것에 관련된다. 일부 예시에서, 차량은 운전자를 돕기 위해 환경 센서가 구비된 비자율 주행 차량일 수 있다. 다른 예시에서, 차량은 부분적 또는 완전히 자율 주행이며 환경 센서로부터의 데이터에 적어도 부분적으로 기반하여 탐색할 수 있다. 일부 예시에서, 자율 주행 차량에 의해 운송되는 사용자는 차량의 안전 및/또는 기능의 높은 수준의 이해를 가지지 않을 수 있다. 차량으로부터의 센서 데이터를 사용자에게 디스플레이하는 것은 사용자로 하여금 차량이 주변 환경을 인식하고 있고 사용자를 그 목적지로 안전하게 운송할 수 있음을 이해하도록 도울 수 있다. 하지만, 자율 주행 차량으로부터의 센서 데이터는 실시간 시각화를 생성하기에 불완전하고 및/또는 잘 포맷되지 않을 수 있다. 예를 들어, 데이터는 정확한 시각화를 효율적으로 생성하기에 좋은 방식으로 처리, 정규화 및/또는 무해화되지 않을 수 있다. 일부 경우에, 자율 주행 차량 벤더는 의미 있는 데이터를 제공할 수 없거나 꺼릴 수 있다. 예를 들어, 자율 주행 차량은 하나 이상의 기계 학습 모델의 출력인 데이터를 제공할 수 있고 따라서 기계 학습 문맥에서 자율 주행 차량 의사 결정에 의미론적으로 유용하지만 시각화를 생성하기에 덜 의미론적으로 유용하다. 다른 예시에서, 데이터는 다른 단계에서 처리될 수 있고 시각화 시스템은 완전히 처리된 데이터를 수신하지 않을 수 있다. 일부 경우에, 자율 주행 차량 벤더는 아주 많은 양의 미가공 데이터를 제공하여, 잠재적으로 미가공 데이터의 일부만 필요로 하는 시각화 시스템의 처리 용량의 과부하를 줄 수 있다.
자율 주행 차량에 의해 사용되는 환경 데이터를 시각화에 유용한 데이터로 변환하는 상술한 어려움 중 하나 이상으로 인해, 시각적 이상이 시각화 인터페이스에 나타날 수 있다. 예를 들어, 자율 주행 차량이 자율 주행 차량을 떠서 지나가는 양성의 객체(예컨대 비닐 봉지)를 올바르게 무시할 수 있는 반면, 대응하는 표시 인터페이스는 양성 객체를 자율 주행 차량과 충돌할 것으로 여겨지는 다른 차량으로 잘못 만들 수 있다. 다른 예시에서, 시각화는 다른 차량을 실제의 다른 차량보다 자율 주행 차량과 훨씬 가까운 것으로 디스플레이하여, 충돌이 더 일어날 것 같이 나타나게 할 수 있다. 일부 예시에서, 미가공 센서 데이터 및/또는 부분적으로 처리된 센서 데이터의 직접 표시는 주변 환경 요소(다른 차량과 같은)를 예측하지 못하게 지터로 야기하여, 잠재적으로 긴박한 충돌의 외관을 야기할 수 있다. 긴박한 충돌의 외관이 사용자에게 자율 주행 차량의 센서가 현재 무엇을 인지하고 있고 자율 주행 차량의 인지와 행동 간의 연결에 대하여 혼동을 줄 수 있기 때문에 이러한 부정확함은 의도된 효과의 반대를 가질 수 있다. 차량의 주변의 낮은 충실도 버전을 디스플레이하는 것은 사용자에게 사용자를 방해할 수 있는 시각화의 재앙적 오류의 가능성을 만들지 않으며 차량이 사용 가능한 데이터의 사용자의 이해를 높이기에 충분한 정보를 전달할 수 있다.
따라서, 이해될 수 있는 바와 같이, 본 명세서에 서술되는 시스템 및 방법은 자율 주행 차량을 통한 운송을 용이하게 하는 컴퓨터의 기능을 향상시킬 수 있다. 일부 실시예에서, 컴퓨터는 자율 주행 차량의 일부일 수 있다. 추가적으로 또는 대안적으로, 컴퓨터는 모바일 장치일 수 있다. 예를 들어, 이들 시스템 및 방법은 컴퓨터와 자율 주행 차량 모두를 사용 중인 사용자의 사용자 경험을 개선함으로써 컴퓨터의 기능을 개선할 수 있다. 나아가, 상술하고 아래에 더 자세히 논의되는 이유로, 본 명세서에 서술되는 시스템 및 방법은 사용자가 기꺼이 자율 주행 차량에 의해 운송될 마음을 높임으로써 동적 운송 관리 및/또는 운송 분야에 이점을 제공할 수 있다. 나아가, 이들 시스템 및 방법은 동적 운송 네트워크의 일부로 동작하는 자율 주행 차량에 이점을 제공할 수 있다. 예를 들어, 자율 주행 차량은 사용자에 의해 더 안전하게 평가될 수 있다.
아래 더 자세히 설명되는 바와 같이, 동적 운송 매칭 시스템은 예컨대 하나 이상의 운송 요청자 및/또는 운송 요청자 장치를 하나 이상의 운송 제공자 및/또는 운송 제공자 장치와 매칭함으로써, 온디맨드 및/또는 애드혹 기반으로 운송을 주선할 수 있다. 예를 들어, 동적 운송 매칭 시스템은 운송 요청자를 동적 운송 네트워크 내에서 운용하는(운송 요청자에게 운송을 제공하기 위하여 동적 운송 매칭 시스템에 의해 관리되고, 조율되고 및/또는 끌어내지는) 운송 제공자에게 매칭할 수 있다.
일부 예시에서, 동적 운송 네트워크 내에서 사용 가능한 운송 소스는 소유자 및/또는 동적 운송 매칭 시스템의 운용자가 소유하는 차량을 포함할 수 있다. 추가적으로 또는 대안적으로, 동적 운송 네트워크 내의 운송 소스는 동적 운송 네트워크 외부에서 소유되지만 계약에 의해 동적 운송 네트워크 내에 참여하는 차량을 포함할 수 있다. 일부 예시에서, 동적 운송 네트워크는 도로 주행 차량(예컨대, 자동차, 경트럭 등)을 포함할 수 있다. 나아가, 동적 운송 네트워크는 개인 이동 수단을 포함할 수 있다. 일부 실시예에서, 동적 운송 네트워크는 인간 조작자로부터의 입력이 거의 없거나 전혀 없이 동작할 수 있는 자율 주행 차량(예컨대, 스스로 운전되는 차량)을 포함할 수 있다. 일부 예시에서, 운송 요청자는 운송 요청자가 친숙하지 않고 운송 요청자가 낮은 수준의 이해를 가질 수 있는 자율 주행 차량과 매칭되고 및/또는 운송될 수 있다.
도 1은 자율 주행 차량과 그 주위 환경을 수반하는 예시적인 시나리오뿐만 아니라 그 시나리오의 예시적인 디스플레이 표현을 도시한다. 일부 예시에서, 자율 주행 차량 내부의 디스플레이(예컨대, 스크린)는 자율 주행 차량 주위의 환경의 렌더링을 디스플레이할 수 있다. 예를 들어, 디스플레이되는 시나리오(102)는 디스플레이되는 자율 주행 차량(106)뿐만 아니라 디스플레이되는 자율 주행 차량(106) 주변도 보여줄 수 있다. 일부 예시에서, 자율 주행 차량은 객체가 차량 앞에 있음을 감지할 수 있고 컴퓨팅 시스템은 객체의 타입을 결정하기 위하여 센서 데이터를 해석하려 시도할 수 있다. 일례로, 컴퓨팅 시스템은 디스플레이되는 객체(104)를 디스플레이할 수 있는데, 자율 주행 차량과 충돌할 것으로 보이는 버스일 수 있다. 실제에서, 시각화 시스템은 실제 시나리오(112)를 부정확하게 해석할 수 있는데, 실제 자율 주행 차량(110)은 실제 객체(114), 예컨대 도로의 비닐 봉지를 무해하게 칠 수 있다. 사용자에게 위험한 상황으로 보이는 것을 디스플레이함으로써, 시각화는 사용자를 당황하게 하고 및/또는 자율 주행 차량이 정확하게 그 주변을 인지하고 및/또는 안전하고 효과적으로 행동할 수 있는지 여부에 대해 사용자의 이해를 낮출 수 있다. 예를 들어, 만약 자율 주행 차량이 객체를 올바르게 무해한 것으로(시각화 오류에도 불구하고) 식별하고 계속하여 직진한다면, 사용자는 자율 주행 차량이 다가오는 버스로 보이는 무엇인가로 계속 직진했음을 걱정할 수 있고 그 결과 사용자는 자율 주행 차량이 실제 버스와의 충돌을 피하는데 실패했다고 예상할 수 있다. 나아가, 자율 주행 차량 주위의 객체의 높은 충실도의 렌더링은 조마조마할 수 있고(예컨대, 부드럽게가 아닌 갑작스런 증가분으로 이동하는 객체를 보여줌) 실제 또는 자율 주행 차량이 의사 결정하는데 사용되는 데이터를 정확하게 반영하지 않을 수 있어, 사용자 경험을 악화시킬 수 있다.
도 2는 문맥에서 자율 주행 차량의 표현의 예시의 도시이다. 도 2에 도시된 바와 같이, 자율 주행 차량(202)은 객체(206), 예컨대 다른 차량과 마주칠 수 있다. 일부 예시에서, 자율 주행 차량(202) 내부의 장치(210)는 자율 주행 차량의 표현, 예컨대 차량 표현(208) 및/또는 객체의 추상화된 표현, 예컨대 객체 표현(204)을 디스플레이할 수 있다. 일부 실시예에서, 장치(210)는 자율 주행 차량(202)에 의해 운송되는 운송 요청자와 연관된 장치로, 예로서 제한 없이 스마트폰, 랩탑 또는 태블릿일 수 있다. 추가적으로 또는 대안적으로, 장치(210)는 자율 주행 차량(202)과 연관된 장치, 예컨대 자율 주행 차량(202) 내에 및/또는 함께 남아있을 것으로 예상되는 모바일 장치(예컨대, 자율 주행 차량(202)을 관리하는 동적 운송 매칭 시스템에 의해 자율 주행 차량(202)에 할당된 태블릿) 및/또는 자율 주행 차량(202)에 매립되거나 다른 방식으로 고정된 스크린일 수 있다. 더 자세히 후술되는 바와 같이, 일부 실시예에서, 장치(210) 상에 디스플레이되는 환경 및/또는 객체의 표현은 자율 주행 차량(202)으로부터 수신한 센서 데이터의 낮은 충실도이고, 매끈하게 되고, 및/또는 다른 방식으로 추상화된 버전일 수 있다. 자율 주행 차량(202)으로부터 수신한 센서 데이터의 낮은 충실도의 버전을 자율 주행 차량(202)에 의해 운송되는 운송 요청자에게 디스플레이함으로써, 본 명세서에 서술되는 시스템은 자율 주행 차량(202)에 사용 가능한 센서 데이터의 사용자 이해를 향상시키고 따라서 사용자 경험을 향상시킬 수 있다.
도 3은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다. 도 3에 도시된 바와 같이, 환경 표현(304)은 형상의 그리드(예컨대, 복셀 그리드)를 통해 자율 주행 차량 주변의 물리적 환경을 추상적으로 표현할 수 있다. 일부 실시예에서, 그리드는 2차원 그리드일 수 있다. 추가적으로 또는 대안적으로, 그리드는 3차원 그리드일 수 있다. 일실시예에서, 형상은 구일 수 있다. 일부 실시예에서, 근처의 객체가 물리적 환경에 존재하지 않는다면 형상은 균일한 크기, 색상 및/또는 상대적 위치일 수 있다. 일부 실시예에서, 형상은 상이한 크기, 색상 및/또는 물리적 위치를 가져 시청자에게 원근감을 줄 수 있다. 예를 들어, 자율 주행 차량 및/또는 카메라 시야각에서 더 먼 형상은 기본으로 더 작을 수 있다. 일부 예시에서, 환경의 표현 내부(자율 주행 차량 근처) 및/또는 환경의 표현 외부(자율 주행 차량에서 멀리 떨어진)의 형상은 더 낮은 강도(예컨대, 색상, 크기 등)의 특성을 가져 객체가 환경 표현에 진입 또는 진출함에 따라 갑작스런 출현을 감소시킬 수 있다.
일부 실시예에서, 표현이 자율 주행 차량의 표현, 예컨대 자율 주행 차량 표현(302)을 포함하여, 시각적 참조점의 역할을 할 수 있다. 일부 예시에서, 자율 주행 차량의 표현은 시각적으로 정적일 수 있다. 다른 예시에서, 자율 주행 차량의 표현은 차량의 변화, 예컨대 브레이크등 및/또는 방향 표시등 활성을 표현하기 위해 변경될 수 있다.
일부 실시예에서, 물리적 환경의 표현은 자율 주행 차량의 표현으로부터 특정 거리에서 시작할 수 있다. 일부 예시에서, 차량의 표현에서 기결정된 반경 떨어진 물리적 환경의 표현의 시작은 차량이 객체에 둘러싸이는 외관을 감소시킴으로써 시각화의 사용자 편의 및/또는 능력을 높일 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 물리적 환경의 표현은 자율 주행 차량의 표현에서 특정 거리 떨어져 끝날 수 있다. 예를 들어, 시각화는 자율 주행 차량 외부의 1피트 반경에서 시작하고 자율 주행 차량 외부의 20피트 반경에서 끝나는 원환체로 물리적 환경의 표현을 디스플레이할 수 있다. 일부 실시예에서, 물리적 환경의 표현은 특정 높이에만 객체를 디스플레이할 수 있다. 예를 들어, 물리적 환경의 표현은 자율 주행 차량의 높이, 표준 트레일러 트럭의 높이 및/또는 표준 신호등의 높이 이하의 공간을 점유하는 객체를 포함할 수 있다. 일례로, 물리적 환경의 표현은 자율 주행 차량이 아래로 통과하는 다리가 시각화에 표현되는 물리적 환경의 수평 반경 내에 있더라도 다리의 표현을 디스플레이하지 않을 수 있다. 특정 높이 위의 공간만 점유하는 객체의 표현을 생략함으로써, 시각화는 시청자에게 자율 주행 차량이 실제로는 안전하게 아래로 통과할 객체와 충돌할 것 같은 인상을 주는 것을 피할 수 있다.
도 4는 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다. 일부 예시에서, 본 명세서에 서술되는 시스템은 자율 주행 차량 표현(402) 주위의 환경 표현(404) 내에 자율 주행 차량의 센서에 의해 감지된 객체의 객체 표현(406)을 디스플레이할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 실제 차량과 관련된 실제 객체의 위치에 기반하여 자율 주행 차량 표현(402)과 관련하여 객체 표현(406)을 디스플레이할 수 있다.
일부 실시예에서, 본 명세서에 서술되는 시스템은 물리적 환경을 표현하는 그리드의 크기, 색상 및/또는 위치를 변경함으로써 객체 표현(406)을 디스플레이할 수 있다. 예를 들어, 본 명세서에 서술되는 시스템은 형상에 의해 표현되는 위치를 객체가 점유한다고 표현하기 위해 형상의 크기를 증가시킬 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 형상의 위치(예컨대, 수평 그리드 위로 형상을 수직으로 이동시킴으로써) 및/또는 형상의 색상(예컨대, 형상을 보라에서 분홍으로 음영을 넣음으로써)을 변경할 수 있다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 객체가 형상에 의해 표현되는 공간을 점유하는 동안 형상을 점진적으로 변경할 수 있다. 예를 들어, 객체가 형상에 의해 표현되는 공간 내에 0.5초 동안 있다면, 본 명세서에 서술되는 시스템은 형상의 크기를 10퍼센트 증가시킬 수 있다. 객체가 형상에 의해 표현되는 공간 내에 추가 0.5초 동안 남아있다면, 본 명세서에 서술되는 시스템은 형상의 크기를 추가 10%만큼 증가시킬 수 있다. 유사하게, 본 명세서에 서술되는 시스템은 객체가 형상에 의해 표현되는 공간을 계속 점유함에 따라 형상의 색상 및/또는 위치를 점진적으로 변경할 수 있다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 기결정된 임계치, 예컨대 형상의 원래 크기의 200%, 그리드 위의 설정 높이 및/또는 특정 색상에 도달할 때까지 형상을 계속 점진적으로 수정할 수 있는다. 일부 예시에서, 본 명세서에 서술되는 시스템은 객체가 형상에 의해 표현되는 형상을 떠난 뒤 그 원래 설정으로 형상을 점진적으로 복귀시킬 수 있다. 일부 실시예에서, 각 형상에 의해 표현되는 공간은 형상 주위의 기결정된 반경, 예컨대 반경(408) 및/또는 반경(410)을 포함할 수 있다. 일례로, 그리드 내의 각 구는 자신과 인접 구 사이의 거리의 절반과 동일한 반경의 공간을 표현할 수 있다. 다른 예시에서, 형상은 중첩된 공간을 표현할 수 있다.
도 5a, 5b 및 5c는 객체가 차량 주위의 공간을 이동함에 따른 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다. 일례로, 본 명세서에 서술되는 시스템은 자율 주행 차량 표현(502) 주위의 환경 표현(504)을 디스플레이할 수 있다. 일례로, 객체가 차량 주위의 공간에 진입함에 따라, 본 명세서에 서술되는 시스템은 환경 표현(504)을 이루는 그리드의 모서리에서 형상의 특성을 변경함으로써 객체 표현(506(a))을 디스플레이할 수 있다. 객체가 차량과 함께 이동함에 따라, 본 명세서에 서술되는 시스템은 객체에 의해 현재 점유되는 공간을 표현하는 형상을 변경하며 그리드의 모서리에서 형상을 원래 특성으로 복귀시킴으로써 객체 표현(506(b))을 디스플레이할 수 있다. 객체가 차량에서 멀어져 이동함에 따라, 본 명세서에 서술되는 시스템은 객체 표현(506(c))을 디스플레이할 수 있다. 일부 예시에서, 객체가 이동함에 따라 그리드의 구의 크기, 색상 및/또는 위치를 점진적으로 변경함으로써, 본 명세서에 서술되는 시스템은 때때로 센서 데이터로부터의 직접 시각화 재생성의 부산물인 지터 없이 객체의 이동(및/또는 객체에 대한 차량의 이동)을 부드럽게 디스플레이하는 평활 및/또는 파장 유사 효과를 생성할 수 있다.
도 6은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다. 일부 실시예에서, 자율 주행 차량으로부터 수신한 센서 데이터의 중단이 발생하면, 본 명세서에 서술된 시스템은 중단을 반영하기 위해 시각화를 업데이트할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 본 명세서에 서술되는 시스템은 자율 주행 차량 표현(602)을 계속 정상으로 디스플레이하지만 환경 표현(604)을 변경할 수 있다. 일례로, 본 명세서에 서술되는 시스템은 예컨대 형상 전부를 회색으로 바꿈으로써 환경 표현(604)을 이루는 형상의 색상을 변경할 수 있다. 다른 예시에서, 본 명세서에 서술되는 시스템은 예컨대 형상을 축소시킴으로써 형상의 크기를 변경할 수 있다. 다른 예시에서, 본 명세서에 서술되는 시스템은 시각화로부터 물리적 환경의 표현을 전체적으로 제거할 수 있다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 사용자에게 시각화 내의 및/또는 대역 외의 텍스트 메시지를 통해 시각화로의 센서 데이터의 일시적 중단이 있음을 통지할 수 있다.
일부 실시예에서, 본 명세서에 서술되는 시스템은 인간 조작자가 자율 주행 차량의 조종을 개시했음을 반영하기 위해 시각화를 변경할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 물리적 환경의 표현의 디스플레이를 변경 및/또는 정지할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 자율 주행 차량의 예측된 행동의 하나 이상의 표현의 디스플레이를 정지할 수 있다. 예를 들어, 본 명세서에 서술되는 시스템은 자율 주행 차량으로부터 수신한 데이터(예컨대, 가속, 감속, 조향 및/또는 내비게이션 시스템 데이터)에 기반하여 자율 주행 차량의 예측된 경로를 계산할 수 있고 시각화에 예측된 경로를 디스플레이할 수 있다. 일부 실시예에서, 인간 조작자가 자율 주행 차량의 조종을 개시할 때, 본 명세서에 서술되는 시스템은 차량의 예측된 경로의 디스플레이를 중지할 수 있다.
도 7은 자율 주행 차량, 자율 주행 차량 주위의 물리적 환경의 표현 및 추가 데이터의 예시의 도시이다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 자율 주행 차량 표현(702) 및/또는 환경 표현(704)과 함께 추가 데이터(708)를 디스플레이할 수 있다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 시각화 내에 차량의 현재 속도, 차량의 현재 연비, 이번 운행에 이동한 거리, 이번 운행에 남은 거리 및/또는 갈아타는 곳에서 및/또는 곳까지의 거리를 포함하나 이에 제한되지 않는 추가 데이터를 디스플레이할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 자율 주행 차량이 마주치는 교통 제어 장치, 예컨대 신호등, 정지 신호, 양보 신호 및/또는 다른 표지판을 나타내는 아이콘 및/또는 텍스트를 디스플레이할 수 있다. 일실시예에서, 본 명세서에 서술되는 시스템은 자율 주행 차량으로부터 수신한 데이터에 기반하여 자율 주행 차량의 예측된 경로를 계산할 수 있고 시각화의 일부로 예측된 경로(706)를 디스플레이할 수 있다. 일실시예로, 예측된 경로(706)의 디스플레이는 자율 주행 차량으로부터 수신한 데이터에 기반하여 예측된 경로(706)의 정확도의 신뢰도에 기반하여 변할 수 있다. 일부 실시예에서, 예측된 경로(706)는 자율 주행 차량이 이동 중일 때 불투명하고 자율 주행 차량이 이동 중이지 않을 때 투명할 수 있고 및/또는 자율 주행 차량의 속도에 기반하여 투명도가 변할 수 있다. 일부 예시에서, 자율 주행 차량이 급격하게 방향을 바꿀 것으로 예상되고 및/또는 현재 급격하게 방향을 바꾸고 있다면, 예측된 경로(706)는 실선이 아닌 점선으로 보여질 수 있다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 장래 기간의 차량의 궤적 및/또는 차량의 목적지에 대한 정보로의 액세스를 가지는 경로 표시자를 표시하는 자율 주행 경로 계획기로부터 수집한 데이터에 기반하여 예측된 경로(706)를 생성할 수 있다.
도 8은 자율 주행 차량 및 자율 주행 차량 주위의 물리적 환경의 표현의 예시의 도시이다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 객체가 환경의 표현의 외부이더라도 시각화에 객체의 표현을 보여줄 수 있다. 예를 들어, 본 명세서에 서술되는 시스템은 자율 주행 차량 표현(802) 주위의 환경 표현(804)에 의해 표현되는 공간 외부의 공간을 점유하는 객체를 표현하는 객체 표현(806)이더라도 객체 표현(806)을 디스플레이할 수 있다. 일부 실시예에서, 본 명세서에 서술되는 시스템은 특별한 상황, 예컨대 객체가 특정 크기 위 및/또는 아래이고, 특정 속도로 이동하고 및/또는 다른 방식으로 관심 객체로 표시된다면(예컨대, 자율 주행 차량의 센서에 의하여) 하에서 환경의 표현 외부의 객체만 디스플레이할 수 있다. 다른 실시예에서, 본 명세서에 서술되는 시스템은 객체가 물리적 환경의 표현에 의해 포함되는 반경 내에 있는지 여부와 상관 없이 자율 주행 차량의 센서에 의해 감지된 임의의 객체를 디스플레이할 수 있다.
일부 실시예에서, 본 명세서에 서술되는 시스템은 자율 주행 차량에 의해 운송되는 운송 요청자에게 디스플레이가 아닌 수단을 통해 자율 주행 차량 및/또는 자율 주행 차량의 주변 환경에 대한 정보를 제공할 수 있다. 예를 들어, 본 명세서에 서술되는 시스템은 물리적 환경의 근처 객체의 존재 및/또는 위치를 표시하기 위해 햅틱 피드백(예컨대, 진동)을 제공할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 근처 객체에 대한 오디오 정보를 제공할 수 있다. 예를 들어, 본 명세서에 서술되는 시스템은 객체가 자율 주행 차량의 센서에 의해 감지되었음을 표시하기 위해 신호음을 재생할 수 있다. 일실시예에서, 본 명세서에 서술되는 시스템은 객체의 위치에 대응하는 스피커로부터(예컨대, 객체가 차량 뒤에 있다면 후방 스피커로부터) 신호음을 재생할 수 있다.
도 9는 운송 요청자를 개인 이동 수단을 포함하는 동적 운송 네트워크와 매칭하기 위한 시스템(900)의 예시를 도시한다. 도 9에 도시된 바와 같이, 동적 운송 매칭 시스템(910)은 본 명세서에 서술되는 단계 중 하나 이상을 수행할 수 있는 하나 이상의 동적 운송 매칭 모듈(912)로 구성될 수 있다. 동적 운송 매칭 시스템(910)은 운송 요청자를 매칭할 수 있는 임의의 컴퓨팅 시스템 및/또는 컴퓨팅 시스템의 세트를 나타낼 수 있다. 동적 운송 매칭 시스템(910)은 차량(920)의 그룹 각각의 컴퓨팅 장치와 통신할 수 있다. 차량(920)은 운송 요청을 이행할 수 있는 임의의 차량을 나타낼 수 있다. 일부 예시에서, 차량(920)은 다른 차량 타입 및/또는 모델을 포함할 수 있다. 예를 들어, 차량(920)은 도로 주행 차량과 개인 이동 수단을 포함할 수 있다. 일부 예시에서, 차량(920) 중 일부는 표준 상업용 차량일 수 있다. 일부 예시에 따르면, 차량(920) 중 일부는 별개의 개인(예컨대, 운송 제공자)에 의해 소유될 수 있다. 나아가, 일부 예시에서 차량(920) 중 다수 또는 전부가 인간이 조작할 수 있지만, 일부 예시에서 차량(920) 중 다수는 자율 주행(또는 부분적으로 자율 주행)일 수도 있다. 따라서, 본 명세서를 통틀어, "운송 제공자"(또는 "제공자")의 지칭은 적절한 경우, 인간이 운전하는 차량의 조작자, 자율 주행 차량 제어 시스템, 자율 주행 차량, 자율 주행 차량의 소유자, 자율 주행 차량의 조작자, 자율 주행 차량의 승무원, 요청자에 의해 조종되는 차량 및/또는 차량을 조종하기 위한 자율 주행 시스템을 지칭할 수 있다. 도 2가 차량(920)의 수를 명시하지 않았지만, 본 명세서에 서술되는 시스템은 차량 수백 대, 수천 대 또는 그 이상에 적용 가능함이 이해될 것이다. 일례로, 동적 운송 매칭 시스템(910)은 주어진 날에 단일 영역 내에서 50,000대 이상의 차량의 운송 매칭을 조정할 수 있다. 일부 예시에서, 차량(920)은 운송 요청자에게 온디맨드 기반으로 운송 공급을 제공할 수 있는 동적 운송 네트워크를 집합적으로 형성할 수 있다.
상술한 바와 같이, 동적 운송 매칭 시스템(910)은 차량(920) 각각의 컴퓨팅 장치와 통신할 수 있다. 컴퓨팅 장치는 임의의 적절한 타입의 컴퓨팅 장치일 수 있다. 일부 예시에서, 컴퓨팅 장치 중 하나 이상은 각 차량(920)에 통합될 수 있다. 일부 예시에서, 컴퓨팅 장치 중 하나 이상은 모바일 장치일 수 있다. 예를 들어, 컴퓨팅 장치 중 하나 이상은 스마트폰일 수 있다. 추가적으로 또는 대안적으로, 컴퓨팅 장치 중 하나 이상은 태블릿 컴퓨터, PDA, 또는 임의의 다른 타입이나 형태의 모바일 컴퓨팅 장치일 수 있다. 일부 예시에 따르면, 컴퓨팅 장치 중 하나 이상은 웨어러블 컴퓨팅 장치(예컨대, 운전자 웨어러블 컴퓨팅 장치), 예컨대 스마트 글래스, 스마트 워치 등을 포함할 수 있다. 일부 예시에서, 컴퓨팅 장치 중 하나 이상은 차량에 일시적으로 장착되기 적합한 장치일 수 있다(예컨대, 운송 매칭 애플리케이션, 내비게이션 애플리케이션 및/또는 요청자 및/또는 제공자의 사용을 위해 적합한 임의의 다른 애플리케이션을 위해 요청자 및/또는 제공자에 의한 사용을 위해). 추가적으로 또는 대안적으로, 컴퓨팅 장치 중 하나 이상은 차량에 설치되기 적합한 장치일 수 있고 및/또는 운송 요청자에게 운송 서비스를 제공하고 및/또는 동적 운송 매칭 시스템(910)과 통신하기 위해 운송 관리 시스템 애플리케이션이 설치된 차량의 컴퓨터일 수 있다.
도 9에 도시된 바와 같이, 차량(920)은 제공자 장치(930(1)-(n))를 포함할 수 있다(예컨대, 차량에 통합되고, 차량에 영구적으로 고정되고, 차량에 일시적으로 고정되고, 차량의 운전자에 의해 착용되는 등). 일부 예시에서, 제공자 장치(930)는 제공자 앱(940)을 포함할 수 있다. 제공자 앱(940)은 차량 조작 및/또는 운송 매칭 서비스 제공에 관한 하나 이상의 서비스를 제공할 수 있는 임의의 애플리케이션, 프로그램 및/또는 모듈을 나타낼 수 있다. 예를 들어, 제공자 앱(940)은 제공자를 위한 운송 매칭 애플리케이션을 포함할 수 있다. 일부 예시에서, 제공자 애플리케이션(940)은 동적 운송 매칭 시스템(910)과의 통신을 통해 제공자 앱(940)의 사용자(예컨대, 운송 제공자)를 운송 요청자와 매칭할 수 있다. 나아가, 더 자세히 후술되는 바와 같이 제공자 앱(940)은 동적 운송 관리 시스템(910)에 제공자에 대한 정보(예컨대, 제공자의 현재 위치를 포함하여)를 제공하여 동적 운송 관리 시스템(910)이 제공자 및/또는 하나 이상의 요청자를 위한 동적 운송 매칭 및/또는 관리 서비스를 제공할 수 있게 할 수 있다. 일부 예시에서, 제공자 앱(940)은 요청자와 제공자 간의 통신 및/또는 지불을 조정할 수 있다. 일부 실시예에 따르면, 제공자 앱(940)은 지도 서비스, 내비게이션 서비스, 교통 통지 서비스 및/또는 지리적 위치 서비스를 제공할 수 있다.
나아가, 도 9에 도시된 바와 같이, 동적 운송 매칭 시스템(910)은 요청자 장치(950(1)-(m))와 통신할 수 있다. 일부 예시에서, 요청자 장치(950)는 요청자 앱(960)을 포함할 수 있다. 요청자 앱(960)은 운송 매칭 서비스 요청에 관한 하나 이상의 서비스를 제공할 수 있는 임의의 애플리케이션, 프로그램 및/또는 모듈을 나타낼 수 있다. 예를 들어, 요청자 앱(960)은 요청자를 위한 운송 매칭 애플리케이션을 포함할 수 있다. 일부 예시에서, 요청자 앱(960)은 동적 운송 매칭 시스템(910)과의 통신을 통해 요청자 앱(960)의 사용자(예컨대, 운송 요청자)를 운송 제공자와 매칭할 수 있다. 나아가, 더 자세히 후술되는 바와 같이 요청자 앱(960)은 동적 운송 관리 시스템(910)에 요청자에 대한 정보(예컨대, 요청자의 현재 위치를 포함하여)를 제공하여 동적 운송 관리 시스템(910)이 요청자 및/또는 하나 이상의 제공자를 위한 동적 운송 매칭 서비스를 제공할 수 있게 할 수 있다. 일부 예시에서, 요청자 앱(960)은 요청자와 제공자 간의 통신 및/또는 지불을 조정할 수 있다. 일부 실시예에 따르면, 요청자 앱(960)은 지도 서비스, 내비게이션 서비스, 교통 통지 서비스 및/또는 지리적 위치 서비스를 제공할 수 있다.
본 명세서의 실시예는 동적 운송 매칭 시스템을 포함하거나 관련하여 구현될 수 있다. 운송 매칭 시스템은 예컨대 하나 이상의 운송 요청자를 하나 이상의 운송 제공자와 매칭함으로써 온디맨드 및/또는 애드혹 기반으로 운송을 주선할 수 있다. 예를 들어, 운송 매칭 시스템은 탑승 공유 서비스, 라이드소싱 서비스, 택시 서비스, 차량 예약 서비스, 자율 주행 차량 서비스, 개인 운송 수단 서비스 또는 그 임의의 조합 및/또는 파생을 위한 하나 이상의 운송 매칭 서비스를 제공할 수 있다. 운송 매칭 시스템은 운송 매칭 서비스를 구현, 지원 및/또는 향상시킬 수 있는 다양한 서브 시스템을 포함하고 및/또는 인터페이스할 수 있다. 예를 들어, 운송 매칭 시스템은 매칭 시스템(예컨대, 요청자를 탑승 기회와 매칭하고 및/또는 요청자 및/또는 제공자가 만나도록 주선하는), 지도 시스템, 내비게이션 시스템(예컨대, 제공자가 요청자에게 도달하도록 돕고, 요청자가 제공자에게 도달하도록 돕고 및/또는 제공자가 목적지에 도달하도록 돕기 위해), 평판 시스템(요청자 및/또는 제공자의 신뢰도를 평가 및/또는 측정하기 위해), 지불 시스템 및/또는 자율 주행 또는 반자율 주행 시스템을 포함할 수 있다. 운송 매칭 시스템은 요청자 소유 모바일 장치, 차량에 설치된 컴퓨팅 시스템, 요청자 소유 모바일 장치, 서버 컴퓨터 장치 또는 하나 이상의 요청자 및/또는 제공자에게 운송 매칭 서비스를 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하여 다양한 플랫폼 상에서 구현될 수 있다.
도 10은 개인 이동 수단의 할당을 결정하는 방법(1000)의 예시를 도시한다. 도 10에 도시된 바와 같이, 단계 1010에서, 본 명세서에 서술되는 시스템 중 하나 이상은 차량의 디스플레이를 통하여, 차량의 시각화를 디스플레이할 수 있는데, 시각화는 차량의 표현 및 차량의 물리적 환경의 표현을 포함할 수 있다.
일부 예시에서, 본 명세서에 서술되는 시스템은 차량 주위의 제한된 반경 내의 물리적 환경의 표현을 디스플레이함으로써 차량의 물리적 환경의 표현을 디스플레이할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 차량 주위의 기결정된 반경을 넘어 시작하는 물리적 환경의 표현을 디스플레이함으로써 차량의 물리적 환경의 표현을 디스플레이할 수 있다. 일실시예에서, 본 명세서에 서술되는 시스템은, 센서 데이터에 기반하여 차량 주위의 제한된 반경 밖의 객체의 위치를 결정할 수 있고 물리적 환경의 표현 밖의 시각화 내에 객체의 표현을 디스플레이할 수 있다.
일실시예에서, 본 명세서에 서술되는 시스템은 차량 내의 운송되는 승객과 연관된 모바일 컴퓨팅 장치에 시각화를 송신함으로써 시각화를 디스플레이할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 차량과 연관된 디스플레이 장치에 시각화를 송신함으로써 시각화를 디스플레이할 수 있다.
일실시예에서, 차량은 자율 주행 차량일 수 있다. 일부 실시예에서, 시각화 디스플레이는 자율 주행 차량의 적어도 하나의 시스템으로부터 수신한 데이터에 기반하여 자율 주행 차량의 예상된 이동 방향을 예측하는 것과 시각화 내에 예상된 이동 방향의 표현을 디스플레이하는 것을 포함할 수 있다.
단계 1020에서, 본 명세서에 서술되는 시스템 중 하나 이상은 차량의 적어도 하나의 센서로부터 물리적 환경과 연관된 센서 데이터를 수신할 수 있다.
일실시예에서, 본 명세서에 서술되는 시스템은 서드파티 소스로부터 차량의 센서에 의해 인지된 완전한 센서 데이터를 포함하지 않는 불완전한 센서 데이터를 수신함으로써 물리적 환경과 연관된 센서 데이터를 수신할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 서드파티 소스로부터 시각화를 생성하기 위해 포맷되지 않은 센서 데이터를 수신함으로써 물리적 환경과 연관된 센서 데이터를 수신할 수 있고 서드파티로부터의 시각화를 생성하기 위해 포맷되지 않은 센서 데이터로부터 관련 데이터를 추출하여 시각화를 생성할 수 있다. 일례로, 물리적 환경과 연관된 센서 데이터를 수신하는 것은 객체와 연관된 객체 바운딩 박스를 수신하는 것을 포함할 수 있다.
단계 1030에서, 본 명세서에 서술되는 시스템 중 하나 이상은 차량으로부터 수신한 센서 데이터에 기반하여, 차량에 대한 물리적 환경의 적어도 하나의 객체의 위치를 결정할 수 있다.
단계 1040에서, 본 명세서에 서술되는 시스템 중 하나 이상은 차량으로부터 수신한 센서 데이터에 센서 데이터의 정확도를 감소시키는 변환을 적용하여 시각화에 객체의 위치의 표현의 외관의 비약을 감소시키는 평활 효과를 생성할 수 있다.
단계 1050에서, 본 명세서에 서술되는 시스템 중 하나 이상은 평활 효과를 사용하여, 물리적 환경의 표현 내의 객체의 위치의 표현을 디스플레이하기 위해 시각화를 업데이트할 수 있다.
일실시예에서, 시각화는 물리적 환경을 표현하는 형상의 그리드를 포함할 수 있고, 시각화의 평활 효과를 생성하기 위해 센서 데이터의 정확도를 감소시키는 변환을 적용하는 것은 형상의 그리드 중 적어도 하나의 형상에 객체의 위치를 매핑하는 것을 포함할 수 있고, 객체의 위치의 표현을 디스플레이하기 위해 시각화를 업데이트하는 것은 객체의 위치를 표현하는 형상의 그리드 중 적어도 하나의 형상의 적어도 하나의 속성을 수정하는 것을 포함할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 객체가 차량에 대한 위치를 점유하는 시간의 길이에 적어도 부분적으로 기반하여 형상의 속성을 점진적으로 수정함으로써 형상의 속성을 수정할 수 있다.
일실시예에서, 본 명세서에 서술되는 시스템은 높은 수준의 정확도를 캡처하지 않는 물리적 환경의 낮은 충실도의 모델을 표현하기 위해 형상의 그리드를 명시함으로써 차량으로부터 수신한 센서 데이터에, 시각화의 평활 효과를 생성하기 위해 센서 데이터의 정확도를 감소시키는 변환을 적용할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 형상의 색상을 수정함으로써 객체의 위치를 나타내는 형상의 그리드의 적어도 하나의 형상의 속성을 수정할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 형상의 크기를 수정함으로써 객체의 위치를 나타내는 형상의 그리드의 적어도 하나의 형상의 속성을 수정할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 서술되는 시스템은 형상의 위치를 수정함으로써 객체의 위치를 나타내는 형상의 그리드의 적어도 하나의 형상의 속성을 수정할 수 있다.
일실시예에서, 본 명세서에 서술되는 시스템은 인간 운전자가 자율 주행 차량의 제어를 인수한 것을 감지할 수 있고 인간 운전자가 자율 주행 차량의 제어를 인수한 것을 반영하기 위해 시각화를 업데이트할 수 있다. 일부 예시에서, 본 명세서에 서술되는 시스템은 센서 데이터에 기반하여 자율 주행 차량의 행동의 예측을 표현하는 시각화 내의 적어도 하나의 요소의 디스플레이를 중지함으로써 자율 주행 차량의 제어를 인수한 것을 반영하기 위해 시각화를 업데이트할 수 있다.
도 11은 다양한 실시예에 따른 운송 관리 환경(1100)을 도시한다. 도 11에 도시된 바와 같이, 신원 관리 서비스(1104), 위치 서비스(1106), 탑승 서비스(1108) 및/또는 다른 서비스를 포함하여 하나 이상의 서비스 및/또는 소프트웨어 애플리케이션을 실행할 수 있다. 도 11가 운송 관리 시스템(1102)가 제공하는 특정한 수의 서비스를 도시하지만, 더 많거나 적은 서비스가 다양한 구현에서 제공될 수 있다. 나아가, 도 11가 이들 서비스가 운송 관리 시스템(1102)에 의해 제공되는 것으로 도시하지만, 임의의 서비스 중 전부 또는 일부는 분산 방식으로 처리될 수 있다. 예를 들어, 서비스 작업과 연관된 계산은 운송 관리 시스템(1102)(임의의 수의 서버, 데이터베이스 등을 포함하여), 제공자와 연관된 하나 이상의 장치(예컨대, 관리되는 차량(1114(a), 1114(b) 및/또는 1114(c)), 제공자 컴퓨팅 장치(1116) 및 태블릿(1120) 및 운송 관리 차량 장치(1118)) 및/또는 탑승 요청자와 연관된 하나 이상의 장치(예컨대, 요청자의 컴퓨팅 장치(1124) 및 태블릿(1122))의 조합에 의해 수행될 수 있다. 일부 실시예에서, 운송 관리 시스템(1102)은 하나 이상의 범용 컴퓨터, 서버 컴퓨터, 클러스터화 컴퓨팅 시스템, 클라우드 기반 컴퓨팅 시스템 및/또는 임의의 다른 컴퓨팅 시스템이나 컴퓨팅 시스템의 배열을 포함할 수 있다. 운송 관리 시스템(1102)은 본 명세서에 서술되는 서비스 및/또는 소프트웨어 컴포넌트 중 임의의 것 또는 전부를 실행하도록 구성될 수 있다. 일부 실시예에서, 운송 관리 시스템(1102)은 적절한 운영체제 및/또는 다양한 서버 애플리케이션, 예컨대 HTTP(hypertext transport protocol) 요청을 처리할 수 있는 웹 서버, FTP(file transfer protocol) 서버, 데이터베이스 서버 등을 포함할 수 있다.
일부 실시예에서, 신원 관리 서비스(1104)는 요청자와 제공자를 위한 인증 서비스를 수행하고 및/또는 운송 관리 시스템(1102)과의 상호작용 및/또는 데이터를 관리하도록 구성될 수 있다. 이것은 예컨대 제공자의 신원을 인증하고 운송 관리 시스템(1102)을 통해 서비스를 제공하기 위해 인증됐다고 결정하는 것을 포함할 수 있다. 유사하게, 요청자의 신원은 운송 관리 시스템(1102)을 통해 요청한 서비스를 받기 위해 인증됐는지 여부를 결정하기 위해 인증될 수 있다. 또한 신원 관리 서비스(1104)는 운송 관리 시스템(1102)가 유지하는 제공자 및/또는 요청자 데이터, 예컨대 운전 및/또는 탑승 내역, 차량 데이터, 개인 데이터, 선호도, 탑승 제공자로서 및/또는 탑승 요청자로서 사용 패턴, 프로필 사진, 링크된 서드파티 계정(예컨대, 음악 및/또는 오락 서비스를 위한 크리덴셜, 소셜 네트워킹 시스템, 캘린더 시스템, 작업 관리 시스템 등) 및 임의의 다른 연관된 정보로의 접근을 관리 및/또는 제어할 수 있다. 운송 관리 시스템(1102)은 서드파티 시스템에 저장된 및/또는 획득된 탑승자 및/또는 요청자 정보로의 접근도 관리 및/또는 제어할 수 있다. 예를 들어, 요청자나 제공자는 운송 관리 시스템(1102)이 서드파티 이메일, 캘린더 또는 작업 관리 시스템으로의 접근하는 것을 허가할 수 있다(예컨대, 사용자의 크리덴셜을 통하여). 다른 예시로, 요청자나 제공자는 모바일 장치(예컨대, 1116, 1120, 1122 또는 1124)를 통하여, 운송 관리 시스템(1102)과 연관된 운송 애플리케이션이 모바일 장치 상에 설치된 다른 애플리케이션에 의해 제공되는 데이터로의 접근하는 것을 허가할 수 있다. 일부 예시에서, 이러한 데이터는 클라이언트 상에서 처리되고 및/또는 처리를 위해 운송 관리 시스템(1102)에 업로드될 수 있다.
일부 실시예에서, 운송 관리 시스템(1102)은 탑승 서비스(1108)를 제공할 수 있는데, 제공자에게 요청자를 연결하는 탑승 매칭 및/또는 관리 서비스를 포함할 수 있다. 예를 들어, 신원 관리 서비스 모듈(1104)이 탑승 요청자의 신원을 인증한 후, 탑승 서비스 모듈(1108)은 요청자를 하나 이상의 제공자와 매칭하려 시도할 수 있다. 일부 실시예에서, 탑승 서비스 모듈(1108)은 위치 서비스 모듈(1106)로부터 획득한 위치 데이터를 사용하여 적절한 제공자를 식별할 수 있다. 탑승 서비스 모듈(1108)은 위치 데이터를 사용하여 요청자에 지리적으로 가까운(예컨대, 특정 임계 거리 또는 이동 시간 내) 및/또는 요청자와 다른 방식으로 좋은 매칭인 제공자를 식별할 수 있다. 탑승 서비스 모듈(1108)은 예컨대 제공자와 요청자의 선호도, 차량 특징, 어메니티, 조건 및/또는 상태, 제공자의 선호하는 일반적 이동 방향 및/또는 경로, 이동 범위 및/또는 가용성, 요청자의 원래 및 목적 위치, 시간 제약 및/또는 차량 특징 요건 및 요청자를 제공자에게 매칭하기 위한 임의의 다른 적절한 정보에 기반하여 제공자를 점수 매기는 매칭 알고리즘을 구현할 수 있다. 일부 실시예에서, 탑승 서비스 모듈(1108)은 요청자와 제공자를 매칭하기 위한 규칙 기반 알고리즘 및/또는 기계 학습 모델을 사용할 수 있다.
운송 관리 시스템(1102)은 네트워크(1110 및/또는 1112)를 통해 다양한 장치와 통신 가능하게 연결될 수 있다. 네트워크(1110 및/또는 1112)는 다양한 통신 프로토콜과 전송 기술을 사용하여 데이터 통신을 송신 및/또는 수신하도록 구성된 상호 연결된 네트워크의 임의의 조합을 포함할 수 있다. 일부 실시예에서, 네트워크(1110 및/또는 1112)는 LAN(local area network), WAN(wide-area network), 및/또는 인터넷을 포함할 수 있고, 통신 프로토콜, 예컨대 TCP/IP(transmission control protocol/Internet protocol), IPX(Internet packet exchange), SNA(systems network architecture) 및/또는 임의의 다른 적절한 네트워크 프로토콜을 지원할 수 있다. 일부 실시예에서, 데이터는 모바일 네트워크(휴대 전화 네트워크, 셀룰러 네트워크, 위성 네트워크 또는 다른 모바일 네트워크), PSTN(public switched telephone network), 유선 통신 프로토콜(예컨대, USB(Universal Serial Bus), CAN(Controller Area Network)), 및/또는 무선 통신 프로토콜(예컨대, IEEE 902.11 표준 패밀리, 블루투스, 블루투스 로우 에너지, NFC(Near Field Communication), Z-Wave 및 ZigBee를 구현하는 WLAN(wireless LAN) 기술)을 사용하여 네트워크(1110 및/또는 1112)를 통해 전송될 수 있다. 다양한 실시예에서, 네트워크(1110 및/또는 1112)는 본 명세서에 서술되는 네트워크 또는 네트워크(1110 및/또는 1112)에 걸쳐 통신을 가능하게 할 수 있는 임의의 다른 타입의 네트워크의 임의의 조합을 포함할 수 있다.
일부 실시예에서, 운송 관리 차량 장치(1118)는 사용자, 예컨대 운전자, 승객, 보행자 및/또는 다른 사용자와 통신하도록 구성된 제공자 통신 장치를 포함할 수 있다. 일부 실시예에서, 운송 관리 차량 장치(1118)는 운송 관리 시스템(1102)와 직접 또는 다른 제공자 컴퓨팅 장치, 예컨대 제공자 컴퓨팅 장치(1116)를 통해 통신할 수 있다. 일부 실시예에서, 요청자 컴퓨팅 장치(예컨대, 장치(1124))는 통신 채널 및/또는 연결, 예컨대 피어 투 피어 연결, 블루투스 연결, NFC 연결, 애드혹 무선 네트워크 및/또는 임의의 다른 통신 채널이나 연결을 통해 운송 관리 차량 장치(1118)와 직접 연결(1126)을 통해 통신할 수 있다. 도 11가 네트워크(1110 및/또는 1112)를 통해 운송 관리 시스템(1102)와 통신하는 특정한 장치를 도시하지만, 다양한 실시예에서, 운송 관리 시스템(1102)은 인터페이스, 예컨대 API(applicaiton programming interface) 또는 SPI(service provider interface)를 노출하여 최종 사용자와 운송 관리 시스템(1102) 간의 중간자 역할을 할 수 있는 다양한 서드파티를 가능하게 할 수 있다.
일부 실시예에서, 차량 내부의 장치는 상호 연결될 수 있다. 예를 들어, 차량(1114), 제공자 컴퓨팅 장치(1116), 제공자 태블릿(1120), 운송 관리 차량 장치(1118), 요청자 컴퓨팅 장치(1124), 요청자 태블릿(1122) 및 임의의 다른 장치(예컨대, 스마트 워치, 스마트 태그 등)의 임의의 조합은 통신 가능하게 연결될 수 있다. 예를 들어, 운송 관리 차량 장치(1118)는 제공자 컴퓨팅 장치(1116) 및/또는 요청자 컴퓨팅 장치(1124)와 통신 가능하게 연결될 수 있다. 운송 관리 차량 장치(1118)는 이들 장치와 예컨대 IEEE 902.11 표준 패밀리, 블루투스, 블루투스 로우 에너지, NFC, Z-Wave, ZigBee 및 임의의 다른 적절한 단거리 무선 통신 기술을 구현하는 WLAN 기술을 포함하여 임의의 적절한 통신 기술을 통하여 통신 가능한 연결, 예컨대 연결(1126 및 1128)을 구축할 수 있다.
일부 실시예에서, 사용자는 각 컴퓨팅 장치(예컨대, 1116, 1118, 1120 및/또는 차량(1114) 내에 통합된 컴퓨팅 장치) 상에서 실행되는 애플리케이션을 사용하여 운송 관리 시스템(1102)에 의해 제공되는 하나 이상의 서비스를 이용 및 인터페이스할 수 있는데, 모바일 장치(예컨대, iPhone®, iPad®, 휴대 전화, 태블릿 컴퓨터, PDA(personal digital assistant)), 랩탑, 웨어러블 장치(예컨대, 스마트 워치, 스마트 글래스, 헤드 마운트 디스플레이 등), 얇은 클라이언트 장치, 게임 콘솔 및 임의의 다른 컴퓨팅 장치를 포함할 수 있다. 일부 실시예에서, 차량(1114)은 차량 통합 컴퓨팅 장치, 예컨대 차량 내비게이션 시스템 또는 차량 자체에 통합된 다른 컴퓨팅 장치, 예컨대 자율 주행 차량의 관리 시스템을 포함할 수 있다. 컴퓨팅 장치는 임의의 적절한 운영체제, 예컨대 Android®, iOS®, macOS®, Windows®, Linux®, UNIX®, 또는 UNIX® 기반 또는 Linux® 기반 운영체제 또는 다른 운영체제 상에서 실행될 수 있다. 컴퓨팅 장치는 인터넷, SMS(short message service), 이메일 및 다양한 다른 메시지 애플리케이션 및/또는 통신 프로토콜을 거쳐 데이터를 송신 및 수신하도록 더 구성될 수 있다. 일부 실시예에서, 운송 관리 시스템(1102)과 연관된 애플리케이션을 포함하여 하나 이상의 소프트웨어 애플리케이션은 제공자나 요청자의 컴퓨팅 장치 상에 설치될 수 있다. 운송 애플리케이션은 임의의 배포 채널, 예컨대 예컨대 애플리케이션이 다운로드될 수 있는 온라인 소스를 통해 운송 관리 시스템과 연관된 엔티티에 의해 예컨대 배포될 수 있다. 운송 관리 시스템과 연관되지 않은 추가 서드파티 애플리케이션도 컴퓨팅 장치 상에 설치될 수 있다. 일부 실시예에서, 운송 애플리케이션은 설치된 서드파티 애플리케이션 중 하나 이상과 데이터 및 자원을 통신 또는 공유할 수 있다.
도 12는 다양한 실시예에 따른 데이터 수집 및 애플리케이션 관리 환경(1200)을 도시한다. 도 12에 도시된 바와 같이, 관리 시스템(1202)은 데이터 수집 인터페이스(1206)를 통해 다양한 데이터 수집 장치(1204)로부터 데이터를 수집하도록 구성될 수 있다. 상술한 바와 같이, 관리 시스템(1202)은 하나 이상의 컴퓨터 및/또는 서버 또는 그 임의의 조합을 포함할 수 있다. 데이터 수집 장치(1204)는 사용자 장치(상술한 것과 같은 제공자와 요청자 컴퓨팅 장치를 포함하여), 제공자 통신 장치, 랩탑이나 데스크탑 컴퓨터, 차량 데이터(예컨대, 차량에 통합되거나 다르게 연결된 센서로부터의), 지상 기반 또는 위성 기반 소스(예컨대, 위치 데이터, 교통 데이터, 기상 데이터 등) 또는 다른 센서 데이터(예컨대, 도로 내장 센서, 교통 센서 등)를 포함할 수 있으나 이에 제한되지 않는다. 데이터 수집 인터페이스(1206)는 각 데이터 수집 장치를 위한 인터페이스를 지원하도록 구성된 예컨대 확장 가능 장치 프레임워크를 포함할 수 있다. 다양한 실시예에서, 데이터 수집 인터페이스(1206)는 새 데이터 수집 장치가 발매됨에 따라 이를 지원하도록 확장되고 및/또는 기존 데이터 수집 장치에 대한 변경을 지원하도록 기존 인터페이스를 업데이트할 수 있다. 다양한 실시예에서, 데이터 수집 장치는 하나 이상의 네트워크를 통해 데이터 수집 인터페이스(1206)와 통신할 수 있다. 네트워크는 상술한 이들 네트워크를 포함하여 통상의 기술자에게 인식될 임의의 네트워크나 통신 프로토콜을 포함할 수 있다.
도 12에 도시된 바와 같이, 데이터 수집 장치(1204)로부터 수집한 데이터는 데이터 저장소(1208)에 저장될 수 있다. 데이터 저장소(1208)는 하나 이상의 데이터 저장소, 예컨대 데이터베이스, 객체 저장 시스템 및 서비스, 클라우드 기반 저장 서비스 및 다른 데이터 저장소를 포함할 수 있다. 예를 들어, 다양한 데이터 저장소는 관리 시스템(1202)에 접근 가능한 비일시적 저장 매체, 예컨대 과거 데이터 저장소(1210), 탑승 데이터 저장소(1212) 및 사용자 데이터 저장소(1214) 상에 구현될 수 있다. 데이터 저장소(1208)는 관리 시스템(1202)에 로컬이거나, 원격이며 네트워크, 예컨대 상술한 네트워크 또는 저장 영역 네트워크 또는 다른 네트워크화 저장 시스템을 거쳐 접근 가능할 수 있다. 다양한 실시예에서, 과거 데이터(1210)는 과거 교통 데이터, 기상 데이터, 요청 데이터, 도로 조건 데이터 또는 다양한 데이터 수집 장치로부터 수신한 주어진 영역이나 영역들에 대한 임의의 다른 데이터를 포함할 수 있다. 탑승 데이터(1212)는 경로 데이터, 요청 데이터, 시간 데이터 및 종합되고 및/또는 요청자나 제공자에 의한 다른 탑승 관련 데이터를 포함할 수 있다. 사용자 데이터(1214)는 사용자 계정 데이터, 선호도, 위치 내역 및 다른 사용자 특정 데이터를 포함할 수 있다. 특정 데이터 저장소가 예시의 방식으로 도시되었지만, 본 명세서에서 서술되는 다양한 실시예에 따라 수집 및/또는 저장되는 임의의 데이터가 데이터 저장소(1208)에 저장될 수 있다.
도 12에 도시된 바와 같이, 애플리케이션 인터페이스(1216)는 관리 시스템(1202)에 의해 제공되어 다양한 앱(1218)이 관리 시스템(1202)을 통해 사용 가능한 데이터 및/또는 서비스에 접근할 수 있게 할 수 있다. 앱(1218)은 다양한 사용자 장치(상술한 것과 같은 제공자 및 요청자 컴퓨팅 장치를 포함하여) 상에서 실행될 수 있고 및/또는 다양한 장치(예컨대, 컴퓨터, 서버 또는 그 임의의 조합)를 거쳐 실행되도록 구성된 클라우드 기반이나 다른 분산형 앱을 포함할 수 있다. 앱(1218)은 예컨대 데이터(1208)을 이용하여 다양한 서비스를 제공할 수 있는 종합 및/또는 보고 앱(예컨대, 서드파티 탑승 요청 및 관리 앱)을 포함할 수 있다. 다양한 실시예에서, 애플리케이션 인터페이스(1216)는 앱(1218)의 서드파티 개발을 가능하게 하는 API 및/또는 SPI를 포함할 수 있다. 일부 실시예에서, 애플리케이션 인터페이스(1216)는 웹 인터페이스를 포함하여, 관리 시스템(1202)이 제공하는 데이터(1208) 및/또는 서비스로의 웹 기반 접근을 가능하게 할 수 있다. 다양한 실시예에서, 앱(1218)은 하나 이상의 네트워크 상에서 애플리케이션 인터페이스(1216)과 통신하도록 구성된 장치 상에서 실행될 수 있다. 네트워크는 상술한 네트워크를 포함하여, 본 명세서의 실시예에 따른 통상의 기술자에 의해 인식될 임의의 네트워크나 통신 프로토콜을 포함할 수 있다.
본 명세서의 다양한 실시예가 탑승 제공자가 자신의 차량을 운용하는 인간 운전자인 탑승 공유 서비스의 관점에서 서술되지만, 다른 실시예에서 본 명세서에 서술되는 기술은 자율 주행 차량을 사용하여 탑승 요청이 이행되는 환경에서도 사용될 수 있다. 예를 들어, 탑승 공유 서비스의 운송 관리 시스템은 인간 운전자와 자율 주행 차량 모두를 사용하여 탑승 요청의 이행을 가능하게 할 수 있다.
상술한 바와 같이, 본 명세서에 서술 및/또는 설명되는 컴퓨팅 장치 및 시스템은 본 명세서에 서술되는 모듈에 포함된 것과 같은 컴퓨터 판독 가능한 명령어를 실행할 수 있는 임의의 타입이나 형태의 컴퓨팅 장치나 시스템을 넓게 나타낸다. 그 가장 기본적인 구성에서, 이들 컴퓨팅 장치(들)는 각각 적어도 하나의 메모리 장치와 적어도 하나의 물리적 프로세서를 포함할 수 있다.
일부 예시에서, 용어 "메모리 장치"는 일반적으로 데이터 및/또는 컴퓨터 판독 가능한 명령어를 저장할 수 있는 임의의 타입이나 형태의 휘발성 또는 비휘발성 저장 장치 또는 매체를 지칭한다. 일례로, 메모리 장치는 본 명세서에 서술되는 모듈 중 하나 이상을 저장, 로드 및/또는 유지할 수 있다. 메모리 장치의 예시는, 제한 없이 RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, HDD(Hard Disk Drive), SSD(Solid-State Drive), 광 디스크 드라이브, 캐시, 이들 중 하나 이상의 변형이나 조합 또는 임의의 다른 적절한 저장 메모리를 포함한다.
일부 예시에서, 용어 "물리적 프로세서"는 일반적으로 컴퓨터 판독 가능한 명령어를 해석 및/또는 실행할 수 있는 임의의 타입이나 형태의 하드웨어 구현 프로세스 유닛을 지칭한다. 일례로, 물리적 프로세서는 상술한 메모리 장치에 저장된 하나 이상의 모듈에 접근 및/또는 수정할 수 있다. 물리적 프로세서의 예시는, 제한 없이 마이크로프로세서, 마이크로컨트롤러, CPU(Central Processing Unit), 소프트코어 프로세서를 구현하는 FPGA(Field-Programmable Gate Array), ASIC(Application-Specific Integrated Circuit), 이들 중 하나 이상의 일부, 이들 중 하나 이상의 변형이나 조합 또는 임의의 다른 적절한 물리적 프로세서를 포함한다.
별개의 요소로 도시되었더라도, 본 명세서에 서술 및/또는 설명되는 모듈은 단일 모듈이나 애플리케이션의 일부를 나타낼 수 있다. 나아가, 특정 실시예에서 이들 모듈 중 하나 이상이 컴퓨팅 장치에 의해 실행될 때 컴퓨팅 장치로 하여금 하나 이상의 작업을 수행하도록 야기할 수 있는 하나 이상의 소프트웨어 애플리케이션이나 프로그램을 나타낼 수 있다. 예를 들어, 본 명세서에 서술 및/또는 설명되는 모듈 중 하나 이상이 본 명세서에 서술 및/또는 설명되는 컴퓨팅 장치나 시스템 중 하나 이상에 저장되고 실행되도록 구성된 모듈을 나타낼 수 있다. 이들 모듈 중 하나 이상은 하나 이상의 작업을 수행하도록 구성된 하나 이상의 특수 목적 컴퓨터 중 전부 또는 일부도 나타낼 수 있다.
나아가, 본 명세서에 서술되는 모듈 중 하나 이상은 데이터, 물리적 장치 및/또는 물리적 장치의 표현을 한 형태에서 다른 형태로 변환할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 기재되는 모듈 중 하나 이상은 컴퓨팅 장치 상에서 실행되고, 컴퓨팅 장치 상에 데이터를 저장하고 및/또는 컴퓨팅 장치와 다른 방식으로 상호작용함으로써 프로세서, 휘발성 메모리, 비휘발성 메모리 및/또는 물리적 컴퓨팅 장치의 임의의 다른 일부를 한 형태에서 다른 형태로 변환할 수 있다.
일부 실시예에서, 용어 "컴퓨터 판독 가능한 매체"는 일반적으로 컴퓨터 판독 가능한 명령어를 저장 또는 운반할 수 있는 임의의 형태의 장치, 운반체 또는 매체를 지칭한다. 컴퓨터 판독 가능한 매체의 예시는, 제한 없이 반송파와 같은 전송 타입 매체, 자기 저장 매체(예컨대, 하드 디스크 드라이브, 테이프 드라이브 및 플로피 디스크), 광 저장 매체(예컨대, CD(Compact Disk), DVD(Digital Video Disk), 및 BLU-RAY 디스크), 전기 저장 매체(예컨대, 고체 상태 드라이브 및 플래시 미디어) 및 다른 분산 시스템과 같은 비일시적 타입의 매체를 포함한다.
본 명세서에 서술 및/또는 설명되는 단계의 프로세스 파라미터 및 시퀀스는 설명의 방식으로만 주어지며 원하는 대로 변형될 수 있다. 예를 들어, 본 명세서에 서술 및/또는 설명되는 단계는 특정 순서로 도시 또는 논의될 수 있지만, 이들 단계는 반드시 설명 또는 논의되는 순서로 실행될 필요가 없다. 본 명세서에 서술 및/또는 설명되는 다양한 예시적 방법은 본 명세서에 서술 또는 설명되는 단계 중 하나 이상을 생략하거나 개시된 것에 추가로 추가적인 단계를 포함할 수도 있다.
상기 설명은 통상의 기술자가 본 명세서에 개시되는 예시적인 실시예의 다양한 양태를 가장 잘 이용할 수 있도록 제공되었다. 이 예시적인 설명은 배타적이거나 임의의 개시된 정확한 형태로 제한하고자 의도한 것이 아니다. 본 명세서의 사상과 범위를 벗어나지 않고 많은 수정과 변형이 가능하다. 본 명세서에 개시되는 실시예는 모든 관점에서 예시적이며 제한적이지 않은 것으로 간주되어야 한다. 본 명세서의 범위를 정함에 있어 첨부되는 청구항 및 그 균등물을 참조하여야 한다.
다르게 언급되지 않으면, 본 명세서 및 청구범위에서 사용되는 바와 같은 용어 "연결된" 및 "결합된"(및 그 파생어)는 직접 및 간접(즉, 다른 요소나 컴포넌트를 통하여) 연결 모두를 허용하는 것으로 이해되어야 한다. 나아가, 본 명세서 및 청구범위에서 사용되는 바와 같은 용어 "하나의"는 "적어도 하나의"를 의미하는 것으로 이해되어야 한다. 마지막으로, 사용의 편의를 위하여, 명세서 및 청구범위에서 사용되는 바와 같은 용어 "포함하는" 및 "가지는"(및 그 파생어)는 상호 교환 가능하며 단어 "으로 구성되는"과 동일한 의미를 가진다.

Claims (20)

  1. 차량의 표현 및 차량과 연관된 물리적 환경의 표현을 포함하는 시각화를 제공하는 단계;
    차량의 적어도 하나의 센서로부터, 물리적 환경과 연관된 센서 데이터를 수신하는 단계;
    센서 데이터에 기반하여, 차량에 대한 물리적 환경의 적어도 하나의 객체의 위치를 결정하는 단계; 및
    그래픽 요소의 어레이에 포함되는 하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 단계를 포함하고,
    시각화는 각각이 점유되지 않은 상태를 표시하는 속성을 가지는 그래픽 요소의 어레이를 포함하고,
    하나 이상의 그래픽 요소 각각은 적어도 하나의 객체의 위치에 대응하는 컴퓨터 구현 방법.
  2. 청구항 1에 있어서,
    하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 단계는 객체가 차량에 대한 위치를 점유하는 시간의 길이에 적어도 부분적으로 기반하여 각 그래픽 요소의 속성을 점진적으로 수정하는 단계를 포함하는 컴퓨터 구현 방법.
  3. 청구항 1에 있어서,
    하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 단계는 각 그래픽 요소의 색상을 수정하는 단계를 포함하는 컴퓨터 구현 방법.
  4. 청구항 1에 있어서,
    하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 단계는 각 그래픽 요소의 크기를 수정하는 단계를 포함하는 컴퓨터 구현 방법.
  5. 청구항 1에 있어서,
    하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 단계는 각 그래픽 요소의 위치를 수정하는 단계를 포함하는 컴퓨터 구현 방법.
  6. 청구항 1에 있어서,
    차량은 자율 주행 차량을 포함하는 컴퓨터 구현 방법.
  7. 청구항 6에 있어서,
    시각화를 제공하는 단계는 자율 주행 차량의 적어도 하나의 시스템으로부터 수신한 데이터에 기반하여, 자율 주행 차량의 예상된 이동 방향을 예측하는 단계를 포함하고,
    시각화는 자율 주행 차량의 예상된 이동 방향의 표현을 더 포함하는 컴퓨터 구현 방법.
  8. 청구항 1에 있어서,
    물리적 환경과 연관된 센서 데이터를 수신하는 단계는 서드파티 소스로부터 차량의 센서가 인지한 완전한 센서 데이터를 포함하지 않는 불완전한 센서 데이터를 수신하는 단계를 포함하는 컴퓨터 구현 방법.
  9. 청구항 1에 있어서,
    물리적 환경과 연관된 센서 데이터를 수신하는 단계는 서드파티 소스로부터 시각화를 생성하기 좋은 방식으로 포맷되지 않은 센서 데이터를 수신하는 단계를 포함하고,
    방법은 시각화를 생성하기 위하여 서드파티 소스로부터의 센서 데이터에서 관련 데이터를 추출하는 단계를 더 포함하는 컴퓨터 구현 방법.
  10. 청구항 1에 있어서,
    차량과 연관된 물리적 환경의 표현은 차량 주위의 제한된 반경 이내인 차량과 연관된 물리적 환경의 표현을 포함하는 컴퓨터 구현 방법.
  11. 청구항 10에 있어서,
    센서 데이터에 기반하여, 차량 주위의 제한된 반경 밖의 객체의 위치를 결정하는 단계; 및
    그래픽 요소의 어레이에 포함되는 추가적인 하나 이상의 그래픽 요소 각각의 속성을 변경하는 단계를 더 포함하고,
    변경되는 추가적인 하나 이상의 그래픽 요소는 시각화 내에 물리적 환경의 표현 밖인 객체의 표현을 제공하는 컴퓨터 구현 방법.
  12. 청구항 1에 있어서,
    차량과 연관된 물리적 환경의 표현은 차량 주위의 기결정된 반경을 넘어서 시작하는 물리적 환경의 표현을 포함하는 컴퓨터 구현 방법.
  13. 청구항 1에 있어서,
    시각화를 제공하는 단계는 차량 내의 승객과 연관된 모바일 컴퓨팅 장치로 시각화를 송신하는 단계를 포함하는 컴퓨터 구현 방법.
  14. 청구항 1에 있어서,
    시각화를 제공하는 단계는:
    차량으로 시각화를 송신하는 단계; 및
    차량과 연관된 디스플레이 장치 상에 시각화를 디스플레이하는 단계를 포함하는 컴퓨터 구현 방법.
  15. 청구항 1에 있어서,
    하나 이상의 그래픽 요소는 센서 데이터의 낮은 충실도 버전의 표현을 제공하는 컴퓨터 구현 방법.
  16. 청구항 1에 있어서,
    그래픽 요소의 어레이에 포함되는 각 그래픽 요소의 속성은 크기 속성이고,
    점유되지 않은 상태를 표시하는 것은 그래픽 요소의 어레이에 포함되는 각 그래픽 요소는 크기 속성에 의해 제공되는 바와 같은 균일한 크기를 가지는 것을 포함하는 컴퓨터 구현 방법.
  17. 청구항 1에 있어서,
    그래픽 요소의 어레이는 형상의 그리드인 컴퓨터 구현 방법.
  18. 메모리에 저장된, 차량의 표현 및 차량과 연관된 물리적 환경의 표현을 포함하는 시각화를 제공하는 디스플레이 모듈;
    메모리에 저장된, 차량의 적어도 하나의 센서로부터, 물리적 환경과 연관된 센서 데이터를 수신하는 수신 모듈;
    메모리에 저장된, 센서 데이터에 기반하여, 차량에 대한 물리적 환경의 적어도 하나의 객체의 위치를 결정하는 결정 모듈;
    메모리에 저장된, 그래픽 요소의 어레이에 포함되는 하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 변환 모듈; 및
    디스플레이 모듈, 수신 모듈, 결정 모듈 및 변환 모듈을 실행하는 적어도 하나의 물리적 프로세서를 포함하고,
    시각화는 각각이 점유되지 않은 상태를 표시하는 속성을 가지는 그래픽 요소의 어레이를 포함하고,
    하나 이상의 그래픽 요소 각각은 적어도 하나의 객체의 위치에 대응하는 시스템.
  19. 청구항 18에 있어서,
    변환 모듈은 객체가 차량에 대한 위치를 점유하는 시간의 길이에 적어도 부분적으로 기반하여 각 그래픽 요소의 속성을 점진적으로 수정함으로써 하나 이상의 그래픽 요소 각각에 대한 속성을 변경하는 변환 모듈.
  20. 컴퓨터 판독 가능한 명령어를 포함하는 컴퓨터 판독 가능한 매체로서, 컴퓨터 판독 가능한 명령어는 컴퓨팅 장치의 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 장치로 하여금:
    차량의 표현 및 차량과 연관된 물리적 환경의 표현을 포함하는 시각화를 제공하고;
    차량의 적어도 하나의 센서로부터, 물리적 환경과 연관된 센서 데이터를 수신하고;
    센서 데이터에 기반하여, 차량에 대한 물리적 환경의 적어도 하나의 객체의 위치를 결정하고;
    그래픽 요소의 어레이에 포함되는 하나 이상의 그래픽 요소 각각에 대한 속성을 변경하도록 야기하고,
    시각화는 각각이 점유되지 않은 상태를 표시하는 속성을 가지는 그래픽 요소의 어레이를 포함하고,
    하나 이상의 그래픽 요소 각각은 적어도 하나의 객체의 위치에 대응하는 컴퓨터 판독 가능한 매체.
KR1020217009525A 2018-09-14 2019-08-30 자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템 및 방법 KR20210042169A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/132,327 US10360714B1 (en) 2018-09-14 2018-09-14 Systems and methods for displaying autonomous vehicle environmental awareness
US16/132,327 2018-09-14
PCT/US2019/049054 WO2020055610A1 (en) 2018-09-14 2019-08-30 Systems and methods for displaying autonomous vehicle environmental awareness

Publications (1)

Publication Number Publication Date
KR20210042169A true KR20210042169A (ko) 2021-04-16

Family

ID=67300676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009525A KR20210042169A (ko) 2018-09-14 2019-08-30 자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템 및 방법

Country Status (11)

Country Link
US (4) US10360714B1 (ko)
EP (1) EP3837670A4 (ko)
JP (1) JP2021527902A (ko)
KR (1) KR20210042169A (ko)
CN (1) CN113168724A (ko)
AU (1) AU2019340413A1 (ko)
CA (1) CA3112917C (ko)
IL (1) IL281465A (ko)
MX (1) MX2021003088A (ko)
SG (1) SG11202102606SA (ko)
WO (1) WO2020055610A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734865B2 (en) 2018-09-14 2023-08-22 Lyft, Inc. Systems and methods for displaying autonomous vehicle environmental awareness

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9789880B2 (en) * 2016-03-03 2017-10-17 Uber Technologies, Inc. Sensory stimulation system for an autonomous vehicle
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
USD914696S1 (en) * 2018-03-23 2021-03-30 Volkswagen Aktiengesellschaft Display screen or portion thereof with graphical user interface
USD878396S1 (en) * 2018-06-21 2020-03-17 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
USD891460S1 (en) 2018-06-21 2020-07-28 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD883302S1 (en) * 2018-09-14 2020-05-05 Lyft, Inc. Display device with an animated graphical interface
USD883303S1 (en) * 2018-09-14 2020-05-05 Lyft, Inc. Display device with a graphical interface
USD882591S1 (en) * 2018-09-14 2020-04-28 Lyft, Inc. Display device with an animated graphical interface
US10882537B2 (en) * 2018-09-17 2021-01-05 GM Global Technology Operations LLC Dynamic route information interface
USD960175S1 (en) * 2019-10-25 2022-08-09 Naver Labs Corporation Heads-up display screen for automobile glass with image
USD955405S1 (en) * 2019-10-25 2022-06-21 Naver Labs Corporation Heads-up display screen for automobile glass with image
USD958154S1 (en) * 2019-10-25 2022-07-19 Naver Labs Corporation Heads-up display screen for automobile glass with image
RU2757038C2 (ru) 2019-12-30 2021-10-11 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для предсказания будущего события в беспилотном автомобиле (sdc)
CN112140997A (zh) * 2020-09-29 2020-12-29 的卢技术有限公司 一种支持操控的可视化驾驶系统控制方法、系统、汽车及存储介质
USD950583S1 (en) * 2020-12-16 2022-05-03 Nationwide Mutual Insurance Company Display screen with animated graphical user interface

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427472B2 (en) * 2005-02-08 2013-04-23 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
DE102007042220A1 (de) * 2007-09-05 2009-03-12 Robert Bosch Gmbh Objektklassifizierungsverfahren, Einparkhilfeverfahren und Einparkhilfesystem
CN103171497A (zh) * 2011-12-20 2013-06-26 西安众智惠泽光电科技有限公司 一种倒车智能防撞系统
US9235783B1 (en) 2012-04-20 2016-01-12 The Boeing Company Highlighting an object in a display using a highlight object
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
WO2017079349A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. System for implementing an active safety system in an autonomous vehicle
CN108369775B (zh) * 2015-11-04 2021-09-24 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US11080534B2 (en) 2016-11-14 2021-08-03 Lyft, Inc. Identifying objects for display in a situational-awareness view of an autonomous-vehicle environment
CN206649159U (zh) * 2017-04-12 2017-11-17 北京饮冰科技有限公司 一种以激光传感器为基础的倒车辅助系统
CN107444327A (zh) * 2017-07-26 2017-12-08 中航爱维客汽车有限公司 一种倒车预警系统及方法
US10360714B1 (en) 2018-09-14 2019-07-23 Lyft, Inc. Systems and methods for displaying autonomous vehicle environmental awareness

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734865B2 (en) 2018-09-14 2023-08-22 Lyft, Inc. Systems and methods for displaying autonomous vehicle environmental awareness

Also Published As

Publication number Publication date
MX2021003088A (es) 2021-07-16
SG11202102606SA (en) 2021-04-29
US10360714B1 (en) 2019-07-23
CN113168724A (zh) 2021-07-23
AU2019340413A1 (en) 2021-04-08
US10970903B2 (en) 2021-04-06
US20200090387A1 (en) 2020-03-19
CA3112917C (en) 2022-09-20
WO2020055610A1 (en) 2020-03-19
US20210295577A1 (en) 2021-09-23
EP3837670A1 (en) 2021-06-23
US20240005576A1 (en) 2024-01-04
US11734865B2 (en) 2023-08-22
JP2021527902A (ja) 2021-10-14
EP3837670A4 (en) 2022-03-16
IL281465A (en) 2021-04-29
CA3112917A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
KR20210042169A (ko) 자율 주행 차량 환경 인식을 디스플레이하기 위한 시스템 및 방법
US11704007B2 (en) Computer-assisted or autonomous driving vehicles social network
JP6498246B2 (ja) グラフベースの車線変更ガイドを用いて自律走行車を動作させる方法及びシステム
JP6674019B2 (ja) 自律走行車を運行させるための制御エラー補正計画方法
US10659382B2 (en) Vehicle security system
JP6856072B2 (ja) ユニファイド・コネクテッドネットワークのためのシステム及び方法
US9097549B1 (en) Learning automated vehicle
JP2018101400A (ja) 自律走行車の個人運転好みの認識方法及びシステム
JP2018063703A (ja) 自律走行車用のグループ運転スタイル学習フレーム
US20200356090A1 (en) Client control for an autonomous vehicle ridesharing service
US10957195B2 (en) Apparatuses, systems, and methods for graphical progress interfaces for dynamic transportation networks
WO2022166326A1 (zh) 一种地图瓦片更新方法和装置
US20220381569A1 (en) Optimization of autonomous vehicle route calculation using a node graph
US20230252280A1 (en) Online learning by an instance of a deep learning model and sharing of learning with additional instances of the deep learning model
US10696299B2 (en) Managing vehicle to vehicle communication to facilitate operational safety via risk assessment
US11908095B2 (en) 2-D image reconstruction in a 3-D simulation
CN116403435A (zh) 为自主和辅助驾驶交通工具调配对等方辅助安全模型的系统和方法
US20220348232A1 (en) Fleet-level av simulation system and method
US20220065647A1 (en) Autonomous vehicle planned route prediction
US20230202489A1 (en) Configuration management system for autonomous vehicle software stack
US20220065638A1 (en) Joint routing of transportation services for autonomous vehicles
US20220101022A1 (en) Vehicle cliff and crevasse detection systems and methods
US11776064B2 (en) Driver classification systems and methods for obtaining an insurance rate for a vehicle
US20230024757A1 (en) Systems and methods for transforming high-definition geographical map data into messages for vehicle communications
US20220318691A1 (en) Personalizing a shared ride in a mobility-on-demand service

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application