KR20200018736A - 자율 차량들에 대해 할당된 승객들의 인식 - Google Patents

자율 차량들에 대해 할당된 승객들의 인식 Download PDF

Info

Publication number
KR20200018736A
KR20200018736A KR1020207004181A KR20207004181A KR20200018736A KR 20200018736 A KR20200018736 A KR 20200018736A KR 1020207004181 A KR1020207004181 A KR 1020207004181A KR 20207004181 A KR20207004181 A KR 20207004181A KR 20200018736 A KR20200018736 A KR 20200018736A
Authority
KR
South Korea
Prior art keywords
vehicle
pedestrians
computing device
information
client computing
Prior art date
Application number
KR1020207004181A
Other languages
English (en)
Other versions
KR102315335B1 (ko
Inventor
존 웨슬리 다이어
루이스 토레스
마이클 엡스타인
위-신 천
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200018736A publication Critical patent/KR20200018736A/ko
Application granted granted Critical
Publication of KR102315335B1 publication Critical patent/KR102315335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06Q50/30—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3228—One-time or temporary data, i.e. information which is sent for every authentication or authorization, e.g. one-time-password, one-time-token or one-time-key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3234—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving additional secure or trusted devices, e.g. TPM, smartcard, USB or software token
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84—Vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 개시내용의 양태들은 할당된 승객을 인식하기 위한 시스템들 및 방법들을 제공한다. 예를 들어, 픽업 장소(770)에서 승객을 픽업하기 위한 디스패치 지시들이 수신된다. 지시들은 승객과 연관된 클라이언트 컴퓨팅 디바이스(420, 430)를 인증하기 위한 인증 정보를 포함한다. 차량(100, 100A)은 자율 주행 모드에서 픽업 장소 쪽으로 이동된다. 그 다음, 클라이언트 디바이스가 인증된다. 인증 후에, 차량의 미리 결정된 거리(702) 내의 보행자들의 세트가 차량의 센서에 의해 생성된 센서 정보로부터 식별되고, 장소 정보가 시간 기간에 걸쳐 클라이언트 디바이스로부터 수신된다. 수신된 장소 정보는 승객의 속도를 추정하기 위해 이용된다. 이러한 추정된 속도는 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하기 위해 이용된다. 차량은 서브세트에 기초하여 승객이 차량에 승차하게 하도록 정지된다.

Description

자율 차량들에 대해 할당된 승객들의 인식
관련 출원에 대한 상호 참조
본 출원은 2017년 8월 17일에 출원된 미국 특허 출원 제15/679,485호의 계속 출원이며, 그러한 미국 특허 출원의 개시 내용은 본 명세서에 참조로 포함된다.
사람 운전자를 요구하지 않는 차량들과 같은 자율 차량들(autonomous vehicles)이, 하나의 장소로부터 다른 장소로 승객들 또는 물품들을 수송하는 것을 돕기 위해 이용될 수 있다. 그러한 차량들은 승객들이 픽업(pickup) 또는 목적지 장소와 같은 일부 초기 입력을 제공할 수 있으며 차량이 해당 장소까지 스스로 이동하는 완전 자율 모드에서 동작할 수 있다.
사람(또는 사용자)이 차량을 통해 2개의 장소들 사이에서 물리적으로 이동하고자 할 때, 그들은 임의의 수의 수송 서비스들을 이용할 수 있다. 현재까지, 이러한 서비스들은 전형적으로 사용자를 픽업하기 위한 장소로의 디스패치 지시들(dispatch instructions)을 받은 사람 운전자를 포함한다. 많은 경우에, 사람 운전자 및 사용자는 사용자가 픽업될 정확한 장소를 어레인지할 수 있다. 또한, 운전자들 및 사용자들은 서로의 인식을 표시하기 위해 서로에게 "정지 신호를 하고(flag down)", 눈 맞춤을 이용하고, 서로에게 이야기하거나, 또는 다른 신호들을 이용할 수 있고, 그에 의해 차량이 픽업을 위한 정확한 장소에 도달하기 전에 어떤 장소에 동의하게 된다. 이것은 사람 운전자가 없는 자율 차량들의 경우에는 쉽게 달성가능하지 않다.
본 개시내용의 일 양태는 할당된 승객을 인식하는 방법을 제공한다. 방법은, 차량의 하나 이상의 프로세서에 의해, 픽업 장소에서 할당된 승객을 픽업하기 위한 디스패치 지시들을 수신―디스패치 지시들은 할당된 승객과 연관된 클라이언트 컴퓨팅 디바이스에 대한 인증 정보를 포함함―하고; 하나 이상의 프로세서에 의해, 자율 주행 모드(autonomous driving mode)에서 차량을 픽업 장소 쪽으로 이동하고; 하나 이상의 프로세서에 의해, 인증 정보를 이용하여 클라이언트 컴퓨팅 디바이스를 인증하고; 클라이언트 컴퓨팅 디바이스를 인증한 후, 하나 이상의 프로세서에 의해, 차량의 센서에 의해 생성된 센서 정보로부터 차량의 미리 결정된 거리 내의 보행자들의 세트를 식별하고; 클라이언트 컴퓨팅 디바이스를 인증한 후, 하나 이상의 프로세서에 의해, 시간 기간에 걸쳐 클라이언트 컴퓨팅 디바이스의 장소들을 식별하는 정보를 클라이언트 컴퓨팅 디바이스로부터 수신하고; 하나 이상의 프로세서에 의해, 수신된 정보를 이용하여 클라이언트 컴퓨팅 디바이스의 속도를 추정하고; 하나 이상의 프로세서에 의해, 추정된 속도를 이용하여, 할당된 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하고; 하나 이상의 프로세서에 의해, 서브세트에 기초하여 할당된 승객이 차량에 승차하게 하도록 차량을 정지시키는 것을 포함한다.
다른 예에서, 수신된 정보는 클라이언트 컴퓨팅 디바이스의 센서에 의해 생성된 배향 정보(orientation information)를 포함한다. 이러한 예에서, 방법은 또한 보행자들의 세트의 각각의 보행자의 배향을 결정하고, 배향 정보를 결정된 배향들과 비교하는 것을 포함하고, 비교는 서브세트를 식별하기 위해 더 이용된다. 다른 예에서, 방법은 또한 센서 정보를 이용하여 보행자들의 세트의 각각의 보행자에 대한 시선 방향(gaze direction)을 검출하는 것을 포함하고, 각각의 보행자에 대한 시선 검출은 서브세트를 식별하기 위해 더 이용된다. 다른 예에서, 방법은 또한 센서 정보를 이용하여 보행자들의 세트의 각각의 보행자들의 미리 결정된 거리 내의 보행자들에 대응하는 다른 보행자들의 수를 결정하는 것을 포함하고, 각각의 보행자의 미리 결정된 거리 내의 다른 보행자들의 결정된 수는 서브세트를 식별하기 위해 더 이용된다. 이러한 예에서, 디스패치 지시들은 승객들의 수를 더 식별하고, 식별된 승객들의 수는 서브세트를 식별하기 위해 더 이용된다. 다른 예에서, 보행자들의 세트는 추가적인 장소 정보가 클라이언트 컴퓨팅 디바이스로부터 수신됨에 따라 업데이트된다. 다른 예에서, 차량을 정지시키는 것은 픽업 장소보다 서브세트의 보행자에 더 가까운 차량을 정지시키는 것을 포함한다. 다른 예에서, 차량을 정지시키는 것은 차량이 픽업 장소에 도달하기 전에 차량을 정지시키는 것을 포함한다. 다른 예에서, 방법은 또한 센서 정보를 이용하여 보행자들의 세트의 둘 이상의 보행자들 사이에 상이한 특성을 식별하고; 특성에 관한 질문을 포함하는 요청을 클라이언트 디바이스에 전송하고; 클라이언트 컴퓨팅 디바이스로부터 응답을 수신―응답은 서브세트를 식별하기 위해 더 이용됨―하는 것을 포함한다. 다른 예에서, 추정된 속도를 이용하여, 할당된 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하는 것은, 보행자들의 세트의 각각의 보행자가 할당된 승객일 가능성을 식별하기 위해, 추정된 속도를 모델에 입력하는 것을 포함하고, 보행자들의 세트의 각각의 보행자가 승객일 가능성은 서브세트를 식별하기 위해 더 이용된다.
본 개시내용의 다른 양태는 할당된 승객을 인식하기 위한 시스템을 제공한다. 시스템은 픽업 장소에서 승객을 픽업하기 위한 디스패치 지시들을 수신―디스패치 지시들은 할당된 승객과 연관된 클라이언트 컴퓨팅 디바이스에 대한 인증 정보를 포함함―하고; 자율 주행 모드에서 차량을 픽업 장소 쪽으로 이동하고; 인증 정보를 이용하여 클라이언트 컴퓨팅 디바이스를 인증하고; 클라이언트 컴퓨팅 디바이스를 인증한 후, 차량의 센서에 의해 생성된 센서 정보로부터 차량의 미리 결정된 거리 내의 보행자들에 대응하는 보행자들의 세트를 식별하고; 클라이언트 컴퓨팅 디바이스를 인증한 후, 시간 기간에 걸쳐 클라이언트 컴퓨팅 디바이스로부터 장소 정보를 수신하고; 시간 기간에 걸쳐 클라이언트 컴퓨팅 디바이스의 장소들을 식별하는 정보를 클라이언트 컴퓨팅 디바이스로부터 수신하고; 수신된 정보를 이용하여 클라이언트 컴퓨팅 디바이스의 속도를 추정하고; 추정된 속도를 이용하여, 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하고; 서브세트에 기초하여 승객이 차량에 승차하게 하도록 차량을 정지시키도록 구성된 하나 이상의 프로세서를 포함한다.
일 예에서, 수신된 정보는 클라이언트 컴퓨팅 디바이스의 센서에 의해 생성된 배향 정보를 포함하고, 하나 이상의 프로세서는 승객의 배향을 결정하고, 배향 정보를 결정된 배향과 비교하도록 더 구성되고, 비교는 서브세트를 식별하기 위해 더 이용된다. 다른 예에서, 하나 이상의 프로세서는 센서 정보를 이용하여 보행자들의 세트의 각각의 보행자에 대한 시선 방향을 검출하도록 더 구성되고, 각각의 보행자에 대한 시선 검출은 하나 이상의 프로세서에 의해 서브세트를 식별하기 위해 더 이용된다. 다른 예에서, 하나 이상의 프로세서는 센서 정보를 이용하여 보행자들의 세트의 각각의 보행자들의 미리 결정된 거리 내의 보행자들에 대응하는 다른 보행자들의 수를 결정하도록 더 구성되고, 각각의 보행자의 미리 결정된 거리 내의 다른 보행자들의 결정된 수는 하나 이상의 프로세서에 의해 서브세트를 식별하기 위해 더 이용된다. 이러한 예에서, 디스패치 지시들은 승객들의 수를 더 식별하고, 식별된 승객들의 수는 하나 이상의 프로세서에 의해 서브세트를 식별하기 위해 더 이용된다. 다른 예에서, 보행자들의 세트는 추가적인 장소 정보가 클라이언트 컴퓨팅 디바이스로부터 수신됨에 따라 업데이트된다. 다른 예에서, 차량을 정지시키는 것은 픽업 장소보다 서브세트의 보행자에 더 가까운 차량을 정지시키는 것을 포함한다. 다른 예에서, 차량을 정지시키는 것은 차량이 픽업 장소에 도달하기 전에 차량을 정지시키는 것을 포함한다. 다른 예에서, 하나 이상의 프로세서는 센서 정보를 이용하여 보행자들의 세트의 둘 이상의 보행자들 사이에 상이한 특성을 식별하고; 특성에 관한 질문을 포함하는 요청을 클라이언트 디바이스에 전송하고; 클라이언트 컴퓨팅 디바이스로부터 응답을 수신―응답은 서브세트를 식별하기 위해 더 이용됨―하도록 더 구성된다. 다른 예에서, 시스템은 또한 차량을 포함한다.
도 1은 본 개시내용의 양태들에 따른 예시적인 차량의 기능도이다.
도 2는 본 개시내용의 양태들에 따른 상세 지도 정보의 예시적인 표현이다.
도 3a 내지 도 3d는 본 개시내용의 양태들에 따른 차량의 예시적인 외부 뷰들이다.
도 4는 본 개시내용의 양태들에 따른 시스템의 예시적인 그림 도면(pictorial diagram)이다.
도 5는 본 개시내용의 양태들에 따른 시스템의 예시적 기능도이다.
도 6은 본 개시내용의 양태들에 따른 도로의 구간 뷰이다.
도 7은 본 개시내용의 양태들에 따른 도로의 구간 및 다른 정보에 대한 센서 데이터의 예이다.
도 8은 본 개시내용의 양태들에 따른 도로의 구간 및 다른 정보에 대한 센서 데이터의 다른 예이다.
도 9는 본 개시내용의 양태들에 따른 흐름도이다.
개요
자기 운전 차량들에 대한 승객 픽업은 그러한 차량들의 컴퓨팅 디바이스들이 특정한 사람을 해당 차량에 할당된 승객인 것으로 인식하는 것과 관련된 어려움들 때문에 힘들 수 있다. 예를 들어, 개인의 클라이언트 디바이스(예를 들어, 셀 폰)에 의해 생성된 차량 GPS 및 GPS 정보를 이용하는 것이 일반적인 접근법이다. 그러나, 오늘날의 셀 폰들에 의해 생성된 GPS 정보는, 특히 도시들에서, 예를 들어, 100 피트 이상 벗어나게 되어 상당히 부정확하기 때문에, 그리고 클라이언트 디바이스로부터 차량의 컴퓨팅 시스템들로 정보를 전송하기 위한 높은 레이턴시 시간들 때문에, 이러한 정보만으로는 불충분할 수 있다. 더욱이, 그 이상 없이, 군중 속에서 특정한 사람을 인식하는 것은 컴퓨팅 디바이스에 대해 매우 어려울 수 있다. 컴퓨터가 특정한 사람을 인식하는 정확도 및 속도를 증가시키기 위해, 추가적인 신호들이 이용될 수 있다.
차량이 픽업 장소로부터 시간 또는 공간적으로 미리 결정된 거리 내에 있으면, 컴퓨팅 디바이스들은 할당된 승객의 클라이언트 디바이스들을 인증하려고 시도할 수 있다. 인증이 발생하면, 컴퓨팅 디바이스들은 GPS 정보와 같은 클라이언트 디바이스로부터의 정보 뿐만 아니라, 배향, 진로(heading)에 관한 클라이언트 디바이스의 가속도계 또는 자이로스코프로부터의 정보를 수신할 수 있고/있거나, 클라이언트 디바이스의 추정된 이동 속도가 컴퓨팅 디바이스들에 전송될 수 있다.
동시에, 컴퓨팅 디바이스들은 추가적인 신호들을 식별하기 위해 차량의 지각 시스템(perception system)으로부터 수신된 정보를 분석하기 시작할 수 있다. 예를 들어, 차량은 차량의 미리 결정된 거리 내의 보행자들에 대응하는 임의의 객체들(objects)의 세트를 식별할 수 있다. 임의의 그러한 객체들 또는 보행자들에 대해, 차량은 그러한 보행자들의 특정한 특성들을 결정하기 시작할 수 있다.
그 다음, 컴퓨팅 디바이스들은 클라이언트 디바이스로부터 수신된 정보를 각각의 식별된 보행자의 특성들과 비교하기 시작할 수 있다. 컴퓨팅 디바이스들은 GPS 정보를 처리하여 승객의 추정된 속도를 결정하고, 이를 각각의 보행자의 속도와 비교할 수 있다. 이하에서 더 논의되는 이러한 및 다른 정보는 할당된 승객일 가능성이 있는 보행자들의 세트를 단지 몇 개 또는 하나로 좁히기 위해 이용될 수 있다.
그 다음, 이러한 보행자들의 세트는 차량이 픽업 장소 쪽으로 이동함에 따라 업데이트될 수 있다. 그에 부가하여, 세트는 차량이 정지해야 할 곳을 결정하기 위해 이용될 수 있는데, 그 이유는 이것이 픽업 장소로 계속 진행하는 것보다는 세트의 하나 이상의 보행자에 더 가까운 정지할 지점(spot)을 찾는 것이 더 용이할 수 있기 때문이다. 세트가 오직 하나의 보행자(또는 서로 매우 가까운 몇 명의 보행자들)만을 포함하는 경우, 컴퓨팅 디바이스들은 심지어, 주차 지점(parking spot) 또는 구역(area)에 차량을 정차(pulling over)하지 않고 차선(lane)에서 정지하는 것이 안전한지 여부를 결정하여, 승객이 승차하게 할 수 있다.
전술한 특징들은 자율 차량의 컴퓨팅 디바이스들이 특정 보행자를 그 차량에 할당된 승객으로서 더 쉽게 인식하게 할 수 있다. 이것은 컴퓨팅 디바이스들이 승객의 현재 장소 환경들에 더 즉각 반응하는 것을 가능하게 하고, 심지어 컴퓨팅 디바이스들이 승객이 승차(enter) 또는 하차(exit)하기 위한 더욱 편리하고 좋은 장소들을 찾는 것을 허용할 수 있다. 예를 들어, 보행자의 포지션(position) 및 환경이, 그 또는 그녀가 차량에 신속하게 승차할 수 있음을 나타낼 때, 차선에서 정지하는 것은 차량이 길게 정지하지 않기 때문에 안전하고 효율적인 선택일 수 있고, 주차가 가용하지 않거나 매우 멀리 떨어져 있을 때 차선에서 정지하는 것이 바람직할 수 있다. 승객이 승차 또는 하차하도록 정지하기 위한 보다 편리하고 좋은 장소들을 찾는 것은, 예를 들어, 승객이 차량에 도달하기 위해 해야 할 도보의 양을 감소시킴으로써, 승객이 차량에 도달하기 위한 시간 및 노력을 절감시킬 수 있다.
예시적 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정한 양태들은 특정 유형들의 차량들과 관련하여 특히 유용하지만, 차량은, 제한적인 것은 아니지만, 승용차들(cars), 트럭들(trucks), 모터사이클들(motorcycles), 버스들(busses), 캠핑용 차량들(recreational vehicles) 등을 포함하는 임의의 유형의 차량일 수 있다. 차량은 전형적으로 범용 컴퓨팅 디바이스들에 존재하는 하나 이상의 프로세서(120), 메모리(130) 및 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 또는 그렇지 않은 경우 이용될 수 있는 명령어들(132) 및 데이터(134)를 포함하는, 하나 이상의 프로세서(120)에 의해 액세스가능한 정보를 저장한다. 메모리(130)는 컴퓨팅 디바이스 판독가능 매체, 또는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크들과 같은 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체 뿐만 아니라, 다른 기입 가능 및 판독 전용 메모리들을 포함하는, 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 시스템들 및 방법들은 상술한 것의 상이한 조합들을 포함할 수 있으며, 그것에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 유형들의 매체 상에 저장된다.
명령어들(132)은 프로세서에 의해 (기계 코드와 같이) 직접적으로 또는 (스크립트들과 같이) 간접적으로 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체 상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 그와 관련하여, 용어들 "명령어들" 및 "프로그램들"은 본 명세서에서 상호교환적으로 이용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위한 객체 코드 포맷(object code format)으로, 또는 요구에 따라 해석되거나 미리 컴파일링되는 독립적인 소스 코드 모듈들의 스크립트들 또는 집합들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령어들의 기능들, 방법들 및 루틴들은 아래에 더 상세히 설명된다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 검색되고, 저장되거나 수정될 수 있다. 일 예로서, 메모리(130)의 데이터(134)는 미리 정의된 시나리오들을 저장할 수 있다. 주어진 시나리오는 객체의 유형, 차량에 대한 객체의 장소들의 범위 뿐만 아니라, 자율 주행 차량이 객체 주위에서 이동할 수 있는지의 여부, 객체가 방향 지시등(turn signal)을 이용하고 있는지의 여부, 객체의 현재 장소에 관련된 교통 신호등(traffic light)의 상태, 객체가 정지 표지판(stop sign)에 접근하고 있는지의 여부 등과 같은 다른 요인들을 포함하는 시나리오 요건들의 세트를 식별할 수 있다. 요건들은 "우측 방향 지시등 켜짐" 또는 "우회전 전용 차선에 있음" 또는 "차량(100)의 현재 경로로부터 30 내지 60도 오프셋되는 각도로 배향되는 진로를 가짐"과 같은 값들의 범위들을 포함할 수 있다. 일부 예들에서, 미리 결정된 시나리오들은 다수의 객체들에 대해 유사한 정보를 포함할 수 있다.
하나 이상의 프로세서(120)는 상업적으로 이용가능한 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어-기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1이 컴퓨팅 디바이스(110)의 프로세서, 메모리, 및 다른 요소들을 동일한 블록 내에 있는 것으로서 기능적으로 도시하지만, 본 기술 분야의 통상의 기술자라면, 프로세서, 컴퓨팅 디바이스, 또는 메모리는 동일한 물리적 하우징 내에 격납될 수 있거나 격납될 수 없는 다수의 프로세서들, 컴퓨팅 디바이스들, 또는 메모리들을 실제로 포함할 수 있음을 이해할 것이다. 예로서, 내부 전자 디스플레이(152)는 고대역폭 또는 다른 네트워크 접속을 통해 컴퓨팅 디바이스(110)와 인터페이싱할 수 있는 그 자신의 프로세서 또는 중앙 처리 유닛(central processing unit)(CPU), 메모리 등을 갖는 전용 컴퓨팅 디바이스에 의해 제어될 수 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스는 사용자의 클라이언트 디바이스와 통신할 수 있는 사용자 인터페이스 컴퓨팅 디바이스일 수 있다. 유사하게, 메모리는 컴퓨팅 디바이스(110)의 하우징과는 상이한 하우징 내에 위치되는 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조는, 병렬로 동작하거나 동작하지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 집합에 대한 참조를 포함하는 것임을 이해할 것이다.
컴퓨팅 디바이스(110)는 전술한 프로세서 및 메모리와 같은 컴퓨팅 디바이스 뿐만 아니라, 사용자 입력(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 갖는 모니터 또는 정보를 디스플레이하도록 동작가능한 임의의 다른 전자 디바이스)과 관련하여 정상적으로 이용되는 모든 컴포넌트들을 가질 수 있다. 이러한 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152) 뿐만 아니라, 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 캐빈(cabin) 내에 위치될 수 있고, 차량(100) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스(110)에 의해 이용될 수 있다. 내부 스피커 이외에, 하나 이상의 스피커(154)가 차량(100) 외부의 객체들에게 가청 통지들을 제공하기 위해 차량 상의 다양한 장소들에 배열되는 외부 스피커를 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스(110)는 차량(100) 내에 통합되는 자율 주행 컴퓨팅 시스템일 수 있다. 자율 주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가면, 컴퓨팅 디바이스(110)는, 차량의 탑승자로부터의 지속적인 또는 주기적인 입력을 필요로 하거나 요구하지 않는 자율 주행 모드에서, 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해, (차량의 제동을 제어하기 위한) 감속 시스템(160), (차량의 가속을 제어하기 위한) 가속 시스템(162), (휠들(wheels)의 배향 및 차량의 방향을 제어하기 위한) 스티어링 시스템(164), (방향 지시등들을 제어하기 위한) 시그널링 시스템(166), (차량을 어떤 장소로 또는 객체들 주위에서 내비게이팅하기 위한) 내비게이션 시스템(168), (차량의 포지션을 결정하기 위한) 포지셔닝 시스템(170), (차량의 환경에서 객체들을 검출하기 위한) 지각 시스템(172), 및 전력 시스템(174)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진)과 같은 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시, 이러한 시스템들이 컴퓨팅 디바이스(110)에 대해 외부에 있는 것으로 도시되지만, 실제로, 이러한 시스템들은, 다시 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서, 컴퓨팅 디바이스(110) 내에 또한 통합될 수 있다.
컴퓨팅 디바이스(110)는 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예로써, 컴퓨팅 디바이스(110)는 지도 정보 및 내비게이션 시스템(168)으로부터의 데이터를 완전히 자율적으로 이용하여 차량을 목적지 장소로 내비게이팅할 수 있다. 컴퓨팅 디바이스(110)는 해당 장소에 안전하게 도달할 필요가 있을 때, 포지셔닝 시스템(170)을 이용하여 차량의 장소를 결정하고, 지각 시스템(172)을 이용하여 객체들을 검출하고 객체들에 응답할 수 있다. 그렇게 하기 위해서, 컴퓨팅 디바이스(110)는 차량으로 하여금 (예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속하고, (감속 시스템(160)에 의해 엔진에 공급되는 연료를 감소시키고, 기어들을 변경하고, 및/또는 브레이크들을 밟음으로써) 감속하고, (예를 들어, 스티어링 시스템(164)에 의해 차량(100)의 전방 또는 후방 휠들을 회전시킴으로써) 방향을 변경하고, (예를 들어, 시그널링 시스템(166)의 방향 지시등들을 점등함으로써) 그러한 변경들을 시그널링하게 할 수 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은 차량의 엔진과 차량의 휠들 사이의 다양한 컴포넌트들을 포함하는 구동렬(drivetrain)의 일부일 수 있다. 다시, 이들 시스템들을 제어함으로써, 컴퓨팅 디바이스(110)는 또한 차량을 자율적으로 이동시키기 위해 차량의 구동렬을 제어할 수 있다.
일 예로서, 컴퓨팅 디바이스(110)는 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 스티어링 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스(110)에 의해 이용될 수 있다. 예를 들어, 승용차 또는 트럭과 같은 차량(100)이 도로 상에서의 이용을 위해 구성되면, 스티어링 시스템은 차량을 회전시키기 위해 휠들의 각도를 제어하는 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등 또는 브레이크등을 점등함으로써, 차량의 의도를 다른 운전자들 또는 차량들에게 시그널링하기 위해 컴퓨팅 디바이스(110)에 의해 이용될 수 있다.
내비게이션 시스템(168)은 장소에 대한 경로를 결정하여 따르기 위해 컴퓨팅 디바이스(110)에 의해 이용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 컴퓨팅 디바이스(110)가 차량을 내비게이팅하거나 제어하기 위해 이용할 수 있는 지도 정보, 예를 들어, 매우 상세한 지도들을 저장할 수 있다. 일 예로서, 이러한 지도들은 도로들, 차선 마커들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호등들, 건물들, 표지판들, 실시간 교통 정보, 초목, 또는 다른 그러한 객체들 및 정보의 형상 및 고도를 식별할 수 있다. 차선 마커들은 실선 또는 파선 이중 또는 단일 차선 라인들, 실선 또는 파선 차선 라인들, 반사기들 등과 같은 특징부들을 포함할 수 있다. 주어진 차선은 차선의 경계를 정의하는 좌측 및 우측 차선 라인들 또는 다른 차선 마커들과 연관될 수 있다. 따라서, 대부분의 차선들은 하나의 차선 라인의 좌측 에지 및 다른 차선 라인의 우측 에지에 의해 경계가 정해질 수 있다.
지각 시스템(172)은 또한 다른 차량들, 도로 내의 장애물들, 교통 신호들, 표지판들, 나무들 등과 같은 차량 외부의 객체들을 검출하기 위한 하나 이상의 컴포넌트를 포함한다. 예를 들어, 지각 시스템(172)은 컴퓨팅 디바이스(110)에 의해 처리될 수 있는 데이터를 레코딩하는 하나 이상의 LIDAR 센서, 음파 디바이스(sonar device), 레이더 유닛, 카메라 및/또는 임의의 다른 검출 디바이스를 포함할 수 있다. 지각 시스템의 센서들은 장소, 배향, 크기, 형상, 유형(예를 들어, 차량, 보행자, 자전거 사용자 등), 진로 및 이동 속도 등과 같은 객체들 및 그들의 특성들을 검출할 수 있다. 센서들로부터의 원시 데이터(raw data) 및/또는 전술한 특성들은 정량화되거나, 서술적 함수, 벡터, 및/또는 경계 박스로 배열될 수 있고, 지각 시스템(172)에 의해 생성됨에 따라 주기적으로 그리고 지속적으로 컴퓨팅 디바이스(110)에 추가 처리를 위해 전송될 수 있다. 이하에서 보다 상세히 논의되는 바와 같이, 컴퓨팅 디바이스(110)는 포지셔닝 시스템(170)을 이용하여 차량의 장소를 결정하고, 그 장소에 안전하게 도달할 필요가 있을 때 지각 시스템(172)을 이용하여 객체들을 검출하고 그에 응답할 수 있다.
도 2는 도로(210)의 구간에 대한 지도 정보(200)의 일례이다. 지도 정보(200)는 다양한 도로 특징들의 형상, 장소, 및 다른 특성들을 식별하는 정보를 포함한다. 이러한 예에서, 지도 정보는 커브(curb)(220), 차선 라인들(222, 224, 226) 및 커브(228)에 의해 경계지어지는 3개의 차선(212, 214, 216)을 포함한다. 차선들(212 및 214)은 (동쪽 방향으로) 동일한 방향의 교통 흐름을 갖는 반면, 차선(216)은 (서쪽 방향으로) 상이한 교통 흐름을 갖는다. 또한, 차선(212)은, 예를 들어, 차량들이 커브(220)에 인접하여 주차하는 것을 허용하기 위해, 차선(214)보다 상당히 더 넓다. 지도 정보의 예는 단지 몇 개의 도로 특징들, 예를 들어, 커브들, 차선 라인들, 및 차선들을 포함하지만, 도로(210)의 성질이 주어지면, 지도 정보(200)는 또한 교통 신호등, 횡단보도, 인도, 정지 표지판, 양보 표지판, 속도 제한 표지판, 도로 표지판 등과 같은 다양한 다른 도로 특징들을 식별할 수 있다. 도시되지는 않았지만, 상세 지도 정보는 또한 속도 제한들 및 다른 적법한 교통 요건들을 식별하는 정보 뿐만 아니라, 다양한 날짜들 및 시간들에서 전형적인 및 과거의 교통 조건들을 식별하는 이력 정보를 포함할 수 있다.
본 명세서에서 상세 지도 정보는 이미지 기반 지도로서 도시되지만, 지도 정보가 전적으로 이미지 기반일 필요는 없다(예를 들어, 래스터(raster)). 예를 들어, 상세 지도 정보는 도로들, 차선들, 교차로들, 및 이러한 특징들 사이의 접속들과 같은 정보의 하나 이상의 로드 그래프 또는 그래프 네트워크를 포함할 수 있다. 각각의 특징은 그래프 데이터로서 저장될 수 있고, 지리적 장소와 같은 정보와 연관될 수 있고, 그것이 다른 관련 특징들에 링크되든지 또는 링크되지 않든지 간에, 예를 들어, 정지 신호는 도로 및 교차로 등에 링크될 수 있다. 몇몇 예들에서, 연관된 데이터는 특정 도로 그래프 특징들의 효율적인 룩업을 허용하기 위해 도로 그래프의 그리드 기반 인덱스들을 포함할 수 있다.
도 3a 내지 도 3d는 차량(100)의 외부 뷰들의 예들이다. 볼 수 있는 바와 같이, 차량(100)은 헤드라이트들(302), 윈드쉴드(windshield)(303), 후미등(taillight)/방향 지시등(304), 후방 윈드쉴드(305), 도어들(306), 사이드뷰 미러(side view mirror)(308), 타이어들 및 휠들(310), 및 방향 지시/주차 등들(312)과 같은, 전형적인 차량의 많은 특징들을 포함한다. 헤드라이트(302), 후미등/방향 지시등(304), 및 방향 지시/주차 등들(312)은 시그널링 시스템(166)과 연관될 수 있다. 라이트 바(light bar)(307)는 시그널링 시스템(166)과 또한 연관될 수도 있다. 하우징(314)은 지각 시스템(172)의 LIDAR 센서들, 음파 디바이스들, 레이더 유닛들, 카메라들 등과 같은 하나 이상의 센서를 하우징할 수 있지만, 이러한 센서들은 또한 차량의 다른 구역들에 통합될 수 있다.
차량(100)의 하나 이상의 컴퓨팅 디바이스(110)는 또한, 예를 들어, 무선 네트워크 접속들(156)을 이용하여, 다른 컴퓨팅 디바이스들로 및 다른 컴퓨팅 디바이스들로부터 정보를 수신 또는 전송할 수 있다. 무선 네트워크 접속들은, 예를 들어, BLUETOOTH(R), Bluetooth LE, LTE, 셀룰러, 근접 무선 통신들(near field communications) 등 및 전술한 것들의 다양한 조합들을 포함할 수 있다. 도 4 및 도 5는, 각각, 네트워크(460)를 통해 접속되는 복수의 컴퓨팅 디바이스(410, 420, 430, 440) 및 저장 시스템(450)을 포함하는 예시적인 시스템(400)의 그림 및 기능 도면들이다. 시스템(400)은 또한 차량(100), 및 차량(100)과 유사하게 구성될 수 있는 차량(100A)을 포함한다. 간략성을 위해 단지 몇 개의 차량들 및 컴퓨팅 디바이스들만이 도시되지만, 전형적인 시스템은 훨씬 더 많이 포함할 수 있다.
도 4에 도시된 바와 같이, 컴퓨팅 디바이스(410, 420, 430, 440) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어를 포함할 수 있다. 그러한 프로세서들, 메모리들, 데이터 및 명령어들은 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120), 메모리(130), 데이터(134), 및 명령어들(132)과 유사하게 구성될 수 있다.
네트워크(460), 및 중간 노드들은 BLUETOOTH(R), Bluetooth LE와 같은 단거리 통신 프로토콜들, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사에 대한 전용의 통신 프로토콜들을 이용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP 및 이들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다. 그러한 통신은 모뎀들 및 무선 인터페이스들과 같은, 다른 컴퓨팅 디바이스들로 및 다른 컴퓨팅 디바이스들로부터 데이터를 송신할 수 있는 임의의 디바이스에 의해 가능해질 수 있다.
일 예에서, 하나 이상의 컴퓨팅 디바이스(110)는 다른 컴퓨팅 디바이스들로 및 다른 컴퓨팅 디바이스들로부터 데이터를 수신하고, 처리하고, 송신하는 목적을 위해 네트워크의 상이한 노드들과 정보를 교환하는 복수의 컴퓨팅 디바이스들을 갖는 서버, 예를 들어, 로드 밸런싱 서버 팜(load balanced server farm)을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(410)는 네트워크(460)를 통해 차량(100)의 하나 이상의 컴퓨팅 디바이스(110) 또는 차량(100A)의 유사한 컴퓨팅 디바이스 뿐만 아니라, 클라이언트 컴퓨팅 디바이스(420, 430, 440)와 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량들(100 및 100A)은 서버 컴퓨팅 디바이스들에 의해 다양한 장소들로 디스패치될 수 있는 차량들의 무리(fleet)의 일부일 수 있다. 이와 관련하여, 그러한 무리의 차량들은 차량의 각자의 포지셔닝 시스템들에 의해 제공되는 서버 컴퓨팅 디바이스 장소 정보를 주기적으로 전송할 수 있고, 하나 이상의 서버 컴퓨팅 디바이스는 차량들의 장소들을 추적할 수 있다.
또한, 서버 컴퓨팅 디바이스(410)는 컴퓨팅 디바이스(420, 430, 440)의 디스플레이(424, 434, 444)와 같은 디스플레이 상에서 사용자(422, 432, 442)와 같은 사용자에게 정보를 전송 및 제시하기 위해 네트워크(460)를 이용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스(420, 430, 440)는 클라이언트 컴퓨팅 디바이스로서 고려될 수 있다.
도 5에 도시된 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스(420, 430, 440)는 사용자(422, 432, 442)가 이용하도록 의도된 개인용 컴퓨팅 디바이스일 수 있고, 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU)), 데이터 및 명령어들을 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브들), 디스플레이들(424, 434, 444)과 같은 디스플레이(예를 들어, 스크린, 터치 스크린, 프로젝터, 텔레비전, 또는 정보를 표시하도록 동작가능한 다른 디바이스를 갖는 모니터), 및 사용자 입력 디바이스(426, 436, 446)(예를 들어, 마우스, 키보드, 터치 스크린 또는 마이크로폰)를 포함하는 개인용 컴퓨팅 디바이스와 관련하여 통상적으로 이용된 모든 컴포넌트들을 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 비디오 스트림들을 레코딩하기 위한 카메라, 스피커, 네트워크 인터페이스 디바이스, 및 이러한 요소들을 서로 접속하기 위해 이용되는 모든 컴포넌트들을 또한 포함할 수 있다.
클라이언트 컴퓨팅 디바이스(420, 430 및 440)는 각각 풀 사이즈의 개인용 컴퓨팅 디바이스를 포함할 수 있지만, 인터넷과 같은 네트워크를 통해 서버와 데이터를 무선으로 교환할 수 있는 모바일 컴퓨팅 디바이스들을 대안적으로 포함할 수 있다. 단지 예로써, 클라이언트 컴퓨팅 디바이스(420)는 인터넷 또는 다른 네트워크들을 통해 정보를 획득할 수 있는, 무선 인에이블 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스 또는 시스템, 또는 넷북과 같은 모바일 폰 또는 디바이스일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(430)는 도 4에서 손목 시계로서 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 예로서, 사용자는 소형 키보드, 키패드, 마이크로폰을 이용하여, 카메라 또는 터치스크린에 의한 시각적 신호들을 이용하여 정보를 입력할 수 있다.
일부 예들에서, 클라이언트 컴퓨팅 디바이스(440)는 사용자들(422 및 432)과 같은 사용자들에게 컨시어지 서비스들(concierge services)을 제공하기 위해 관리자에 의해 이용되는 컨시어지 워크스테이션일 수 있다. 예를 들어, 컨시어지(442)는 이하에서 더 상세하게 설명되는 바와 같이, 차량들(100 및 100A)의 안전한 운행 및 사용자들의 안전을 보장하게 하기 위해, 컨시어지 워크스테이션(440)을 이용하여, 그 각각의 클라이언트 컴퓨팅 디바이스들 또는 차량들(100 또는 100A)을 통한 사용자들과의 전화 호출 또는 오디오 접속을 통해 통신할 수 있다. 단일 컨시어지 워크스테이션(440)만이 도 4 및 도 5에 도시되지만, 임의의 수의 이러한 워크스테이션들이 전형적인 시스템에 포함될 수 있다.
저장 시스템(450)은 이하에서 더 상세하게 설명되는 바와 같이 다양한 유형의 정보를 저장할 수 있다. 이 정보는, 본 명세서에서 설명되는 특징들 중 일부 또는 전부를 수행하기 위해, 하나 이상의 서버 컴퓨팅 디바이스(410)와 같은 서버 컴퓨팅 디바이스에 의해 검색되거나 또는 그렇지 않은 경우 액세스될 수 있다. 예를 들어, 정보는 하나 이상의 서버 컴퓨팅 디바이스에 대해 사용자를 식별하기 위하여 이용될 수 있는 크리덴셜들(credentials)(예를 들어, 전통적인 단일-인자 인증(single-factor authentication)의 경우에서와 같은 사용자명 및 패스워드 뿐만 아니라, 무작위적 식별자들, 생체계측들 등과 같은 다중-인자 인증들에서 전형적으로 이용되는 다른 유형들의 크리덴셜들)과 같은 사용자 계정 정보를 포함할 수도 있다. 사용자 계정 정보는 사용자의 클라이언트 컴퓨팅 디바이스 (또는, 다수의 디바이스가 동일한 사용자 계정으로 이용되는 경우 디바이스들)의 정보를 식별하는, 사용자명, 연락 정보와 같은 개인 정보 뿐만 아니라, 사용자에 대한 하나 이상의 고유 신호를 또한 포함할 수 있다.
저장 시스템(450)은 장소들 사이의 경로들을 생성 및 평가하기 위한 라우팅 데이터를 또한 저장할 수 있다. 예를 들어, 라우팅 정보는 차량이 제1 장소에서 제2 장소까지 도달하는데 얼마나 오래 걸릴지를 추정하기 위해 이용될 수 있다. 이와 관련하여, 라우팅 정보는, 전술한 바와 같은 상세 지도 정보만큼 자세할 필요는 없지만, 도로들을 포함하는 지도 정보 뿐만 아니라, 방향(편도, 양방향 등), 배향(북, 남 등), 속도 제한들과 같은 해당 도로에 관한 정보 뿐만 아니라, 예상되는 교통 상황들을 식별하는 교통 정보 등을 포함할 수 있다.
저장 시스템(450)은 또한 사용자에게 디스플레이하기 위해 클라이언트 컴퓨팅 디바이스들에 제공될 수 있는 정보를 저장할 수 있다. 예를 들어, 저장 시스템(450)은 주어진 픽업 또는 목적지 장소에 대해 차량이 정지할 가능성이 있는 구역을 결정하기 위한 미리 결정된 거리 정보를 저장할 수 있다. 저장 시스템(450)은 또한 그래픽들, 아이콘들 및 후술되는 바와 같이 사용자에게 디스플레이될 수 있는 다른 아이템들을 저장할 수 있다.
메모리(130)와 마찬가지로, 저장 시스템(250)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능 및 판독 전용 메모리들과 같은, 서버 컴퓨팅 디바이스(410)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터화된 스토리지일 수 있다. 또한, 저장 시스템(450)은 동일한 또는 상이한 지리적 장소들에 물리적으로 위치될 수 있는 복수의 상이한 저장 디바이스들 상에 데이터가 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 접속될 수 있고/있거나 컴퓨팅 디바이스(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 접속되거나 통합될 수 있다.
예시적 방법들
위에서 설명되고 도면들에 예시되는 동작들에 외에, 다양한 동작들이 이제 설명될 것이다. 이하의 동작들은 아래에 설명된 정확한 순서로 수행될 필요가 없다는 점이 이해되어야 한다. 그보다는, 다양한 단계들이 상이한 순서로 또는 동시에 처리될 수 있고, 단계들은 또한 추가되거나 생략될 수 있다.
일 양태에서, 사용자는 차량에 요청하기 위한 애플리케이션을 클라이언트 컴퓨팅 디바이스에 다운로드할 수 있다. 예를 들어, 사용자들(422 및 432)은 이메일 내의 링크를 통해, 웹사이트로부터 직접, 또는 애플리케이션 스토어를 통해 애플리케이션을 클라이언트 컴퓨팅 디바이스(420 및 430)에 다운로드할 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스는 네트워크를 통해 애플리케이션에 대한 요청을, 예를 들어, 하나 이상의 서버 컴퓨팅 디바이스(410)에 송신하고, 그 응답으로 애플리케이션을 수신할 수 있다. 애플리케이션은 클라이언트 컴퓨팅 디바이스에서 국부적으로 설치될 수 있다.
사용자는 다음에 그 또는 그녀의 클라이언트 컴퓨팅 디바이스를 이용하여 애플리케이션에 액세스하고 차량을 요청할 수 있다. 예를 들어, 사용자(432)와 같은 사용자는 클라이언트 컴퓨팅 디바이스(430)를 이용하여 차량에 대한 하나 이상의 서버 컴퓨팅 디바이스(410)에 요청을 전송할 수 있다. 이것의 일부로서, 사용자는 픽업 장소, 목적지 장소, 및 일부 경우들에는, 차량이 정지할 수 있는 서비스 구역 내의 어딘가의 하나 이상의 중간 정지 장소를 식별할 수 있다.
이러한 픽업 및 목적지 장소들은 미리 정의될 수 있고(예를 들어, 주차장의 특정 구역들 등) 또는 단순히 차량들의 서비스 구역 내의 임의의 장소일 수 있다. 예로서, 픽업 장소는 사용자의 클라이언트 컴퓨팅 디바이스의 현재 장소로 디폴트될 수 있거나, 사용자에 의해 사용자의 클라이언트 디바이스에서 입력될 수 있다. 예를 들어, 사용자는 주소 또는 다른 장소 정보를 입력하거나, 픽업 장소를 선택하기 위해 지도 상의 장소를 선택할 수 있다. 일단 사용자가 픽업 및/또는 목적지 장소들 중 하나 이상을 선택하였다면, 클라이언트 컴퓨팅 디바이스(420)는 장소 또는 장소들을 중앙집중화된 디스패치 시스템의 하나 이상의 서버 컴퓨팅 디바이스로 전송할 수 있다. 이에 응답하여, 서버 컴퓨팅 디바이스(410)와 같은 하나 이상의 서버 컴퓨팅 디바이스는, 예를 들어, 사용자에 대한 가용성 및 근접성에 기초하여, 차량(100)과 같은 차량을 선택할 수 있다. 그 다음, 서버 컴퓨팅 디바이스(410)는 사용자를 차량(100)에 대한 승객으로서 할당하고, 선택된 차량(여기서, 차량(100))을 디스패치하여 할당된 승객을 픽업할 수 있다. 이것은 차량의 컴퓨팅 디바이스(110)에, 할당된 승객에 의해 지정된 픽업 및/또는 목적지 장소들 뿐만 아니라, 클라이언트 컴퓨팅 디바이스(430)와 같은 클라이언트 컴퓨팅 디바이스를 인증하기 위해 차량(100)의 컴퓨팅 디바이스(110)에 의해 이용될 수 있는 정보를 제공하는 것을 포함할 수 있다.
도 6은 도 2의 도로(210)에 대응하는 도로(610)를 따라 주행하는 차량(100)의 예시적인 도면이다. 그와 관련하여, 차선들(612, 614, 616)은 차선들(212, 214, 216)의 형상 및 장소에 대응하고, 커브들(620, 628)은 커브(220)의 형상 및 장소에 대응하고, 차선 라인들(622, 624, 626)은 차선 라인들(222, 224, 226) 및 커브(228)의 형상 및 장소에 대응한다. 이러한 예에서, 차량(100)은 차선(612)에서 이동하고 있다. 차량(640, 642 및 644)은, 차량(646)이 차선(616)에서 이동하고 있는 동안, 커브(620)를 따라 차선(612) 내에서 주차된다. 보행자들(650, 652, 654, 656)은 도로(210) 주위에 위치되지만, 지각 시스템(172)의 센서들의 범위 내에 있다.
차량이 차선(612)을 따라 이동함에 따라, 지각 시스템(172)은 커브들(620, 628), 차선 라인들(622, 624, 624) 뿐만 아니라, 차량들(640, 642, 644, 646)과 같은 객체들의 형상들 및 장소에 관한 센서 데이터를 컴퓨팅 디바이스들에 제공한다. 도 7은 차량(100)이 도 6에 도시된 바와 같은 상황에 있을 때, 지각 시스템(172)의 다양한 센서들에 의해 지각되는 센서 데이터를, 컴퓨팅 디바이스(110)에 이용가능한 다른 정보와 조합하여 도시한다. 이러한 예에서, 차량들(640, 642, 644, 646)은 지각 시스템(172)에 의해 컴퓨팅 디바이스(110)에 제공되는 바와 같이 객체들(740, 742, 744, 746)에 대한 경계 박스들로 표현된다. 보행자(650, 652, 654, 656)는 또한 경계 박스(750, 752, 754, 756)(이하 간략함을 위해 보행자)에 의해 표현된다. 물론, 이러한 경계 박스들은 객체에 대응하는 데이터 포인트들이 적어도 대략적으로 내부에 경계를 이루는 공간의 볼륨만을 나타낸다. 또한, 차량(100)의 실제 진로 및 경계 박스(746)의 추정된 진로는 각각 화살표들(760 및 762)에 의해 표현된다. 경계 박스들(740, 742, 744)이 매우 느리게 이동하거나 또는 전혀 이동하지 않는 것으로 나타나는 경우, 컴퓨팅 디바이스(110)는 이러한 경계 박스들에 의해 표현된 객체들이 커브(620)를 따라 주차된 것으로 결정할 수 있다.
차량이 픽업 장소로부터 시간 또는 공간적으로, 이전 또는 이후의 언젠가와 같이, 미리 결정된 거리 내에 있으면, 차량의 컴퓨팅 디바이스들은 차량을 정지 및/또는 주차하기 위한 장소를 찾기 시작해야 하고, 할당된 승객의 클라이언트 디바이스들은 차량에 의해 인증된다. 일 예로서, 이러한 거리는 픽업 장소로부터 50 미터 또는 50 피트 정도(more or less)일 수 있다. 예를 들어, 근접 무선 통신, BLUETOOTH(R) 또는 다른 무선 프로토콜들을 이용하여, 컴퓨팅 디바이스들은 클라이언트 디바이스와 통신하여 링크를 확립하려고 시도할 수 있다. 이러한 링크가 성공적으로 확립될 때, 클라이언트 디바이스는 인증될 수 있다.
예를 들어, 도 7을 다시 참조하면, 차량(100)은 픽업 장소(770)로부터 미리 결정된 거리(772)에 방금 도달하였다. 이 시점에서, 차량(100)은 서버 컴퓨팅 디바이스(410)로부터 수신된 정보를 이용하여, 할당된 승객의 클라이언트 디바이스를 인증하려고 시도할 것이다. 이와 관련하여, 컴퓨팅 디바이스(110 및 430)는 정보를 직접 통신을 할 수 있다(즉, 정보가 서버 컴퓨팅 디바이스(410)에 의해 중계될 필요가 없음).
일단 인증이 발생하였다면, 컴퓨팅 디바이스들은 전술한 바와 같이 클라이언트 디바이스로부터 정보를 수신할 수 있다. 컴퓨팅 디바이스(110)에 의해 클라이언트 컴퓨팅 디바이스(430)로부터 수신된 정보는 클라이언트 컴퓨팅 디바이스의 배향 및/또는 진로에 관한 클라이언트 컴퓨팅 디바이스(430)의 가속도계 또는 자이로스코프로부터의 정보를 포함할 수 있다. 또한, 컴퓨팅 디바이스(110)는 클라이언트 컴퓨팅 디바이스(430)로부터 GPS 또는 다른 장소 정보를 수신할 수 있다.
동시에, 컴퓨팅 디바이스들은 추가적인 신호들을 식별하기 위해 차량의 지각 시스템으로부터 수신된 정보를 분석하기 시작할 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는 지각 시스템(172)의 센서들의 범위 내의 임의의 보행자들을 식별하는 정보를 지각 시스템(172)으로부터 수신할 수 있다. 이것은 보행자들에 대응하는 객체들(750-756)의 속도 및 배향과 같은 장소 및 다른 특성들을 포함할 수 있다. 그 다음, 컴퓨팅 디바이스들은 50 미터 정도와 같은 차량의 미리 결정된 거리 내의 모든 그러한 보행자들의 세트, 또는 50 미터 정도와 같은 픽업 장소의 미리 결정된 거리 내의 모든 그러한 보행자들의 세트를 식별할 수 있다. 따라서, 도 8의 예에서, 컴퓨팅 디바이스(110)는 객체들(750 내지 756) 모두를 미리 결정된 거리 내에 있는 것으로서 식별할 수 있다.
세트의 임의의 그러한 식별된 객체들 또는 보행자들의 경우, 컴퓨팅 디바이스(110)는, 상대적인 자세(포지션 및 배향 또는 진로), 속도 뿐만 아니라, 시선 방향과 같은 그 보행자들의 특정한 특성들 뿐만 아니라, 각각의 보행자의 (2 미터 정도와 같은) 미리 결정된 거리 내의 다른 보행자들의 수를 결정하기 시작할 수 있다. 일부 경우들에서, 컴퓨팅 디바이스(110)는 심지어 보행자들을 차량을 대기할 가능성이 더 크거나 더 작은 것으로 분류할 수 있다. 예를 들어, 차량의 현재 장소로부터 떨어져 걷고 있는 사람은 차량 쪽으로 걷고 있는 누군가보다 대기할 가능성이 더 작을 수 있다. 이것은 차량을 대기하지 않을 가능성이 매우 높은 세트로부터 특정 보행자들을 필터링하기 위해 이용될 수 있고, 그에 의해 이하에서 설명되는 비교들에 의해 요구되는 처리의 양을 감소시킬 수 있다.
예를 들어, 수 초와 같은 짧은 시간 기간이 도 7의 예로부터 도 8의 예로 경과했다. 도 8에 도시된 바와 같이, 차량(100)은 픽업 장소(770) 쪽으로 진행하였고, 이제 도 7의 예에서보다 픽업 장소(770)에 더 가깝다. 또한, 보행자들(750, 752 및 754)은 화살표들(850, 852, 및 854)에 의해 각각 표시된 거리들 및 방향들로 이동하였다. 보행자(756)는 도 8의 시간과 도 7의 시간 사이에서 정지된다. 짧은 시간 기간에 걸쳐 이러한 거리의 변화를 이용하는 것은 이러한 보행자들의 추정 속도를 또한 제공할 수 있다. 예를 들어, 보행자(750)는 화살표(850)의 방향으로 초당 대략 5 미터로 이동할 수 있고, 보행자들(752 및 754)은 각각 화살표들(852 및 854)의 방향으로 초당 대략 2 미터로 이동할 수 있고, 보행자(756)는 정지되어 있는 것으로 나타날 수 있다. 물론, 이러한 속도의 결정들은 컴퓨팅 디바이스(110)에 의해 또는 지각 시스템(172)에 의해 행해지고 컴퓨팅 디바이스들(110)에 제공될 수 있다.
또한, 컴퓨팅 디바이스(110)는 또한 클라이언트 컴퓨팅 디바이스(430)로부터 수신된 GPS 또는 다른 장소 정보를 처리하여, 할당된 승객 또는 그보다는 할당된 승객의 클라이언트 컴퓨팅 디바이스의 추정된 속도를 결정할 수 있다. 예를 들어, 시간에 따른 장소의 변화들을 도시함으로써, 컴퓨팅 디바이스(110)는 클라이언트 컴퓨팅 디바이스(430)의 추정 속도를 결정할 수 있다. 속도 추정은 속도의 추정된 방향을 포함할 수 있다. GPS 정보는 다소 신뢰할 수 없을 수 있지만, 일부 경우들에서, 추정된 속도는 실제로 더 신뢰할 수 있다.
그 다음, 컴퓨팅 디바이스(110)는 클라이언트 컴퓨팅 디바이스(430)로부터 수신된 정보를, 지각 시스템(172)으로부터의 정보로부터 결정된 각각의 보행자의 특성들과 비교하기 시작할 수 있다. 이것은 보행자들의 세트를 단지 몇 개 또는 하나로 좁히기 위해 이용될 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(430)의 추정된 속도는 보행자들 각각의 추정된 속도들과 비교될 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(430)의 추정된 속도가 화살표(760)의 방향에 대응하는 추정된 방향으로 초당 2 미터인 경우, 보행자들(752 및 754)은 (화살표(850)에 의해 표시된 바와 같이) 매우 상이한 방향으로 더 큰 속도로 이동하고 있는 보행자들(750)보다 승객일 가능성이 더 높을 수 있다. 따라서, 보행자들(756 및 750)은 가능한 보행자들의 세트로부터 필터링될 수 있다.
또한, 전술한 바와 같이, 컴퓨팅 디바이스(110)에 의해 클라이언트 컴퓨팅 디바이스(430)로부터 수신된 GPS 정보는 식별된 보행자들 또는 보행자들(750-756) 각각의 검출된 포지션과 비교될 수 있다. 유사하게, 클라이언트 컴퓨팅 디바이스(430)로부터 수신된 가속도계 또는 진로 정보는 식별된 보행자들 각각의 검출된 진로와 비교될 수 있다. 이러한 추가적인 비교들은 보행자들의 세트를 더 좁히기 위해 이용될 수 있다.
보행자의 시선의 배향과 같은 다른 신호들은 또한, 이것이 가속도계 정보와 일치하는지(사람들은 일반적으로 그들이 이동하고 있는 방향에서 보게 됨), 그리고 또한 그것이 차량 또는 그 또는 그녀의 컴퓨팅 디바이스(그들이 차량의 현재 장소를 체크하고 있는 경우)를 보고 있는 (승객일 가능성이 있는) 사람과 일치하는지를 결정하기 위해 이용될 수 있다. 예를 들어, 보행자(750)는 픽업 장소(770)로부터의 그의 거리로 인해서, 및 보행자(750)가 차량(100) 및 픽업 장소(770) 모두로부터 멀어지게 이동하는 것처럼 보이기 때문에, 필터링될 수 있다. 동시에, 보행자들(752 및 754)은 모두 픽업 장소(770) 쪽으로 이동하고 있고, 차량(100)으로부터 멀어지지도 차량(100) 쪽으로 가지도 않으므로, 이들 보행자들이 보행자(750)보다 할당된 승객일 가능성이 더 높게 한다. 이러한 예에서, 보행자(752)는 차량(100)의 방향을 보고 있을 수 있으며, 이는 또한 보행자(752)가 할당된 승객일 가능성이 더 높게 만들 수 있다. 유사하게, 보행자(756)는 차량(100) 쪽으로 배향되어 차량(100)을 볼 수 있으며, 이는 다시 보행자(756)가 할당된 승객일 가능성이 더 높게 만든다.
또한, 컴퓨팅 디바이스들이 하나보다 많은 사람을 픽업하기 위해 디스패치된 경우, 세트의 각각의 보행자의, 2 미터 정도와 같은, 미리 결정된 거리 내의 보행자들에 대응하는 다른 보행자들의 수는 세트의 보행자들 중, 그 또는 그녀가 수적으로 동일한 그룹에 있을 가능성이 있는, 보행자들이 할당된 승객일 가능성이 더 높은 것으로 식별하는 것을 도울 수 있다. 다시, 이러한 신호들 각각을 고려하면, 컴퓨팅 디바이스들은 관찰된 보행자들을 할당된 승객일 가능성이 있는 매우 작은(1 또는 2 정도) 보행자들의 세트로 좁힐 수 있다. 예를 들어, 컴퓨팅 디바이스들이 2명의 승객들이 픽업될 것임을 나타내는 명령어들을 컴퓨팅 디바이스(110)에 제공하는 경우, 보행자(754)가 다른 보행자(여기서, 보행자(756))에 가깝기 때문에, 보행자(754)는 보행자(752)보다 승객이 될 가능성이 더 클 수 있다. 다시, 보행자들은 그에 따라 필터링되거나 또는 그렇지 않은 경우 세트로부터 제거될 수 있다.
그 후, 차량이 픽업 장소 쪽으로 이동함에 따라 세트가 업데이트될 수 있다. 그에 부가하여, 세트는 차량이 정지해야 할 곳을 결정하기 위해 이용될 수 있는데, 그 이유는 이것이 픽업 장소로 계속 진행하는 것보다는 세트의 하나 이상의 보행자에 더 가까운 정지할 지점을 찾는 것이 더 용이할 수 있기 때문이다. 세트가 단지 하나의 보행자(또는 서로 매우 가까운 소수의 보행자들)를 포함하는 경우, 컴퓨팅 디바이스(110)는 심지어, 주차 지점 또는 구역에 차량을 정차하지 않고 차선에서 정지하는 것이 안전한지 여부를 결정하여, 승객이 승차하게 할 수 있다. 예를 들어, 세트가 보행자(752)만을 포함하는 경우, 컴퓨팅 디바이스(110)는, 정지하여 할당된 승객을 대기하기 위해 보행자(744) 뒤에 또는 그를 지나치기 이전에 차량을 정차하는 것이, 컴퓨팅 디바이스(110)가 보행자(744)를 지나친 이후에 차량을 정차하는 것보다 더 효율적일 수 있다. 유사하게, 세트가 보행자(754)만을 포함하는 경우, 컴퓨팅 디바이스(110)가 정지하여 할당된 승객을 대기하기 위해 보행자(744)를 지나친 후에 차량을 정차하는 것이, 컴퓨팅 디바이스(110)가 보행자(744)를 지나친 뒤에 또는 이전에 차량을 정차하는 것보다 더 효율적일 수 있다.
일부 경우들에서, 승객은 또한 컴퓨팅 디바이스(110)가 그 또는 그녀를 인식하는 것을 돕도록 요청받을 수 있다. 예를 들어, 승객은 신체 형상 및 크기의 얼굴 인식 또는 인식을 허용하기 위해 승객의 이미지를 공유하도록 요청받을 수 있다. 유사하게, 승객은 신장 및 체중, (셔츠 컬러, 팬츠 컬러, 또는 다른 특성들과 같은) 의류 상세들과 같은 그들 자신의 특성들을 입력하도록 요청받을 수 있다. 승객은 또한 특정한 방식으로 그 또는 그녀의 클라이언트 디바이스를 웨이빙(waiving) 또는 홀딩 업(holding up) 또는 이동시키고, 그 또는 그녀의 클라이언트 디바이스의 디스플레이 상에 특정한 컬러 또는 코드를 디스플레이하고, 디스플레이를 차량 쪽으로 배향시키는 것과 같은 몇몇 추가적인 제스처를 행하도록 요청받을 수 있다. 승객은 또한 차량이 보행자들의 세트를 좁히는 것을 돕기 위해 "당신의 셔츠는 무슨 컬러인가 ?" 또는 "당신의 셔츠는 레드인가 ?"와 같은 특정 질문들을 요청받을 수 있다. 다른 대안에서, 승객의 이미지들 또는 특성들은 하나의 트립 동안 결정될 수 있고, 승객들이 나중의 트립들을 위해 이러한 정보를 저장하기를 선택하는 경우, 이러한 정보는 컴퓨팅 디바이스들에 의해 나중의 트립에서 동일한 승객을 인식하기 위해 이용될 수 있다. 다시, 이러한 정보 모두는 특정 보행자를 차량에 할당된 승객으로서 식별하기 위해 이용될 수 있다.
추가적으로 또는 대안적으로, 세트에 대해 보행자들을 식별하고/하거나 세트로부터 보행자들을 필터링하기 위해, 위에서 설명된 신호들 중 임의의 것이 확률적으로 적용될 수 있다. 예를 들어, 세트는 보행자에 대응하는 각각의 보행자에 대한 모든 신호들에 대한 결합된 가능성들에 대한 임계화에 의해 채워질 수 있다. 그 다음, 세트는 결합된 가능성들에 기초하여 등급화될 수 있다. 더 높거나 가장 높은 등급 보행자들은 할당된 승객일 가능성이 더 높은 것으로 간주될 것이다. 이러한 예에서, 차량은 결합된 가능성이 특정 임계값을 초과할 때 그리고/또는 보행자가 가장 높은 등급 보행자에 대응하는 경우, 높은 등급 보행자에 대응하는 보행자를 대기하기 위해 정지할 수 있다.
특정 승객을 인식하는 정확도는 머신 학습 기술들을 이용함으로써 증가될 수 있다. 예를 들어, 특정 보행자가 차량에 할당된 승객일 가능성이 얼마나 있는지의 모델은 클라이언트 디바이스들로부터 수신된 정보 뿐만 아니라, 다양한 보행자들에 대해 지각 시스템에 의해 검출된 정보를 입력함으로써 생성될 수 있다. 할당된 승객인 것으로 드러난 보행자들은 승객들로서 라벨링될 수 있고, 할당된 승객이 아닌 것으로 드러난 보행자들은 그와 같이 라벨링될 수 있다. 모델의 출력은 각각의 보행자가 할당된 승객일 가능성일 수 있다. 컴퓨팅 디바이스들이 보행자들에 대응하는 보행자들의 세트에 대한 데이터를 모드 내로 입력할 때, 위에서 설명된 확률적 접근법에서와 같이, 최고 가능성을 갖는 세트의 보행자는 할당된 승객인 것으로 할당될 수 있다. 시간이 지남에 따라, 상이한 승객들 및 승객이 아닌 보행자들에 대해 더 많은 정보가 이용가능해짐에 따라, 모델은 특정 보행자가 차량에 할당될 가능성이 있는지를 식별하기 위해 계속 트레이닝되고 이용될 수 있다.
대안으로서, 할당된 승객을 식별하려고 시도하기 전에 인증하기보다는, 차량이 픽업 장소의 미리 결정된 거리 내에 있는 경우, 컴퓨팅 디바이스(110)는 먼저, 할당된 승객을 식별하려고 시도할 수 있다. 이것은 전술한 예들을 이용하여, 또는 할당된 승객을 인증하기 위해 (할당된 승객의 클라이언트 컴퓨팅 디바이스와 통신하기보다는) 컴퓨터 비전 기술들을 이용하여 달성될 수 있다. 물론, 이것은 할당된 승객의 클라이언트 컴퓨팅 디바이스로부터의 정보가 차량의 컴퓨팅 디바이스들에 도달하기 전에 서버 컴퓨팅 디바이스와 관련될 가능성이 가장 높기 때문에 더 복잡할 수 있다.
도 9는 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120)와 같은 하나 이상의 프로세서에 의해 수행될 수 있는 흐름도(900)이다. 이러한 예에서, 블록(910)에서, 픽업 장소에서 할당된 승객을 픽업하기 위한 디스패치 지시들이 있다. 디스패치 지시들은 할당된 승객과 연관된 클라이언트 컴퓨팅 디바이스에 대한 인증 정보를 포함한다. 블록(920)에서, 차량은 자율 주행 모드에서 픽업 장소 쪽으로 이동된다. 블록(930)에서, 클라이언트 컴퓨팅 디바이스가, 인증 정보를 이용하여 인증된다. 클라이언트 컴퓨팅 디바이스가 인증된 후, 블록(940)에서, 차량의 미리 결정된 거리 내의 보행자들의 세트가 차량의 센서에 의해 생성된 센서 정보로부터 식별되고, 블록(950)에서, 장소 정보가 시간 기간에 걸쳐 클라이언트 컴퓨팅 디바이스로부터 수신된다. 블록(950)에서, 수신된 장소 정보는 클라이언트 컴퓨팅 디바이스의 속도를 추정하기 위해 이용된다. 블록(960)에서, 할당된 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하기 위해 추정된 속도가 이용된다. 그 다음, 블록(970)에서, 차량은 서브세트에 기초하여 할당된 승객이 차량에 승차하게 하도록 정지된다.
달리 명시되지 않는 한, 상술한 대안적인 예들은 상호 배타적인 것이 아니며, 고유의 장점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 위에서 설명된 특징의 이들 및 다른 변형 및 조합은 청구항들에 의해 규정되는 청구 대상을 벗어나지 않고서 이용될 수 있기 때문에, 전술한 실시예의 설명은 청구항들에 의해 규정되는 청구 대상의 제한으로서가 아니라 예시로서 취해져야 한다. 또한, 본 명세서에 설명된 예들의 제공 뿐만 아니라, "∼와 같은", "포함하는" 등과 같은 절들은 청구항들의 청구 대상을 특정 예들로 제한하는 것으로서 해석되어서는 안되며, 그보다는, 예들은 많은 가능한 실시예들 중 단지 하나를 예시하도록 의도된다. 더욱이, 상이한 도면들에서의 동일한 참조 번호들은 동일 또는 유사한 요소들을 식별할 수 있다.

Claims (20)

  1. 할당된 승객을 인식하는 방법으로서,
    차량의 하나 이상의 프로세서에 의해, 픽업 장소에서 할당된 승객을 픽업하기 위한 디스패치 지시들을 수신하는 단계―상기 디스패치 지시들은 상기 할당된 승객과 연관된 클라이언트 컴퓨팅 디바이스에 대한 인증 정보를 포함함―;
    상기 하나 이상의 프로세서에 의해, 자율 주행 모드에서 상기 차량을 상기 픽업 장소 쪽으로 이동하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 인증 정보를 이용하여 상기 클라이언트 컴퓨팅 디바이스를 인증하는 단계;
    상기 클라이언트 컴퓨팅 디바이스를 인증한 후, 상기 하나 이상의 프로세서에 의해, 상기 차량의 센서에 의해 생성된 센서 정보로부터 상기 차량의 미리 결정된 거리 내의 보행자들의 세트를 식별하는 단계;
    상기 클라이언트 컴퓨팅 디바이스를 인증한 후, 상기 하나 이상의 프로세서에 의해, 시간 기간에 걸쳐 상기 클라이언트 컴퓨팅 디바이스의 장소들을 식별하는 정보를 상기 클라이언트 컴퓨팅 디바이스로부터 수신하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 수신된 정보를 이용하여 상기 클라이언트 컴퓨팅 디바이스의 속도를 추정하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 추정된 속도를 이용하여, 상기 할당된 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 서브세트에 기초하여 상기 할당된 승객이 상기 차량에 승차하게 하도록 상기 차량을 정지시키는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 수신된 정보는 상기 클라이언트 컴퓨팅 디바이스의 센서에 의해 생성된 배향 정보를 포함하고, 상기 방법은,
    상기 보행자들의 세트의 각각의 보행자의 배향을 결정하는 단계; 및
    상기 배향 정보를 상기 결정된 배향들과 비교하는 단계―상기 비교는 상기 서브세트를 식별하기 위해 더 이용됨―를 더 포함하는, 방법.
  3. 제1항에 있어서,
    상기 센서 정보를 이용하여 상기 보행자들의 세트의 각각의 보행자에 대한 시선 방향을 검출하는 단계를 더 포함하고, 각각의 보행자에 대한 상기 시선 검출은 상기 서브세트를 식별하기 위해 더 이용되는, 방법.
  4. 제1항에 있어서,
    상기 센서 정보를 이용하여 상기 보행자들의 세트의 각각의 보행자의 미리 결정된 거리 내의 보행자들에 대응하는 다른 보행자들의 수를 결정하는 단계를 더 포함하고, 각각의 보행자의 상기 미리 결정된 거리 내의 다른 보행자들의 상기 결정된 수는 상기 서브세트를 식별하기 위해 더 이용되는, 방법.
  5. 제4항에 있어서,
    상기 디스패치 지시들은 승객들의 수를 더 식별하고, 상기 식별된 승객들의 수는 상기 서브세트를 식별하기 위해 더 이용되는, 방법.
  6. 제1항에 있어서,
    상기 보행자들의 세트는 추가적인 장소 정보가 상기 클라이언트 컴퓨팅 디바이스로부터 수신됨에 따라 업데이트되는, 방법.
  7. 제1항에 있어서,
    상기 차량을 정지시키는 단계는 상기 픽업 장소보다 상기 서브세트의 보행자에 더 가까운 상기 차량을 정지시키는 것을 포함하는, 방법.
  8. 제1항에 있어서,
    상기 차량을 정지시키는 단계는 상기 차량이 상기 픽업 장소에 도달하기 전에 상기 차량을 정지시키는 것을 포함하는, 방법.
  9. 제1항에 있어서,
    상기 센서 정보를 이용하여 상기 보행자들의 세트의 둘 이상의 보행자들 사이에 상이한 특성을 식별하는 단계;
    상기 특성에 관한 질문을 포함하는 요청을 상기 클라이언트 디바이스에 전송하는 단계; 및
    상기 클라이언트 컴퓨팅 디바이스로부터 응답을 수신하는 단계―상기 응답은 상기 서브세트를 식별하기 위해 더 이용됨―를 더 포함하는, 방법.
  10. 제1항에 있어서,
    상기 추정된 속도를 이용하여, 상기 할당된 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하는 단계는, 상기 보행자들의 세트의 각각의 보행자가 상기 할당된 승객일 가능성을 식별하기 위해, 추정된 속도를 모델 내로 입력하는 것을 포함하고, 상기 보행자들의 세트의 각각의 보행자가 상기 승객일 가능성은 상기 서브세트를 식별하기 위해 더 이용되는, 방법.
  11. 할당된 승객을 인식하기 위한 시스템으로서,
    상기 시스템은 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는,
    픽업 장소에서 승객을 픽업하기 위한 디스패치 지시들을 수신―상기 디스패치 지시들은 상기 할당된 승객과 연관된 클라이언트 컴퓨팅 디바이스에 대한 인증 정보를 포함함―하고;
    자율 주행 모드에서 차량을 상기 픽업 장소 쪽으로 이동하고;
    상기 인증 정보를 이용하여 상기 클라이언트 컴퓨팅 디바이스를 인증하고;
    상기 클라이언트 컴퓨팅 디바이스를 인증한 후, 상기 차량의 센서에 의해 생성된 센서 정보로부터 상기 차량의 미리 결정된 거리 내의 보행자들에 대응하는 보행자들의 세트를 식별하고;
    상기 클라이언트 컴퓨팅 디바이스를 인증한 후, 시간 기간에 걸쳐 상기 클라이언트 컴퓨팅 디바이스로부터 장소 정보를 수신하고;
    시간 기간에 걸쳐 상기 클라이언트 컴퓨팅 디바이스의 장소들을 식별하는 정보를 상기 클라이언트 컴퓨팅 디바이스로부터 수신하고;
    상기 수신된 정보를 이용하여 상기 클라이언트 컴퓨팅 디바이스의 속도를 추정하고;
    상기 추정된 속도를 이용하여, 상기 승객일 가능성이 있는 보행자들의 세트의 서브세트를 식별하고;
    상기 서브세트에 기초하여 상기 승객이 상기 차량에 승차하게 하도록 상기 차량을 정지시키도록 구성되는, 시스템
  12. 제11항에 있어서,
    상기 수신된 정보는 상기 클라이언트 컴퓨팅 디바이스의 센서에 의해 생성된 배향 정보를 포함하고, 상기 하나 이상의 프로세서는,
    상기 승객의 배향을 결정하고;
    상기 배향 정보를 상기 결정된 배향과 비교―상기 비교는 상기 서브세트를 식별하기 위해 더 이용됨―하도록 더 구성되는, 시스템.
  13. 제11항에 있어서,
    상기 하나 이상의 프로세서는, 상기 센서 정보를 이용하여 상기 보행자들의 세트의 각각의 보행자에 대한 시선 방향을 검출하도록 더 구성되고, 각각의 보행자에 대한 상기 시선 검출은 상기 하나 이상의 프로세서에 의해 상기 서브세트를 식별하기 위해 더 이용되는, 시스템.
  14. 제11항에 있어서,
    상기 하나 이상의 프로세서는, 상기 센서 정보를 이용하여 상기 보행자들의 세트의 각각의 보행자들의 미리 결정된 거리 내의 보행자들에 대응하는 다른 보행자들의 수를 결정하도록 더 구성되고, 각각의 보행자의 상기 미리 결정된 거리 내의 다른 보행자들의 상기 결정된 수는 상기 하나 이상의 프로세서에 의해 상기 서브세트를 식별하기 위해 더 이용되는, 시스템.
  15. 제14항에 있어서,
    상기 디스패치 지시들은 승객들의 수를 더 식별하고, 상기 식별된 승객들의 수는 상기 하나 이상의 프로세서에 의해 상기 서브세트를 식별하기 위해 더 이용되는, 시스템.
  16. 제11항에 있어서,
    상기 보행자들의 세트는 추가적인 장소 정보가 상기 클라이언트 컴퓨팅 디바이스로부터 수신됨에 따라 업데이트되는, 시스템.
  17. 제11항에 있어서,
    상기 차량을 정지시키는 것은 상기 픽업 장소보다 상기 서브세트의 보행자에 더 가까운 상기 차량을 정지시키는 것을 포함하는, 시스템.
  18. 제11항에 있어서,
    상기 차량을 정지시키는 것은 상기 차량이 상기 픽업 장소에 도달하기 전에 상기 차량을 정지시키는 것을 포함하는, 시스템.
  19. 제11항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 센서 정보를 이용하여 상기 보행자들의 세트의 둘 이상의 보행자들 사이에 상이한 특성을 식별하고;
    상기 특성에 관한 질문을 포함하는 요청을 상기 클라이언트 디바이스에 전송하고;
    상기 클라이언트 컴퓨팅 디바이스로부터 응답을 수신―상기 응답은 상기 서브세트를 식별하기 위해 더 이용됨―하도록 더 구성되는, 시스템.
  20. 제11항에 있어서,
    상기 차량을 더 포함하는, 시스템.
KR1020207004181A 2017-08-17 2018-08-03 자율 차량들에 대해 할당된 승객들의 인식 KR102315335B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/679,485 US10579788B2 (en) 2017-08-17 2017-08-17 Recognizing assigned passengers for autonomous vehicles
US15/679,485 2017-08-17
PCT/US2018/045137 WO2019036208A1 (en) 2017-08-17 2018-08-03 RECOGNITION OF ASSIGNED PASSENGERS FOR AUTONOMOUS VEHICLES

Publications (2)

Publication Number Publication Date
KR20200018736A true KR20200018736A (ko) 2020-02-19
KR102315335B1 KR102315335B1 (ko) 2021-10-20

Family

ID=65361555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004181A KR102315335B1 (ko) 2017-08-17 2018-08-03 자율 차량들에 대해 할당된 승객들의 인식

Country Status (9)

Country Link
US (3) US10579788B2 (ko)
EP (2) EP4138056B1 (ko)
JP (2) JP6968255B2 (ko)
KR (1) KR102315335B1 (ko)
CN (2) CN118038405A (ko)
AU (2) AU2018318833B2 (ko)
CA (1) CA3072744C (ko)
SG (2) SG10202106060SA (ko)
WO (1) WO2019036208A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US11283877B2 (en) * 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US10579788B2 (en) 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles
US10756900B2 (en) * 2017-09-28 2020-08-25 Hand Held Products, Inc. Non-repudiation protocol using time-based one-time password (TOTP)
WO2021010524A1 (ko) * 2019-07-17 2021-01-21 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
DE102019213365B4 (de) * 2019-09-03 2024-03-21 Volkswagen Aktiengesellschaft Routenanpassungsverfahren, Steuerungsanordnung, Transportsystem
US20220222600A1 (en) * 2019-09-30 2022-07-14 Gm Cruise Holdings Llc User authentication and personalization without user credentials
KR20210080993A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 전자 장치 및 그의 동작 방법
CN111605505B (zh) * 2020-02-25 2022-03-22 江苏大学 基于深度学习的主动式气囊拉带装置及其控制方法
CN112883786B (zh) * 2021-01-14 2021-09-10 深圳市博远科技创新发展有限公司 一种智能交通安全综合管理与监管系统及其使用方法
US20220258773A1 (en) * 2021-02-15 2022-08-18 Ford Global Technologies, Llc Autonomous Vehicle Rider Authentication, Boarding, And Drop Off Confirmation
JP2022132902A (ja) * 2021-03-01 2022-09-13 本田技研工業株式会社 移動体の制御システム、移動体、移動体の制御方法、およびプログラム
JP7439781B2 (ja) * 2021-03-02 2024-02-28 トヨタ自動車株式会社 自動運転車両、乗合車両及び車両乗換システム
IT202200008276A1 (it) * 2022-04-27 2023-10-27 Fiat Ricerche "Autoveicolo a guida autonoma, dotato di un sistema per il riconoscimento a distanza, ed il recupero, di un passeggero, e relativo procedimento"
IT202200010040A1 (it) * 2022-05-16 2023-11-16 Fiat Ricerche "Autoveicolo a guida autonoma, dotato di un sistema per rilevare e riconoscere caratteristiche identificative di un passeggero, e relativo procedimento"

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547249B2 (en) * 2008-10-01 2013-10-01 Universitaet Kassel Method for avoiding collision
US20170153714A1 (en) * 2016-03-03 2017-06-01 Cruise Automation, Inc. System and method for intended passenger detection

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694248B2 (en) 1995-10-27 2004-02-17 Total Technology Inc. Fully automated vehicle dispatching, monitoring and billing
JP3375258B2 (ja) 1996-11-07 2003-02-10 株式会社日立製作所 地図表示方法及び装置並びにその装置を備えたナビゲーション装置
WO2003005289A1 (en) 1997-03-03 2003-01-16 Keith Whited Storage, retrieval and display system for marine specimens
US6545601B1 (en) 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
US6812851B1 (en) 1999-12-15 2004-11-02 Vert, Inc. Apparatuses for displaying information on vehicles
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US6356838B1 (en) 2000-07-25 2002-03-12 Sunil Paul System and method for determining an efficient transportation route
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US6414635B1 (en) 2000-10-23 2002-07-02 Wayport, Inc. Geographic-based communication service system with more precise determination of a user's known geographic location
JP2002149912A (ja) 2000-11-13 2002-05-24 Toshihiko Furukawa 通報システム
US20110068954A1 (en) 2006-06-20 2011-03-24 Zonar Systems, Inc. Method and apparatus to collect object identification data during operation of a vehicle and analysis of such data
US20030096621A1 (en) * 2001-11-19 2003-05-22 Rittwik Jana Method and apparatus for identifying a group of users of a wireless service
US6801837B2 (en) 2002-01-03 2004-10-05 Meritor Light Vehicle Technology, Llc Intervehicle network communication system
US7327280B2 (en) 2002-08-15 2008-02-05 California Institute Of Technology Emergency vehicle traffic signal preemption system
FR2840426B1 (fr) 2002-06-03 2004-12-17 Airbus France Dispositif d'aide au reperage visuel d'un aeronef en vol depuis un autre aeronef, egalement en vol
US20030222981A1 (en) 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
JP2004054444A (ja) 2002-07-17 2004-02-19 Omron Corp 運転サービス情報仲介システム
US6810328B2 (en) 2002-11-23 2004-10-26 Alpine Electronics, Inc Navigation method and system for indicating area-specific traffic information
US20050153707A1 (en) 2003-07-25 2005-07-14 Liza Ledyard Portable service identification, notification and location device and method
US7466356B2 (en) 2003-07-25 2008-12-16 Hewlett-Packard Development Company, L.P. Method and apparatus for setting a marker on an object and tracking the position of the object
US20050114014A1 (en) 2003-11-24 2005-05-26 Isaac Emad S. System and method to notify a person of a traveler's estimated time of arrival
JP2005250614A (ja) 2004-03-02 2005-09-15 Nec Mobiling Ltd タクシー配車システム
DE102005013920B4 (de) 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
US7129887B2 (en) 2004-04-15 2006-10-31 Lockheed Martin Ms2 Augmented reality traffic control center
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
JP2006279859A (ja) * 2005-03-30 2006-10-12 Hitachi Ltd 移動体移動実態情報提供システム、位置情報収集装置、カーナビ装置および移動体移動実態情報提供方法
EP1877970A1 (en) 2005-05-02 2008-01-16 Ecolane Finland OY Method and arrangement for arranging practical aspects of a demand responsive transport system
US20160027307A1 (en) * 2005-12-23 2016-01-28 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
US20140172727A1 (en) 2005-12-23 2014-06-19 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
US8340904B2 (en) 2006-01-08 2012-12-25 Bo-In Lin Transmission of wireless messages of current vehicle location and estimated arrival time to requestors
US7920071B2 (en) 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
US7775437B2 (en) 2006-06-01 2010-08-17 Evryx Technologies, Inc. Methods and devices for detecting linkable objects
EP2135200A4 (en) 2007-02-12 2011-12-28 Sean O'sullivan DISTRIBUTED TRANSPORT SYSTEM AND SERVICE NETWORK
JP2008216205A (ja) 2007-03-07 2008-09-18 Fujitsu Ltd 車載ナビゲーション装置
JP2008227877A (ja) 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置
US9852624B2 (en) * 2007-09-07 2017-12-26 Connected Signals, Inc. Network security system with application for driver safety system
WO2009036176A1 (en) 2007-09-11 2009-03-19 Magna Electronics Imaging system for vehicle
WO2009065637A1 (en) 2007-11-24 2009-05-28 Routerank Ltd Optimized route planning
WO2009079469A1 (en) 2007-12-14 2009-06-25 Promptu Systems Corporation Automatic service vehicle hailing and dispatch system and method
US20090192851A1 (en) 2008-01-25 2009-07-30 Bishop Paul L Location-Based Transportation Management
US9020533B1 (en) 2008-02-12 2015-04-28 Sprint Communications Company L.P. Location services
US20090234573A1 (en) 2008-03-17 2009-09-17 Emory University Office Of Technology Transfer Travel Partner Matching Using Selectable Map Interface
US9519921B2 (en) 2008-06-27 2016-12-13 E-Lantis Corporation GPS and wireless integrated fleet management system and method
JP2010183170A (ja) 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
US20100217613A1 (en) 2009-02-26 2010-08-26 Brian Kelly Methods and apparatus for providing charitable content and related functions
TWI402782B (zh) 2009-03-20 2013-07-21 Taiwan Mobile Comm 車輛派遣方法、車輛派遣系統及應用其中之導航主機
US8386177B2 (en) 2009-05-13 2013-02-26 Taiwan Mobile Communication Vehicle-dispatching method and vehicle-dispatching system
US8583320B2 (en) 2009-06-26 2013-11-12 Esurance Insurance Services, Inc. Apparatus and method for automated vehicle roadside assistance
KR101772970B1 (ko) 2009-08-25 2017-09-13 삼성전자주식회사 차량 정보 제공방법 및 이를 적용한 단말기
US8682391B2 (en) 2009-08-27 2014-03-25 Lg Electronics Inc. Mobile terminal and controlling method thereof
ES2538827T3 (es) 2009-09-01 2015-06-24 Magna Mirrors Of America, Inc. Sistema de formación de imágenes y de exhibición para un vehículo
US10002198B2 (en) 2009-10-28 2018-06-19 Verizon Patent And Licensing Inc. Mobile taxi dispatch system
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US20110313880A1 (en) 2010-05-24 2011-12-22 Sunil Paul System and method for selecting transportation resources
JP5070318B2 (ja) 2010-06-21 2012-11-14 本田技研工業株式会社 車載遠隔操作装置
JP2012014482A (ja) * 2010-07-01 2012-01-19 Panasonic Corp タクシー用判定装置
US20120041675A1 (en) 2010-08-10 2012-02-16 Steven Juliver Method and System for Coordinating Transportation Service
TW201218117A (en) 2010-10-29 2012-05-01 Hon Hai Prec Ind Co Ltd System and method for arranging taxies
US20120130627A1 (en) 2010-11-23 2012-05-24 Islam Mohammad R Taxi dispatch system
US8918230B2 (en) 2011-01-21 2014-12-23 Mitre Corporation Teleoperation of unmanned ground vehicle
GB201106555D0 (en) * 2011-04-19 2011-06-01 Tomtom Int Bv Taxi dispatching system
US8615345B2 (en) 2011-04-29 2013-12-24 Ford Global Technologies, Llc Method and apparatus for vehicle system calibration
DE112011105330T5 (de) * 2011-06-13 2014-03-06 Toyota Jidosha Kabushiki Kaisha Fußgängerbewegungsvorhersagegerät
US9958280B2 (en) 2011-08-16 2018-05-01 Inrix, Inc. Assessing inter-modal passenger travel options
US9037852B2 (en) 2011-09-02 2015-05-19 Ivsc Ip Llc System and method for independent control of for-hire vehicles
US20130144660A1 (en) 2011-12-02 2013-06-06 Verizon Patent And Licensing Inc. Electronic maitre d'
US8712379B2 (en) 2011-12-12 2014-04-29 General Motors Llc Authenticating messages sent between a vehicle and a central facility
US20150032328A1 (en) 2011-12-29 2015-01-29 Jennifer Healey Reconfigurable personalized vehicle displays
US20130211916A1 (en) 2012-02-09 2013-08-15 CMFG Life Insurance Company Automatic real-time opportunity-relevant promotions for an auto buying assistant application
AU2012203006A1 (en) 2012-02-21 2013-09-05 Car Pilots Pty Ltd Systems and methods for booking transport
US9367678B2 (en) 2012-02-29 2016-06-14 Red Hat, Inc. Password authentication
US20130289858A1 (en) 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
JP5921320B2 (ja) 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
US10055694B2 (en) 2012-08-07 2018-08-21 Hitachi, Ltd. Use-assisting tool for autonomous mobile device, operation management center, operation system, and autonomous mobile device
GB201300006D0 (en) 2013-01-01 2013-02-13 Tomtom Dev Germany Gmbh Vehicle management system
US20140200739A1 (en) 2013-01-15 2014-07-17 Honda Motor Co., Ltd. Enhancing vehicle connectivity
US20170286884A1 (en) 2013-03-15 2017-10-05 Via Transportation, Inc. System and Method for Transportation
WO2014158289A2 (en) 2013-03-25 2014-10-02 Schoeffler Steven B System and method for displaying information
US20140300449A1 (en) 2013-04-05 2014-10-09 Ani Kounavis Taxi hailing system and mobile application
US9805592B2 (en) * 2013-10-07 2017-10-31 Savari, Inc. Methods of tracking pedestrian heading angle using smart phones data for pedestrian safety applications
US20140365250A1 (en) 2013-06-05 2014-12-11 Fujitsu Limited Transportation service reservation method and apparatus
WO2015001547A1 (en) * 2013-07-01 2015-01-08 Inuitive Ltd. Aligning gaze and pointing directions
CN105431882A (zh) 2013-09-13 2016-03-23 英特尔公司 环境感知的分布式出租车汽车调度
US20150142484A1 (en) 2013-11-18 2015-05-21 National Taipei University Of Technology Carpool service providing method and carpool server using the same
US20150154810A1 (en) 2013-12-04 2015-06-04 Kar Leong Tew Virtual transportation stands
CN105917376A (zh) 2013-12-11 2016-08-31 优步技术公司 针对运输请求优化对驾驶员的选择
US10210399B2 (en) 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
US9542609B2 (en) 2014-02-04 2017-01-10 Xerox Corporation Automatic training of a parked vehicle detector for large deployment
US9436180B1 (en) 2014-04-11 2016-09-06 Google Inc. Location-based privacy
TW201541393A (zh) 2014-04-21 2015-11-01 Wei-Yen Yeh 計程車管理設備及計程車管理系統
US9436182B2 (en) 2014-05-23 2016-09-06 Google Inc. Autonomous vehicles
US9631933B1 (en) 2014-05-23 2017-04-25 Google Inc. Specifying unavailable locations for autonomous vehicles
US20160048831A1 (en) * 2014-08-14 2016-02-18 Uber Technologies, Inc. Verifying user accounts based on information received in a predetermined manner
DE102014219148A1 (de) 2014-09-23 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers
US9377315B2 (en) * 2014-10-22 2016-06-28 Myine Electronics, Inc. System and method to provide valet instructions for a self-driving vehicle
US9823081B2 (en) 2014-12-03 2017-11-21 Ford Global Technologies, Llc Vehicle passenger identification
JP6425076B2 (ja) * 2014-12-13 2018-11-21 尚史 本田 位置情報に基づく個人識別情報処理システム及び方法
CA2969155C (en) 2014-12-15 2023-10-17 Polaris Industries Inc. Autonomous ready vehicle
US9448559B2 (en) 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
JP6330921B2 (ja) * 2015-01-15 2018-05-30 日産自動車株式会社 乗客ドッキング位置を使用した自律走行車両のルーティング及びナビゲーション
US20160231746A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle
US9552564B1 (en) 2015-03-19 2017-01-24 Amazon Technologies, Inc. Autonomous delivery transportation network
CN104828664B (zh) * 2015-04-03 2020-05-22 奥的斯电梯公司 自动调试系统和方法
JP6343248B2 (ja) * 2015-04-13 2018-06-13 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
JP2016218895A (ja) * 2015-05-25 2016-12-22 日本電気株式会社 同一人物検証システム、方法およびプログラム
US9733096B2 (en) 2015-06-22 2017-08-15 Waymo Llc Determining pickup and destination locations for autonomous vehicles
US10023231B2 (en) 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
US9805605B2 (en) * 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Using autonomous vehicles in a taxi service
WO2017087984A1 (en) * 2015-11-20 2017-05-26 Uber Technologies, Inc. Controlling autonomous vehicles in connection with transport services
US11205240B2 (en) * 2015-12-30 2021-12-21 Waymo Llc Autonomous vehicle services
US9551992B1 (en) 2016-01-08 2017-01-24 Google Inc. Fall back trajectory systems for autonomous vehicles
US20170213165A1 (en) 2016-01-26 2017-07-27 GM Global Technology Operations LLC Systems and methods for vehicle ride safety and security of person and property
US10824985B2 (en) * 2016-03-09 2020-11-03 Amazon Technologies, Inc. Interactive mobile pick-up unit notification
US20170294130A1 (en) * 2016-04-08 2017-10-12 Uber Technologies, Inc. Rider-vehicle handshake
US9429947B1 (en) 2016-04-14 2016-08-30 Eric John Wengreen Self-driving vehicle systems and methods
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
US20170323068A1 (en) * 2016-05-09 2017-11-09 Bank Of America Corporation Wearable device for real-time monitoring of parameters and triggering actions
US20170327082A1 (en) * 2016-05-12 2017-11-16 GM Global Technology Operations LLC End-to-end accommodation functionality for passengers of fully autonomous shared or taxi-service vehicles
US20180075565A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger validation systems and methods
US9963106B1 (en) 2016-11-07 2018-05-08 Nio Usa, Inc. Method and system for authentication in autonomous vehicles
US10210398B2 (en) * 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
CA3062780C (en) * 2017-05-08 2023-09-26 Arnold CHASE Mobile device for autonomous vehicle enhancement system
US10290074B2 (en) * 2017-05-25 2019-05-14 Uber Technologies, Inc. Coordinating on-demand transportation with autonomous vehicles
US10059255B1 (en) * 2017-06-16 2018-08-28 Hyundai Motor Company Systems and methods for vehicle recognition using mobile device
US10579788B2 (en) 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547249B2 (en) * 2008-10-01 2013-10-01 Universitaet Kassel Method for avoiding collision
US20170153714A1 (en) * 2016-03-03 2017-06-01 Cruise Automation, Inc. System and method for intended passenger detection

Also Published As

Publication number Publication date
EP3646280B1 (en) 2022-10-05
JP6968255B2 (ja) 2021-11-17
US20190057209A1 (en) 2019-02-21
US20210133308A1 (en) 2021-05-06
CA3072744A1 (en) 2019-02-21
US11475119B2 (en) 2022-10-18
CN111183428A (zh) 2020-05-19
EP3646280A1 (en) 2020-05-06
AU2018318833B2 (en) 2021-05-06
CN111183428B (zh) 2024-02-09
AU2018318833A1 (en) 2020-02-20
SG11202000601PA (en) 2020-02-27
CA3072744C (en) 2023-08-01
JP2020531943A (ja) 2020-11-05
EP4138056A1 (en) 2023-02-22
JP7334224B2 (ja) 2023-08-28
JP2022016448A (ja) 2022-01-21
SG10202106060SA (en) 2021-07-29
US10579788B2 (en) 2020-03-03
AU2021203701B2 (en) 2022-06-23
EP3646280A4 (en) 2021-05-19
AU2018318833A9 (en) 2020-04-16
WO2019036208A9 (en) 2020-03-26
KR102315335B1 (ko) 2021-10-20
US20200210564A1 (en) 2020-07-02
US10872143B2 (en) 2020-12-22
CN118038405A (zh) 2024-05-14
EP4138056B1 (en) 2024-01-03
WO2019036208A1 (en) 2019-02-21
AU2021203701A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
KR102315335B1 (ko) 자율 차량들에 대해 할당된 승객들의 인식
KR102309575B1 (ko) 자율 차량들에서의 승객들의 조기 탑승
US11914377B1 (en) Autonomous vehicle behavior when waiting for passengers
US11669783B2 (en) Identifying unassigned passengers for autonomous vehicles
KR102219595B1 (ko) 자율 차량들의 승객 픽업 배치
KR102352063B1 (ko) 자율 주행 차량에서 정차 분석을 향상시키기 위해 승객들의 승하차 시간을 추정하기
JP2019537530A (ja) 自律走行車の停車位置のプランニング
KR20210048575A (ko) 정지된 자율주행 차량들에 의해 야기되는 주변 도로 사용자들에 대한 불편을 감소시키는 것
US11841704B2 (en) Behavior prediction for railway agents for autonomous driving system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant