JP6968255B2 - 自律車両に割り当てられた乗客を認識すること - Google Patents

自律車両に割り当てられた乗客を認識すること Download PDF

Info

Publication number
JP6968255B2
JP6968255B2 JP2020503746A JP2020503746A JP6968255B2 JP 6968255 B2 JP6968255 B2 JP 6968255B2 JP 2020503746 A JP2020503746 A JP 2020503746A JP 2020503746 A JP2020503746 A JP 2020503746A JP 6968255 B2 JP6968255 B2 JP 6968255B2
Authority
JP
Japan
Prior art keywords
vehicle
computing device
pedestrian
information
identify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020503746A
Other languages
English (en)
Other versions
JP2020531943A (ja
Inventor
ウェスリー ダイアー,ジョン
トーレス,ルイス
エプスタイン,マイケル
チェン,ユ−シン
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2020531943A publication Critical patent/JP2020531943A/ja
Priority to JP2021174473A priority Critical patent/JP7334224B2/ja
Application granted granted Critical
Publication of JP6968255B2 publication Critical patent/JP6968255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06Q50/40
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/34User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3228One-time or temporary data, i.e. information which is sent for every authentication or authorization, e.g. one-time-password, one-time-token or one-time-key
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3234Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving additional secure or trusted devices, e.g. TPM, smartcard, USB or software token
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111Location-sensitive, e.g. geographical location, GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84Vehicles

Description

関連出願の相互参照
本出願は、2017年8月17日に出願された米国特許出願第15/679,485号の継続であり、その開示は、参照により本明細書に組み込まれる。
人間の運転者を必要としない車両などの自律車両を使用して、1つの場所から別の場所へ乗客または品物を輸送するために役立たせることができる。このような車両は、完全自律モードで動作することができ、乗客はピックアップ場所または目的地の場所などのいくつかの初期入力を与えることができ、車両自体が当該場所まで移動する。
人(またはユーザ)が車両によって2つの場所の間を物理的に輸送されることを望む場合、人は、任意の数の輸送サービスを利用することができる。今日まで、これらのサービスは、通常、人間の運転者を必要とし、その運転者は、ユーザをピックアップするための場所への配車指示が与えられる。多くの場合、人間の運転者およびユーザは、ユーザをピックアップするための正確な場所を示し合わせることができる。さらに、運転者およびユーザは、互いに「手などで合図」し、視線を合わせ、互いに声を掛け合い、または他の合図を用いて互いの認識を知らせることができ、それによって、車両がピックアップのための正確な場所に到着する前に、何らかの場所について合意する。これは、人間の運転者を有していない自律車両の場合、容易には実現不可能である。
本開示の一態様は、割り当てられた乗客を認識する方法を提供する。本方法は、車両の1つ以上のプロセッサによって、割り当てられた乗客をピックアップ場所においてピックアップするための配車指示を受信することであって、配車指示が、割り当てられた乗客に関連付けられたクライアントコンピューティングデバイスに対する認証情報を含む、受信することと、1つ以上のプロセッサによって、車両を自律運転モードでピックアップ場所に向かって操縦することと、1つ以上のプロセッサによって、認証情報を使用してクライアントコンピューティングデバイスを認証することと、クライアントコンピューティングデバイスを認証した後、1つ以上のプロセッサによって、車両のセンサにより生成されたセンサ情報から、車両の所定の距離以内の歩行者セットを識別することと、クライアントコンピューティングデバイスを認証した後、1つ以上のプロセッサによって、ある期間にわたってクライアントコンピューティングデバイスの場所を識別するクライアントコンピューティングデバイスからの情報を受信することと、1つ以上のプロセッサによって、クライアントコンピューティングデバイスの速度を推定するために受信された情報を使用することと、1つ以上のプロセッサによって、割り当てられた乗客である可能性の高い歩行者セットのサブセットを識別するために、推定速度を使用することと、1つ以上のプロセッサによって、サブセットに基づいて、割り当てられた乗客が車両に乗車することができるようにするために、車両を停車させることと、を含む。
別の例では、受信された情報が、クライアントコンピューティングデバイスのセンサによって生成された配向情報を含む。この例では、その方法はまた、歩行者セットの各歩行者の配向を判定することと、配向情報を判定された配向と比較することと、をも含み、その比較は、サブセットを識別するためにさらに使用される。別の例では、その方法はまた、歩行者セットの各歩行者の注視方向を検出するために、センサ情報を使用することをも含み、各歩行者の注視方向は、サブセットを識別するためにさらに使用される。別の例では、その方法はまた、歩行者セットの各歩行者の所定の距離内の歩行者に対応する他の歩行者の数を判定するために、センサ情報を使用することも含み、各歩行者の所定の距離以内の判定された他の歩行者の数は、サブセットを識別するためにさらに使用される。この例では、配車指示は、乗客の数をさらに識別し、識別された乗客の数は、サブセットを識別するためにさらに使用される。別の例では、歩行者セットは、追加の場所情報がクライアントコンピューティングデバイスから受信されると、更新される。別の例では、車両を停車させることは、ピックアップ場所よりもサブセットの歩行者の近くに車両を停車させることを含む。別の例では、車両を停車させることは、車両がピックアップ場所に到着する前に、車両を停車させることを含む。別の例では、その方法はまた、歩行者セットのうちの2人以上の歩行者間で異なる特徴を識別するために、センサ情報を使用することと、クライアントデバイスにリクエストを送信することであって、リクエストが、特徴に関する質問を含む、送信することと、クライアントコンピューティングデバイスからの応答を受信することとを含み、応答は、サブセットを識別するためにさらに使用される。別の例では、割り当てられた乗客である可能性の高い歩行者セットのサブセットを識別するために、推定速度を使用することが、歩行者セットの各歩行者が割り当てられた乗客であるという尤度を識別するために、推定速度をモデルに入力することを含み、歩行者セットの各歩行者が乗客であるという尤度が、サブセットを識別するためにさらに使用される。
本開示の別の態様は、割り当てられた乗客を認識するためのシステムを提供する。そのシステムは、乗客をピックアップ場所においてピックアップするための配車指示を受信することであって、配車指示が、割り当てられた乗客と関連付けられたクライアントコンピューティングデバイスに対する認証情報を含む、受信することと、車両を自律運転モードでピックアップ場所に向かって操縦することと、認証情報を使用してクライアントコンピューティングデバイスを認証することと、クライアントコンピューティングデバイスを認証した後、車両のセンサにより生成されたセンサ情報から、車両の所定の距離以内の歩行者に対応する歩行者セットを識別することと、クライアントコンピューティングデバイスを認証した後、ある期間にわたってクライアントコンピューティングデバイスからの場所情報を受信することと、ある期間にわたってクライアントコンピューティングデバイスの場所を識別するクライアントコンピューティングデバイスからの情報を受信することと、クライアントコンピューティングデバイスの速度を推定するために、受信した情報を使用することと、乗客である可能性の高い歩行者セットのサブセットを識別するために、推定速度を使用することと、サブセットに基づいて、乗客が車両に乗車することができるようにするために、車両を停車させることと、を行うように構成されている1つ以上のプロセッサを含む。
一例では、受信された情報は、クライアントコンピューティングデバイスのセンサによって生成された配向情報を含み、1つ以上のプロセッサは、乗客の配向を判定することと、配向情報を判定された配向と比較することと、を行うようにさらに構成されており、比較は、サブセットを識別するためにさらに使用される。別の例では、1つ以上のプロセッサは、歩行者セットの各歩行者の注視方向を検出するために、センサ情報を使用するようにさらに構成されており、各歩行者の注視方向は、サブセットを識別するために、1つ以上のプロセッサによってさらに使用される。別の例では、1つ以上のプロセッサは、歩行者セットの各歩行者の所定の距離以内の歩行者に対応する他の歩行者の数を判定するために、センサ情報を使用するようにさらに構成されており、各歩行者の所定の距離以内の判定された他の歩行者の数は、サブセットを識別するために、1つ以上のプロセッサによってさらに使用される。この例では、配車指示は、乗客の数をさらに識別し、識別された乗客の数は、サブセットを識別するために、1つ以上のプロセッサによってさらに使用される。別の例では、歩行者セットは、追加の場所情報がクライアントコンピューティングデバイスから受信されたとき、更新される。別の例では、車両を停車させることは、ピックアップ場所よりもサブセットの歩行者の近くに車両を停車させることを含む。別の例では、車両を停車させることは、車両がピックアップ場所に到着する前に、車両を停車させることを含む。別の例では、1つ以上のプロセッサは、歩行者セットのうちの2人以上の歩行者間で異なる特徴を識別するためのセンサ情報を使用することと、クライアントデバイスにリクエストを送信することであって、リクエストが特徴に関する質問を含む、送信することと、クライアントコンピューティングデバイスからの応答を受信することと、を行うようにさらに構成されており、応答が、サブセットを識別するためにさらに使用される。別の例では、そのシステムはまた、車両も含む。
本開示の態様に係る例示的な車両の機能図である。 本開示の態様に係る詳細な地図情報の例示的な図である。 本開示の態様に係る車両の例示的な外観図である。 本開示の態様に係る車両の例示的な外観図である。 本開示の態様に係る車両の例示的な外観図である。 本開示の態様に係る車両の例示的な外観図である。 本開示の態様に係るシステムの例示的な絵図である。 本開示の態様に係るシステムの例示的な機能図である。 本開示の態様に係る道路区間の図である。 本開示の態様に係る、道路区間および他の情報のセンサデータの例である。 本開示の態様に係る、道路区間および他の情報のセンサデータの別の例である。 本開示の態様に係るフロー図である。
概要
自己運転型車両にとって乗客のピックアップは、係る車両のコンピューティングデバイスに、特定の人が当該車両に割り当てられた乗客であることを認識させる必要があるという困難さに起因して、大きな課題であり得る。例えば、車両GPS、および人のクライアントデバイス(例えば、携帯電話)により生成されたGPS情報を使用することは、普通のアプローチである。しかしながら、今日の携帯電話により生成されたGPS情報は、かなり不正確であるため、特に都市内では、例えば、100フィート以上の違いがあり、クライアントデバイスから車両のコンピューティングシステムに情報を送信するための待ち時間が長いために、この情報のみでは、不十分であり得る。さらに、そもそも、群衆中の特定の人を認識することは、コンピューティングデバイスにとって極めて難しい場合がある。コンピュータが特定の人を認識する精度および速度を高めるために、追加の信号が使用され得る。
車両がピックアップ場所から時間的または空間的に所定の距離以内に入ると、コンピューティングデバイスは、割り当てられた乗客のクライアントデバイスを認証しようと試み得る。認証が行われると、コンピューティングデバイスは、GPS情報など、クライアントデバイスから情報を受信することができ、ならびにクライアントデバイスの加速度計からの情報、またはクライアントデバイスの配向、進行方向、および/もしくは移動推定速度に関するジャイロスコープからの情報が、コンピューティングデバイスに送信され得る。
同時に、コンピューティングデバイスは、車両の知覚システムから受信した情報の分析を開始して追加の信号を識別することができる。例えば、車両は、車両の所定の距離以内の歩行者に対応する任意の対象物セットを識別することができる。このような任意の対象物または歩行者に対して、車両は、それらの歩行者の固有の特徴の判定を開始することができる。
次いで、コンピューティングデバイスは、クライアントデバイスから受信した情報と、識別された各歩行者の特徴との比較を開始することができる。コンピューティングデバイスは、GPS情報を処理して、乗客の推定速度を判定し、そしてこれを各歩行者の速度と比較することができる。この情報、および以下にさらに考察される他の情報を使用して、割り当てられた乗客である可能性の高い歩行者セットをほんの数人または1人に絞り込むことができる。
次いで、この歩行者セットは、車両がピックアップ場所に向かって移動するにつれて、更新され得る。さらに、ピックアップ場所に進むのではなく、セットのうちの1人以上の歩行者により近い停車地点を見つけ出すことがより容易であり得るときに、セットを使用して車両がどこで停車するべきかを判定することができる。セットが1人の歩行者(または互いに極めて近い数人の歩行者)のみを含む場合、コンピューティングデバイスは、車線内で停車することが安全であるかどうかさえも判定することができ、駐車地点または駐車エリアに脇寄せして乗客を乗車させなくてもよい。
上述の特性により、自律車両のコンピューティングデバイスが、特定の歩行者を、当該車両に割り当てられた乗客として容易に認識することを可能にすることができる。これにより、コンピューティングデバイスが乗客の現在地の状況により敏感になることを可能にし、コンピューティングデバイスが乗客の乗車または降車のために、より便利でかつ良好な場所を見つけることさえも可能にすることができる。例えば、歩行者の位置および状況が、歩行者が車両にすばやく乗車することができることを示している場合、車両が長い間停車されないため、車線内での停車は、安全および有効な選択であり得、車線内での停車は、駐車場が利用不可能であるか、または極めて遠く離れているかのいずれかの場合に、好ましい場合がある。より便利でかつ良好な場所を見つけて乗客の乗車または降車のために停車することは、例えば、乗客が車両に到着するために歩かなければならない量を低減することによって、車両に到着するための乗客の時間および労力を節約することができる。
例示的システム
図1に示すように、本開示の一態様に係る車両100は、様々な構成要素を含む。本開示の特定の態様は、特定の種類の車両に関して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レジャー車両などを含むが、これらに限定されない、任意の種類の車両であり得る。車両は、1つ以上のプロセッサ120、メモリ130、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を搭載するコンピューティングデバイス110などの1つ以上のコンピューティングデバイスを有し得る。
メモリ130は、1つ以上のプロセッサ120によってアクセス可能な情報を記憶し、メモリには、プロセッサ120によって実行ないし別様に使用され得る命令132およびデータ134が含まれる。メモリ130は、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVD、もしくは他の光ディスクなどの電子デバイスを用いて読み出され得るデータを記憶する他の媒体、ならびに書き込み可能および読み出し専用メモリを含む、プロセッサによってアクセス可能な情報を記憶することができる任意の種類のものであり得る。システムおよび方法は、前述の様々な組み合わせを含んでもよく、その組み合わせによって、命令およびデータの異なる部分が、異なる種類の媒体上に記憶される。
命令132は、プロセッサによって直接的(マシンコードなど)または間接的(スクリプトなど)に実行される任意の命令セットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。この点において、用語「命令」および「プログラム」は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコードフォーマット内に記憶されてもよく、または要求時に解釈されるか、またはあらかじめコンパイルされているスクリプトもしくは独立ソースコードモジュールのコレクションを含む任意の他のコンピューティングデバイス言語内に記憶されてもよい。命令の機能、方法、およびルーティンは、以下にさらに詳細に説明される。
データ134は、命令132に従って、プロセッサ120によって検索、記憶、または修正され得る。一例として、メモリ130のデータ134は、事前定義されたシナリオを記憶してもよい。所与のシナリオは、シナリオ要件のセットを識別することができ、そのシナリオ要件には、対象物の種類、車両に対する対象物の場所の範囲、ならびに自律車両が対象物の周りを移動ことができるかどうか、対象物が方向指示器を使用しているかどうか、対象物の現在地に関連する交通信号の状態、対象物が一時停止標識に近づいているかどうかなどが含まれる。その要件には、「右折指示器がオンである」もしくは「右折のみの車線にいる」などの離散値、または車両100の現行経路から30〜60度オフセットされた角度に配向されている進行方向を有している」などの範囲値を含んでもよい。いくつかの例では、所定のシナリオは、複数の対象物に関する同様の情報を含んでもよい。
1つ以上のプロセッサ120は、市販のCPUなどの任意の従来のプロセッサであってもよい。代替的に、1つ以上のプロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図1は、同じブロック内に存在するように、コンピューティングデバイス110のプロセッサ、メモリ、および他の要素を機能的に例示しているが、プロセッサ、コンピューティングデバイス、もしくはメモリは、実際には、同じ物理的なハウジング内に格納されていても、または格納されていなくてもよい複数のプロセッサ、コンピューティングデバイス、もしくはメモリを含んでもよいことは、当業者によって、理解されるであろう。一例として、内部電子ディスプレイ152は、それ自体のプロセッサまたは中央処理装置(CPU)、メモリなどを有する専用コンピューティングデバイスによって制御され得、広帯域または他のネットワーク接続を介してコンピューティングデバイス110とインターフェース接続し得る。いくつかの例では、このコンピューティングデバイスは、ユーザのクライアントデバイスと通信することができるユーザインターフェースコンピューティングデバイスであってもよい。同様に、メモリは、コンピューティングデバイス110のハウジングとは異なるハウジング内に位置するハードドライブ、または他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもしなくてもよい、プロセッサもしくはコンピューティングデバイス、またはメモリの集合体への言及を含むものと理解されたい。
コンピューティングデバイス110は、上述のプロセッサおよびメモリなどのコンピューティングデバイス、ならびにユーザ入力150(例えば、マウス、キーボード、タッチスクリーン、および/またはマイクロフホン)および様々な電子ディスプレイ(例えば、情報を表示するように動作可能であるスクリーンもしくは任意の他の電気デバイスを有するモニタ)と接続して通常使用されるすべての構成要素を有することができる。この例では、車両は、内部電子ディスプレイ152ならびに1つ以上のスピーカー154を含み、情報または音響映像体験を提供する。この点において、内部電子ディスプレイ152は、車両100の客室内に設置されてもよく、コンピューティングデバイス110によって使用されて車両100内の乗客に情報を提供してもよい。内部スピーカーに加えて、1つ以上のスピーカー154は、車両100の外部の対象物に音響通報を提供するために車両上の様々な場所に配置される外部スピーカーを含んでもよい。
一例では、コンピューティングデバイス110は、車両100の中に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両の様々な構成要素と通信可能であり得る。例えば、図1に戻ると、コンピューティングデバイス110は、車両の乗客から連続的または周期的入力を要求しない、または必要としない自律運転モードにおいてメモリ130の命令132に従って車両100の移動、速度などを制御するために、減速システム160(車両の制動を制御するための)、加速システム162(車両の加速を制御するための)、ステアリングシステム164(車輪の配向、および車両の方向を制御するための)、信号システム166(方向指示器を制御するための)、ナビゲーションシステム168(車両をある場所または対象物の周辺にナビゲートするための)、測位システム170(車両の位置を判定するための)、知覚システム172(車両の環境内の対象物を検出するための)、および電力システム174(例えば、バッテリおよび/またはガソリンもしくはディーゼル駆動エンジン)などの、車両100の様々なシステムと通信してもよい。また、これらのシステムは、現にコンピューティングデバイス110の外部にあるように示されているが、これらのシステムもまた、車両100を制御するための自律運転コンピューティングシステムとしてコンピューティングデバイス110の中に組み込まれてもよい。
コンピューティングデバイス110は、様々な構成要素を制御することによって、車両の方向および速度を制御することができる。例として、コンピューティングデバイス110は、地図情報およびナビゲーションシステム168からのデータを使用して、完全に自律して目的地の場所に車両をナビゲートすることができる。コンピューティングデバイス110は、測位システム170を使用して車両の場所を判定し、その場所に安全に到着する必要がある場合には、知覚システム172を使用して対象物を検出および応答することができる。そのようにするためには、コンピューティングデバイス110は、車両を加速させ(例えば、加速システム162によってエンジンに供給される燃料または他のエネルギーを増やすことによって)、減速させ(例えば、エンジンに供給される燃料を減らすこと、ギアを変更することによって、および/または減速システム160によるブレーキをかけることによって)、方向を変えさせ(例えば、ステアリングシステム164により車両100の前部または後部車輪の方向を変えることによって)、およびそのような変更を信号で伝えさせる(例えば、信号システム166の方向指示器を点灯することによって)ことができる。このため、加速システム162および減速システム160は、車両のエンジンと車両の車輪との間に様々な構成要素を含む動力伝達系の一部であってもよい。また、これらのシステムを制御することによって、コンピューティングデバイス110はまた、自律して車両を操縦するために、車両の動力伝達系を制御することもできる。
一例として、コンピューティングデバイス110は、車両の速度を制御するために、減速システム160および加速システム162とやりとりすることができる。同様に、ステアリングシステム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用され得る。例えば、自動車またはトラックなどの、道路上で使用するように構成されている車両100の場合、ステアリングシステムは、車両の向きを変えるために車輪の角度を制御する構成要素を含むことができる。信号システム166は、コンピューティングデバイス110によって使用され、例えば、必要なときに方向指示器またはブレーキライトを点灯することによって、車両の意図を他の運転者または車両に合図することができる。
ナビゲーションシステム168は、コンピューティングデバイス110によって使用され、ある場所へのルートを判定および追従することができる。この点において、ナビゲーションシステム168および/またはデータ134は、地図情報、例えば、コンピューティングデバイス110が車両をナビゲートまたは制御するために使用することができる極めて詳細な地図を記憶することができる。一例として、これらの地図は、車道の形状および標高、車線マーカー、交差点、横断歩道、速度制限、交通信号灯、建造物、標識、リアルタイム交通情報、植生、またはそのような他の対象物および情報を識別することができる。車線マーカーは、実線もしくは破線の二重もしくは単一の車線ライン、実線もしくは破線の車線ライン、反射板などの特性を含んでもよい。所与の車線が、左右車線ライン、または車線の境界を画定する他の車線マーカーと関連付けられてもよい。このため、ほとんどの車線は、1つの車線ラインの左端、および別の車線ラインの右端によって境界が付けられ得る。
知覚システム172はまた、他の車両、道路内の障害物、交通信号、標識、樹木などの車両の外部の対象物を検出するための1つ以上の構成要素も含む。例えば、知覚システム172は、1つ以上のLIDARセンサ、ソナーデバイス、レーダーユニット、カメラ、および/またはコンピューティングデバイス110によって処理され得るデータを記録する任意の他の検出デバイスを含んでもよい。知覚システムのセンサは、対象物、ならびに場所、配向、大きさ、形状、種類(例えば、車両、歩行者、自転車に乗っている人など)、進行方向、および移動速度などの対象物の特徴を検出してもよい。センサおよび/または前述の特徴からの生データは、その生データが知覚システム172によって生成されるときに、記述関数、ベクトル、および/もしくは境界ボックス中に定量化または配列され、さらなる処理のためにコンピューティングデバイス110に周期的および連続的に送信され得る。以下にさらに詳細に考察されているように、コンピューティングデバイス110は、測位システム170を使用して車両の場所を判定し、そして知覚システム172を使用して当該場所に安全に到着する必要がある場合に対象物を検出し、それに応答することができる。
図2は、道路210の区間の地図情報200の一例である。地図情報200は、形状、場所、および様々な道路特性の他の特徴識別する情報を含む。この例では、地図情報は、縁石220によって制限された3つの車線212、214、216、車線ライン222、224、226、および縁石228を含む。車線212および214は、同じ方向の交通の流れ(東方向)を有し、これに対して、車線216は、異なる方向の交通の流れ(西方向)を有する。さらに、車線212は、車線214よりもはるかに広く、例えば、車両が縁石220の近くに駐車することができる。地図情報の例は、わずかな道路特性、例えば、道路210の特質として与えられた縁石、車線ライン、および車線を含むが、地図情報200はまた、交通信号灯、交差点、歩道、一時停止標識、先方優先通行標識、速度制限標識、道路標識などの様々な他の道路特性も含む。図示されていないが、詳細な地図情報はまた、速度制限、および他の法定交通要件を識別する情報、ならびに様々な日付および時間における典型的および履歴上の交通状態を識別する履歴情報を含んでもよい。
詳細な地図情報が、画像ベースの地図として本明細書に図示されているが、この地図情報は、必ずしも画像ベース(例えば、ラスター)である必要はない。例えば、詳細な地図情報は、道路、車線、交差点、およびこれらの特性間の接続箇所などの情報に関する1つ以上の道路図表または図表ネットワークを含んでもよい。各特性は、図表データとして記憶されてもよく、地理的な場所、およびその場所が他の関連した特性にリンクしているか否かなどの情報と関連付けられてもよく、例えば、一時停止標識を道路および交差点などにリンクすることができる。いくつかの例では、関連付けられたデータは、道路図表のグリッドベースインデックスを含み、特定の道路図表特性の効果的な検索を可能にすることができる。
図3A〜図3Dは、車両100の外観図の例である。図を見てわかるように、車両100は、ヘッドライト302、フロントガラス303、尾灯/方向指示器灯304、後面ガラス305、ドア306、側面ミラー308、タイヤおよび車輪310、ならびに方向指示器/駐車灯312などの、典型的な車両の多くの特性を含む。ヘッドライト302、尾灯/方向指示器灯304、および方向指示器/駐車灯312は、信号システム166と関係付けられてもよい。ライトバー307もまた、信号システム166と関係付けられてもよい。ハウジング314は、知覚システム172のLIDARセンサ、ソナーデバイス、レーダーユニット、カメラなどの1つ以上のセンサを収容してもよいが、このようなセンサもまた、車両の他のエリアの中にさらに組み込まれてもよい。
車両100の1つ以上のコンピューティングデバイス110はまた、例えば、無線ネットワーク接続156を使用して、他のコンピューティングデバイスに、および他のコンピューティングデバイスから情報を受信または転送することもできる。無線ネットワーク接続は、例えば、BLUETOOTH(登録商標)、BluetoothLE、LTE、移動通信、近距離通信など、および上記の様々な組み合わせを含んでもよい。図4および図5は、複数のコンピューティングデバイス410、420、430、440、およびネットワーク460を介して接続された記憶システム450を含む例示的なシステム400の、それぞれ、絵図および機能図である。システム400はまた、車両100、および車両100と同様に構成され得る車両100Aも含む。いくつかの車両およびコンピューティングデバイスのみが、簡略化して描かれているが、典型的なシステムは、極めてより多くのものを含み得る。
図4に示すように、コンピューティングデバイス410、420、430、440の各々は、1つ以上のプロセッサ、メモリ、データ、および命令を含み得る。このようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス110の1つ以上のプロセッサ120、メモリ130、データ134、および命令132と同様に構成され得る。
ネットワーク460、および中間ノードは、BLUETOOTH(登録商標)、BluetoothLE、インターネット、World Wide Web、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つ以上の会社に専用の通信プロトコルを用いたプライベートネットワーク、イーサネット、WiFiおよびHTTP、ならびに上記の様々な組み合わせなどの狭域通信プロトコルを含む各種の構成およびプロトコルを含んでもよい。このような通信は、モデムおよび無線インターフェースなどの他のコンピューティングデバイスに、および他のコンピューティングデバイスから、データを送信することができる任意のデバイスによって促進され得る。
一例では、1つ以上のコンピューティングデバイス110は、複数のコンピューティングデバイスを有するサーバ、例えば、負荷分散サーバファームを含んでもよく、そのサーバは、他のコンピューティングデバイスに、および他のコンピューティングデバイスから、データを受信、処理、および送信することを目的として、ネットワークの異なるノードと情報を交換する。例えば、1つ以上のコンピューティングデバイス410は、1つ以上のサーバコンピューティングデバイスを含んでもよく、その1つ以上のサーバコンピューティングデバイスは、車両100の1つ以上のコンピューティングデバイス110、または車両100Aの同様のコンピューティングデバイス、ならびにネットワーク460を介してクライアントコンピューティングデバイス420、430、440と通信することができる。例えば、車両100および100Aは、サーバコンピューティングデバイスによって様々な場所に配車され得る全車両の一部であってもよい。この点において、全車両は、車両のそれぞれの測位システムにより提供されたサーバコンピューティングデバイスの位置情報を定期的に送信してもよく、1つ以上のサーバコンピューティングデバイスは、車両の場所を追跡してもよい。
さらに、サーバコンピューティングデバイス410は、ネットワーク460を使用して、ディスプレイ上のユーザ422、432、442など、コンピューティングデバイス420、430、440のディスプレイ424、434、444などに情報を送信および提示してもよい。この点において、コンピューティングデバイス420、430、440は、クライアントコンピューティングデバイスと見なされ得る。
図5に示すように、各クライアントコンピューティングデバイス420、430、440は、ユーザ422、432、442が使用することを意図されたパーソナルコンピューティングデバイスであってもよく、1つ以上のプロセッサ(例えば、中央処理装置(CPU))、データおよび命令を記憶するメモリ(例えば、RAMおよび内蔵ハードドライブ)、ディスプレイ424、434、444などのディスプレイ(例えば、情報を表示するように動作可能であるスクリーン、タッチスクリーン、プロジェクタ、テレビ、または他のデバイスを有するモニタ)、およびユーザ入力デバイス426、436、446(例えば、マウス、キーボード、タッチスクリーン、またはマイクロフホン)を含むパーソナルコンピューティングデバイスと接続して通常使用されるすべての構成要素を有してもよい。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカー、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素をも含んでもよい。
クライアントコンピューティングデバイス420、430、および440は、各々、フルサイズのパーソナルコンピューティングデバイスを含み得るが、それらは、代替的に、インターネットなどのネットワーク上のサーバとデータを無線交換することができるモバイルコンピューティングデバイスを含んでもよい。単なる例として、クライアントコンピューティングデバイス420は、無線機器対応のPDA、タブレットPC、ウェアラブルコンピューティングデバイスもしくはシステム、またはインターネットもしくはネットワークを介して情報を取得することができるネットブックなどのモバイルホンまたはデバイスであってもよい。別の例では、クライアントコンピューティングデバイス430は、図4に腕時計として示されているウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型のキーボード、キーパッド、マイクロフホンを使用して、カメラを用いた視覚信号、またはタッチスクリーンを使用して情報を入力してもよい。
いくつかの例では、クライアントコンピューティングデバイス440は、管理者によって使用される接客ワークステーションであって、ユーザ422および432などのユーザに接客サービスを提供してもよい。例えば、接客担当者442は、接客ワークステーション440を使用して、ユーザのそれぞれのクライアントコンピューティングデバイス、または車両100もしくは100Aを通じてユーザとの通話または音声接続を介して通信し、車両100および100Aの安全な動作、ならびに以下にさらに詳細に説明するように、ユーザの安全を確実にすることができる。単一の接客ワークステーション440が、図4および図5に示されているが、このようなワークステーションをいくつも、典型的なシステムに含むことができる。
記憶システム450は、以下にさらに詳細に説明されるように、様々な種類の情報を記憶することができる。この情報は、1つ以上のサーバコンピューティングデバイス410などのサーバコンピューティングデバイスによって検索ないし別様にアクセスされ、本明細書に記載された特性のいくつかまたはすべてを実行することができる。例えば、情報は、1つ以上のサーバコンピューティングデバイスに対してユーザを識別するために使用され得る資格情報(例えば、従来の単一因子認証の場合におけるようなユーザネームおよびパスワード、ならびにランダム識別子、バイオメトリックスなどの多因子認証で典型的に使用される他の種類の資格情報)などのユーザアカウント情報を含んでもよい。ユーザアカウント情報はまた、ユーザネーム、連絡先情報、ユーザのクライアントコンピューティングデバイス(または複数のデバイスが同じユーザアカウントを用いて使用される場合には、それらのデバイス)の識別情報、ならびにユーザの1つ以上の固有信号などの個人情報も含み得る。
記憶システム450はまた、各場所間のルートを生成および計測するためのルーティングデータも記憶することができる。例えば、ルーティング情報を使用して、第1の場所にある車両が第2の場所に到達するのにどのくらいの時間がかかるかを推定することができる。この点において、ルーティング情報は、必ずしも上述した詳細な地図情報と同程度に具体的である必要はないが、道路、ならびに方向(一方通行、双方向通行など)、配向(北、南など)、速度制限などのそれらの道路に関する情報、ならびに予想交通状態を識別する交通情報などを含む地図情報を含み得る。
記憶システム450はまた、ユーザに対して表示するためのクライアントコンピューティングデバイスに提供され得る情報を記憶することができる。例えば、記憶システム450は、車両が所与のピックアップ場所または目的地の場所で停車しそうなエリアを判定するための所定の距離情報を記憶してもよい。記憶システム450はまた、以下に考察されているように、画像、アイコン、およびユーザに対して表示され得る他の項目を記憶してもよい。
メモリ130と同様に、記憶システム250は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD−ROM、書き込み可能および読み出し専用メモリなどの、サーバコンピューティングデバイス410によってアクセス可能である情報を記憶することができる任意の種類のコンピュータ化された記憶装置であってもよい。さらに、記憶システム450は、データが同じまたは異なる地理的な場所に物理的に設置され得る複数の異なる記憶デバイスに記憶されている分散型記憶システムを含んでもよい。記憶システム450は、図4に示すように、ネットワーク460を介してコンピューティングデバイスに接続されてもよく、かつ/またはコンピューティングデバイス110、410、420、430、440などのいずれにも直接接続されるか、もしくは組み込まれてもよい。
例示的方法
上述したおよび図に例示された動作に加えて、ここでは、様々な動作について説明する。以降の動作は、以下に説明された通りの順番で実行される必要はないことを理解されたい。逆に、様々なステップが、異なる順序で、または同時に処理され得、ステップはまた、追加もしくは省略されてもよい。
一態様では、ユーザは、車両にリクエストするためのアプリケーションをクライアントコンピューティングデバイスにダウンロードすることができる。例えば、ユーザ422および432は、電子メール内のリンクを介して、ウェブサイトから直接、またはクライアントコンピューティングデバイス420および430のアプリケーションストアからアプリケーションをダウンロードすることができる。例えば、クライアントコンピューティングデバイスは、ネットワーク上、例えば、1つ以上のサーバコンピューティングデバイス410にアプリケーションのリクエストを送信し、それに応じてアプリケーションを受信することができる。アプリケーションは、クライアントコンピューティングデバイスにおいてローカルにインストールされてもよい。
次いで、ユーザは、ユーザのクライアントコンピューティングデバイスを使用して、アプリケーションにアクセスして、車両にリクエストする。一例として、ユーザ432などのユーザは、クライアントコンピューティングデバイス430を使用して、車両について1つ以上のサーバコンピューティングデバイス410にリクエストを送信してもよい。この一部として、ユーザは、ピックアップ場所、目的地の場所、および、場合によっては、車両が停車することができるサービスエリア内の1つ以上の中間停車場所のどこでも特定することができる。
これらのピックアップ場所および目的地の場所は、事前定義されていてもよく(例えば、駐車場の特定のエリアなど)、または単純に車両のサービスエリア内の任意の場所であってもよい。一例として、ピックアップ場所は、デフォルトでユーザのクライアントコンピューティングデバイスの現在地に設定され得るか、またはユーザのクライアントデバイスにおいてユーザによって入力され得る。例えば、ユーザは、住所もしくは他の場所情報を入力するか、または地図上の場所を選択してピックアップ場所を選択することができる。ユーザがピックアップ場所および/または目的地の場所のうちの1つ以上を選択すると、クライアントコンピューティングデバイス420は、中央配車システムの1つ以上のサーバコンピューティングデバイスにその場所または複数の場所を送信することができる。それに応じて、サーバコンピューティングデバイス410などの1つ以上のサーバコンピューティングデバイスは、例えば、空車状況およびユーザへの至近距離に基づいて、車両100などの車両を選択することができる。次いで、サーバコンピューティングデバイス410は、車両100に対してユーザを乗客として割り当て、ピックアップするために選択された車両(ここでは、車両100)を割り当てられた乗客に配車することができる。このことは、割り当てられた乗客によって指示されたピックアップ場所および/または目的地の場所、ならびに車両100のコンピューティングデバイス110が使用してクライアントコンピューティングデバイス430などのクライアントコンピューティングデバイスを認証することができる情報を車両のコンピューティングデバイス110に提供することによって、含み得る。
図6は、図2の車道210に対応する車道610に沿って運転する車両100の例示的な図である。その点において、車線612、614、616は、車線212、214、216の形状および場所に対応し、縁石620、628は、縁石220の形状および場所に対応し、車線ライン622、624、626は、車線ライン222、224、226、および縁石228の形状および場所に対応する。この例では、車両100は、車線612を進行している。車両640、642、および644は、縁石620に沿って車線612内に駐車されており、これに対して車両646は、車線616内を移動している。歩行者650、652、654、656は、車道210の周辺に配置されているが、知覚システム172のセンサの範囲内に存在する。
車両が車線612に沿って移動するとき、知覚システム172は、縁石620、628、車線ライン622、624、624、ならびに車両640、642、644、646などの対象物の形状および場所に関するセンサデータをコンピューティングデバイスに提供する。図7は、車両100がコンピューティングデバイス110に利用可能である他の情報と組み合わせて図6に図示したような状況にあるときに、知覚システム172の様々なセンサにより知覚されたセンサデータを図示している。この例では、車両640、642、644、646は、知覚システム172によってコンピューティングデバイス110に提供されるとき、対象物740、742、744、746の境界ボックスによって表される。歩行者650、652、654、656もまた、境界ボックス750、752、754、756(以後、単純にするため、歩行者)によって表される。当然のことながら、これらの境界ボックスは、対象物に対応するデータポイントが少なくともほとんどその中に制限されている空間体積を単に表しているに過ぎない。さらに、車両100の実際の進行方向、および境界ボックス746の推定された進行方向は、それぞれ、矢印760および762によって表されている。境界ボックス740、742、744は、極めてゆっくり移動しているか、または全く移動していないように見えるため、コンピューティングデバイス110は、これらの境界ボックスにより表された対象物が縁石620に沿って駐車されていると判定する場合がある。
車両のコンピューティングデバイスが車両を停車および/または駐車させるための場所を探索し始める前後あたりなどで、車両がピックアップ場所から時間または空間上の所定の距離以内に入ると、割り当てられた乗客のクライアントデバイスが、車両によって認証される。一例として、この距離は、ピックアップ場所から50メートル、50フィート、またはその程度の距離であり得る。例えば、近距離通信、BLUETOOTH(登録商標)または他の無線プロトコルを使用して、コンピューティングデバイスは、クライアントデバイスと通信し、かつリンクを確立しようと試みることができる。このリンクの確立が成功すると、クライアントデバイスは、認証され得る。
例えば、図7に戻ると、車両100は、ちょうどピックアップ場所770から所定の距離772に到着したところである。この地点において、車両100は、サーバコンピューティングデバイス410から受信した情報を使用して、割り当てられた乗客のクライアントデバイスを認証しようと試みるであろう。この点において、コンピューティングデバイス110および430は、情報の直接通信(すなわち、情報がサーバコンピューティングデバイス410によって中継されることを必要とせずに)を可能にすることができる。
ひとたび、認証が実行されると、コンピューティングデバイスは、上述したように、クライアントデバイスから情報を受信することができる。コンピューティングデバイス110によってクライアントコンピューティングデバイス430から受信された情報は、クライアントコンピューティングデバイス430の加速度計、またはクライアントコンピューティングデバイスの配向および/もしくは進行方向に関係するジャイロスコープからの情報を含み得る。さらに、コンピューティングデバイス110は、GPS、またはクライアントコンピューティングデバイス430からの場所情報を受信することができる。
同時に、コンピューティングデバイスは、車両の知覚システムから受信した情報の分析を開始して追加の信号を識別することができる。例えば、コンピューティングデバイス110は、知覚システム172のセンサの範囲内の任意の歩行者を識別する知覚システム172から情報を受信することができる。これは、場所、ならびに歩行者に対応する対象物750〜756の速度および配向などの他の特徴を含んでもよい。次いで、コンピューティングデバイスは、50メートル程度などの車両の所定の距離以内のこのようなすべての歩行者セット、または50メートル程度などのピックアップ場所の所定の距離以内の歩行者セットを識別することができる。したがって、図8の例では、コンピューティングデバイス110は、所定の距離内にある対象物750〜756のすべてを識別することができる。
このような識別された任意の対象物または歩行者セットに対して、コンピューティングデバイス110は、相対的な姿勢(位置および配向または進行方向)、速度、ならびに注視の方向、ならびに各歩行者の所定の距離以内(2メートル程度など)の他の歩行者の数など、それらの歩行者の固有の特徴の判定を開始することができる。場合によっては、コンピューティングデバイス110は、多かれ少なかれ車両を待っているように見える歩行者を分類することさえできる。例えば、車両の現在地から離れるように歩いている人は、車両に向かって歩いている人より、待っている可能性が低いかもしれない。これを使用して、車両を待っている可能性の極めて低いセットから特定の歩行者を選別し、それによって、以下に説明する比較によって必要とされる処理量を低減することができる。
例えば、数秒などの短い期間が、例示的な図7から図8の例までに経過している。図8に示すように、車両100は、ピックアップ場所770に向かって前進しており、ここでは図7の例におけるよりもピックアップ場所770により近い。さらに、歩行者750、752、および754は、矢印850、852、および854によって示された距離および方向にそれぞれ移動している。歩行者756は、図8の時間と図7の時間との間では、静止している。その短い期間にわたるこの距離内の変化を使用することにより、これらの歩行者の推定速度を提供することもできる。例えば、歩行者750は、矢印850の方向に毎秒ほぼ5メートルで移動しているかもしれず、歩行者752および754は、それぞれ、矢印852および854の方向に毎秒ほぼ2メートルで移動しているかもしれず、歩行者756は静止しているように見えるかもしれない。当然のことながら、これらの速度判定は、コンピューティングデバイス110によって、または知覚システム172によって実行され、コンピューティングデバイス110に提供され得る。
さらに、コンピューティングデバイス110はまた、クライアントコンピューティングデバイス430から受信されたGPSまたは他の場所情報を処理して、割り当てられた乗客の推定速度、というよりはむしろ、割り当てられた乗客のクライアントコンピューティングデバイスの推定速度を判定することができる。例えば、時間の経過とともに場所の変化をグラフ化することによって、コンピューティングデバイス110は、クライアントコンピューティングデバイス430の推定速度を判定することができる。その速度推定は、速度の推定方向を含んでもよい。GPS情報は、多少当てにならないことがあるが、場合によっては、推定速度は、実際には、より信頼できることがある。
次いで、コンピューティングデバイス110は、クライアントコンピューティングデバイス430から受信した情報を、知覚システム172からの情報から判定された各歩行者の特徴と比較することを開始することができる。これを使用して、歩行者セットをほんの数人または1人に絞り込むことができる。例えば、クライアントコンピューティングデバイス430の推定速度は、歩行者の各々の推定速度と比較され得る。例えば、クライアントコンピューティングデバイス430の推定速度が、矢印760の方向に対応する推定方向に毎秒2メートルである場合、歩行者752および754は、極めて異なる方向に(矢印850によって示されているように)、より早い速度で移動している歩行者750よりも、乗客である可能性がより高い場合がある。このため、歩行者756および750は、可能性のある歩行者セットから選別され得る。
さらに、上述したように、コンピューティングデバイス110によってクライアントコンピューティングデバイス430から受信されたGPS情報は、識別された歩行者または歩行者750〜756の各々の検出位置と比較され得る。同様に、クライアントコンピューティングデバイス430から受信された加速度計または進行方向情報は、識別された歩行者の各々の検出された進行方向と比較され得る。これらの追加的な比較を使用して、歩行者セットをさらに絞り込むことができる。
また、歩行者の注視の配向などの他の信号を使用して、この信号が加速度計情報と矛盾していないかどうか(人々は、一般的に人々が移動している方向を見ている)、またその信号が、車両を見つめている人(乗客である可能性が高い)、または自分のコンピューティングデバイスを見つめている人(彼らが車両の現在地をチェックしている場合)と矛盾していないかどうかを判定することができる。例えば、歩行者750は、ピックアップ場所770からのその距離に起因して、かつ歩行者750が車両100およびピックアップ場所770の両方から離れるように移動しているように見えるという理由で、選別され得る。同時に、歩行者752および754は、両方ともピックアップ場所770に向かって移動し、車両100から離れるようにも、車両に向かっているようにも移動していないため、これらの歩行者を、歩行者750よりも、割り当てられた乗客である可能性が高いとする。この例では、歩行者752は、車両100の方向に目を向けているかもしれず、このことにより、同様に歩行者752を、割り当てられた乗客である可能性が高いとすることができる。同様に、歩行者756は、車両100の方向に配向され、その車両を見ているかもしれず、これにより、歩行者756も、割り当てられた乗客である可能性が高いとすることができる。
さらに、コンピューティングデバイスが2人以上の人をピックアップするように配車された場合、2メートル程度などの所定の距離以内の歩行者に対応する他の歩行者の数は、セットの各歩行者が、セットの歩行者のうちのどの歩行者が割り当てられた乗客である可能性がより高いかを識別するのに役立ち得る場合に、歩行者が同じ数のグループと一緒にいる可能性が高くなるためである。また、これらの信号の各々を考慮に入れると、コンピューティングデバイスは、観察された歩行者を、割り当てられた乗客である可能性が高い、極めて少ない(1人または2人程度の)歩行者セットに絞り込むことができる。例えば、コンピューティングデバイスが、2人の乗客がピックアップされることを示す命令をコンピューティングデバイス110に与える場合、次に、歩行者754が別の歩行者(ここでは、歩行者756)に近いため、歩行者754は、歩行者752より乗客である可能性が高い場合がある。また、歩行者は、次に、それに応じて、セットから選別ないし別の方法で除去され得る。
次いで、セットは、車両がピックアップ場所に向かって移動するにつれて、更新され得る。さらに、ピックアップ場所に進むのではなく、セットのうちの1人以上の歩行者により近い停車地点を見つけ出すことがより容易であり得るときに、セットを使用して車両がどこで停車するべきかを判定することができる。セットが1人の歩行者のみ(または互いに極めて接近している数人の歩行者)を含む場合、コンピューティングデバイス110は、駐車地点またはエリアに脇寄せするのではなく、車線内で停車することが安全であるかどうかさえも判定し、かつ乗客を乗車させることができる。例えば、セットが歩行者752のみを含む場合、コンピューティングデバイス110が、歩行者744を通り過ぎた後に車両を脇寄せするのではなく、コンピューティングデバイス110が、歩行者744の背後または通り過ぎる前に車両を脇寄せして停車し、割り当てられた乗客を待つほうがより有効であり得る。同様に、セットが歩行者754のみを含む場合、コンピューティングデバイス110が、歩行者744の背後または通り過ぎる前に車両を脇寄せするのではなく、コンピューティングデバイス110が、歩行者744を通り過ぎた後に車両を脇寄せするほうが、より有効であり得る。
いくつかの例では、乗客はまた、乗客を認識する際にコンピューティングデバイス110を補助することを求められる場合もある。例えば、乗客は、顔認識または身体の形状および大きさの認識を可能にするために、乗客の画像を共有するように求められる場合がある。同様に、乗客は、身長および体重、服装の詳細(シャツの色、パンツの色、または他の特徴など)などの乗客自身の特徴を入力するように求められる場合がある。乗客はまた、乗客のクライアントデバイスを特定の仕方で、放棄するか、または上に挙げるか、または動かすこと、乗客のクライアントデバイスのディスプレイ上に特定の色またはコードを表示すること、および車両に向かってディスプレイを配向させることなどのいくつかの追加のジェスチャーを行うように求められることもあり得る。乗客はまた、「あなたのシャツは、何色ですか?」または「あなたのシャツは、赤ですか?」など、車両が歩行者セットを絞り込むことを支援するために、特定の質問を尋ねられることもあり得る。別の代替方法では、乗客の画像または特徴は、1回の移動中に判定され得、乗客が後日の移動のためにこの情報を保存することを選択する場合、この情報は、コンピューティングデバイスによって使用されて、後日の移動において同じ乗客であることを認識され得る。また、この情報のすべてを使用して、乗客が車両に割り当てられたときに、特定の歩行者を識別することができる。
さらに、または代替的に、セットのために歩行者を識別し、かつ/またはセットから歩行者を選別するために上で考察される信号のうちのいずれも、確率論的に適用され得る。例えば、セットは、一人の歩行者に対応する各歩行者に関するすべての信号に対して組み合わされた尤度に閾値設定することによって、人数が増え得る。次いで、セットは、組み合わされた尤度に基づいて、分類され得る。より高い、または最も高いランキングの歩行者は、割り当てられた乗客である可能性がより高いと見なされる。この例では、組み合わされた尤度が特定の閾値を超える場合、および/または歩行者が最も高いランキングの歩行者に対応する場合、車両は、停車して、高いランキングの歩行者に対応する歩行者を待つことができる。
特定の乗客を認識する精度は、機械学習技術を使用することによって高めることができる。例えば、特定の歩行者が車両に割り当てられた乗客である可能性がどのくらい高いかに関するモデルは、クライアントデバイスから受信された情報、ならびに様々な歩行者に関して知覚システムが検出した情報を入力することによって、生成され得る。割り当てられた乗客であると判明した歩行者は、乗客としてラベル付けされ得、割り当てられた乗客でないと判明した歩行者は、そのようにラベル付けされ得る。このモデルの出力は、各歩行者が、割り当てられた乗客であるという尤度であってもよい。コンピューティングデバイスが、歩行者に対応する歩行者セットのためのデータをモードに入力しているとき、最も高い尤度を有するセットの歩行者は、上述した確率論的なアプローチの中などで割り当てられた乗客であると指定され得る。時間の経過とともに、より多くの情報が、異なる乗客および非乗客歩行者に利用可能になるに従い、このモデルは、引き続き訓練および使用されて特定の歩行者が車両に割り当てられる可能性が高いかどうかを識別することができる。
別の方法として、割り当てられた乗客を識別しようとする前に認証するのではなく、車両がピックアップ場所の所定の距離内に入ると、コンピューティングデバイス110は、割り当てられた乗客を最初に識別しようと試みてもよい。これは、上述の例を使用して、またはコンピュータ視覚技術を使用することによって達成され、割り当てられた乗客を認証することができる(割り当てられた乗客のクライアントコンピューティングデバイスとの通信ではない)。当然のことながら、これは、割り当てられた乗客のクライアントコンピューティングデバイスからの情報が、車両のコンピューティングデバイスに到達する前に、サーバコンピューティングデバイスに関係付けられる可能性が最も高いときに、より複雑になり得る。
図9は、コンピューティングデバイス110の1つ以上のプロセッサ120などの1つ以上のプロセッサによって実行され得るフロー図900である。この例では、ブロック910において、割り当てられた乗客をピックアップ場所でピックアップするための配車指示。配車指示は、割り当てられた乗客と関連付けられたクライアントコンピューティングデバイスに関する認証情報を含む。ブロック920において、車両は、自律運転モードでピックアップ場所に向かって操縦される。ブロック930において、クライアントコンピューティングデバイスは、認証情報を使用して認証される。クライアントコンピューティングデバイスが認証された後、ブロック940において、車両の所定の距離以内の歩行者セットが、車両のセンサによって生成されたセンサ情報から識別され、ブロック950において、場所情報が、ある期間にわたってクライアントコンピューティングデバイスから受信される。ブロック950において、受信された場所情報を使用して、クライアントコンピューティングデバイスの速度を推定する。ブロック960において、推定された速度を使用して、割り当てられた乗客である可能性の高い歩行者セットのサブセットを識別する。次いで、ブロック970において、車両は、サブセットに基づいて、割り当てられた乗客が車両に乗車することを可能にするために停車される。
特段の記述がない限り、上述の代替例は、相互に排他的ではないが、様々な組み合わせで実装されて特別な利点を達成することができる。これら、ならびに上で考察される特性の他の変形例および組み合わせが、特許請求の範囲によって定義された主題から逸脱することなく利用され得るため、前述の実施形態の説明は、特許請求の範囲によって定義された主題を限定するものとしてではなく、例示としてみなされるべきである。さらに、本明細書に記載された例の提供、ならびに「など」、「含む」などと表現された語句は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、逆に、それらの例は、数多くの可能な実施形態のうちの単なる1つを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは同様の要素を特定することができる。

Claims (20)

  1. 割り当てられた乗客を認識する方法であって、
    車両の1つ以上のプロセッサによって、前記割り当てられた乗客をピックアップ場所においてピックアップするための配車指示を受信することであって、前記配車指示が、前記割り当てられた乗客と関連付けられたクライアントコンピューティングデバイスに対する認証情報を含む、受信することと、
    前記1つ以上のプロセッサによって、前記車両を自律運転モードで前記ピックアップ場所に向かって操縦することと、
    前記1つ以上のプロセッサによって、前記認証情報を使用して前記クライアントコンピューティングデバイスを認証することと、
    前記クライアントコンピューティングデバイスを認証した後、前記1つ以上のプロセッサによって、前記車両のセンサにより生成されたセンサ情報から、前記車両の所定の距離以内の歩行者セットを識別することと、
    前記クライアントコンピューティングデバイスを認証した後、前記1つ以上のプロセッサによって、ある期間にわたって、前記クライアントコンピューティングデバイスの場所を識別する前記クライアントコンピューティングデバイスからの情報を受信することと、
    前記1つ以上のプロセッサによって、前記クライアントコンピューティングデバイスの速度を推定するために、前記受信された情報を使用することと、
    前記1つ以上のプロセッサによって、前記割り当てられた乗客である可能性が高い前記歩行者セットのサブセットを識別するために、前記推定速度を使用することと、
    前記1つ以上のプロセッサによって、前記サブセットに基づいて、前記割り当てられた乗客が前記車両に乗車することができるようにするために、前記車両を停車させることと、を含む、方法。
  2. 前記受信された情報が、前記クライアントコンピューティングデバイスのセンサによって生成された配向情報を含み、前記方法が、
    前記歩行者セットの各歩行者の配向を判定することと、
    前記配向情報を前記判定された配向と比較することと、をさらに含み、前記比較が、前記サブセットを識別するためにさらに使用される、請求項1に記載の方法。
  3. 前記歩行者セットの各歩行者の注視方向を検出するために、前記センサ情報を使用することをさらに含み、各歩行者の前記注視方向が、前記サブセットを識別するためにさらに使用される、請求項1に記載の方法。
  4. 前記歩行者セットの各歩行者の所定の距離以内の歩行者に対応する他の歩行者の数を判定するために、前記センサ情報を使用することをさらに含み、各歩行者の前記所定の距離以内の前記判定された他の歩行者の数が、前記サブセットを識別するためにさらに使用される、請求項1に記載の方法。
  5. 前記配車指示が、乗客の数をさらに識別し、前記識別された乗客の数が、前記サブセットを識別するためにさらに使用される、請求項4に記載の方法。
  6. 前記歩行者セットは、追加の場所情報が前記クライアントコンピューティングデバイスから受信されたときに、更新される、請求項1に記載の方法。
  7. 前記車両を停車させることが、前記ピックアップ場所よりも前記サブセットの歩行者のより近くに前記車両を停車させることを含む、請求項1に記載の方法。
  8. 前記車両を停車させることは、前記車両が前記ピックアップ場所に到着する前に、前記車両を停車させることを含む、請求項1に記載の方法。
  9. 前記歩行者セットのうちの2人以上の歩行者間で異なる特徴を識別するために、前記センサ情報を使用することと、
    前記クライアントデバイスにリクエストを送信することであって、前記リクエストが、前記特徴に関する質問を含む、送信することと、
    前記クライアントコンピューティングデバイスからの応答を受信することと、をさらに含み、前記応答が、前記サブセットを識別するためにさらに使用される、請求項1に記載の方法。
  10. 前記割り当てられた乗客である可能性の高い前記歩行者セットのサブセットを識別するために、前記推定速度を使用することが、前記歩行者セットの各歩行者が前記割り当てられた乗客であるという尤度を識別するために、前記推定速度をモデルに入力することを含み、前記歩行者セットの各歩行者が前記乗客であるという尤度が、前記サブセットを識別するためにさらに使用される、請求項1に記載の方法。
  11. 割り当てられた乗客を認識するためのシステムであって、
    乗客をピックアップ場所においてピックアップするための配車指示を受信することであって、前記配車指示が、前記割り当てられた乗客と関連付けられたクライアントコンピューティングデバイスに対する認証情報を含む、受信することと、
    車両を自律運転モードで前記ピックアップ場所に向かって操縦することと、
    前記認証情報を使用して前記クライアントコンピューティングデバイスを認証することと、
    前記クライアントコンピューティングデバイスを認証した後、前記車両のセンサにより生成されたセンサ情報から、前記車両の所定の距離以内の歩行者に対応する歩行者セットを識別することと、
    前記クライアントコンピューティングデバイスを認証した後、ある期間にわたって、前記クライアントコンピューティングデバイスから場所情報を受信することと、
    ある期間にわたって、前記クライアントコンピューティングデバイスの場所を識別する、前記クライアントコンピューティングデバイスから情報を受信することと、
    前記クライアントコンピューティングデバイスの速度を推定するために、前記受信された情報を使用することと、
    前記乗客である可能性の高い前記歩行者セットのサブセットを識別するために、前記推定速度を使用することと、
    前記サブセットに基づいて、前記乗客が前記車両に乗車することができるようにするために、前記車両を停車させることと、を行うように構成されている、1つ以上のプロセッサを備える、システム。
  12. 前記受信された情報が、前記クライアントコンピューティングデバイスのセンサによって生成された配向情報を含み、前記1つ以上のプロセッサが、
    前記乗客の配向を判定することと、
    前記配向情報を前記判定された配向と比較することと、を行うようにさらに構成されており、前記比較が、前記サブセットを識別するためにさらに使用される、請求項11に記載のシステム。
  13. 前記1つ以上のプロセッサが、前記歩行者セットの各歩行者の注視方向を検出するために、前記センサ情報を使用するようにさらに構成されており、各歩行者の前記注視方向が、前記サブセットを識別するために、前記1つ以上のプロセッサによってさらに使用される、請求項11に記載のシステム。
  14. 前記1つ以上のプロセッサが、前記歩行者セットの各歩行者の所定の距離以内の歩行者に対応する他の歩行者の数を判定するために、前記センサ情報を使用するようにさらに構成されており、各歩行者の前記所定の距離以内の前記判定された他の歩行者の数が、前記サブセットを識別するために、前記1つ以上のプロセッサによってさらに使用される、請求項11に記載のシステム。
  15. 前記配車指示が、乗客の数をさらに識別し、前記識別された乗客の数が、前記サブセットを識別するために、前記1つ以上のプロセッサによってさらに使用される、請求項14に記載のシステム。
  16. 前記歩行者セットは、追加の場所情報が前記クライアントコンピューティングデバイスから受信されたときに、更新される、請求項11に記載のシステム。
  17. 前記車両を停車させることが、前記ピックアップ場所よりも前記サブセットの歩行者のより近くに前記車両を停車させることを含む、請求項11に記載のシステム。
  18. 前記車両を停車させることは、前記車両が前記ピックアップ場所に到着する前に、前記車両を停車させることを含む、請求項11に記載のシステム。
  19. 前記1つ以上のプロセッサが、
    前記歩行者セットのうちの2人以上の歩行者間で異なる特徴を識別するために前記センサ情報を使用することと、
    前記クライアントデバイスにリクエストを送信することであって、前記リクエストが、前記特徴に関する質問を含む、送信することと、
    前記クライアントコンピューティングデバイスからの応答を受信することと、を行うように、さらに構成されており、前記応答が、前記サブセットを識別するためにさらに使用される、請求項11に記載のシステム。
  20. 前記車両をさらに備える、請求項11に記載のシステム。
JP2020503746A 2017-08-17 2018-08-03 自律車両に割り当てられた乗客を認識すること Active JP6968255B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021174473A JP7334224B2 (ja) 2017-08-17 2021-10-26 自律車両に割り当てられた乗客を認識すること

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/679,485 US10579788B2 (en) 2017-08-17 2017-08-17 Recognizing assigned passengers for autonomous vehicles
US15/679,485 2017-08-17
PCT/US2018/045137 WO2019036208A1 (en) 2017-08-17 2018-08-03 RECOGNITION OF ASSIGNED PASSENGERS FOR AUTONOMOUS VEHICLES

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021174473A Division JP7334224B2 (ja) 2017-08-17 2021-10-26 自律車両に割り当てられた乗客を認識すること

Publications (2)

Publication Number Publication Date
JP2020531943A JP2020531943A (ja) 2020-11-05
JP6968255B2 true JP6968255B2 (ja) 2021-11-17

Family

ID=65361555

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020503746A Active JP6968255B2 (ja) 2017-08-17 2018-08-03 自律車両に割り当てられた乗客を認識すること
JP2021174473A Active JP7334224B2 (ja) 2017-08-17 2021-10-26 自律車両に割り当てられた乗客を認識すること

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021174473A Active JP7334224B2 (ja) 2017-08-17 2021-10-26 自律車両に割り当てられた乗客を認識すること

Country Status (9)

Country Link
US (3) US10579788B2 (ja)
EP (2) EP3646280B1 (ja)
JP (2) JP6968255B2 (ja)
KR (1) KR102315335B1 (ja)
CN (1) CN111183428B (ja)
AU (2) AU2018318833B2 (ja)
CA (1) CA3072744C (ja)
SG (2) SG11202000601PA (ja)
WO (1) WO2019036208A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US11283877B2 (en) * 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US10579788B2 (en) 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles
US10756900B2 (en) * 2017-09-28 2020-08-25 Hand Held Products, Inc. Non-repudiation protocol using time-based one-time password (TOTP)
WO2021010524A1 (ko) * 2019-07-17 2021-01-21 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
DE102019213365B4 (de) * 2019-09-03 2024-03-21 Volkswagen Aktiengesellschaft Routenanpassungsverfahren, Steuerungsanordnung, Transportsystem
KR20210080993A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 전자 장치 및 그의 동작 방법
CN111605505B (zh) * 2020-02-25 2022-03-22 江苏大学 基于深度学习的主动式气囊拉带装置及其控制方法
CN112883786B (zh) * 2021-01-14 2021-09-10 深圳市博远科技创新发展有限公司 一种智能交通安全综合管理与监管系统及其使用方法
US20220258773A1 (en) * 2021-02-15 2022-08-18 Ford Global Technologies, Llc Autonomous Vehicle Rider Authentication, Boarding, And Drop Off Confirmation
JP2022132902A (ja) * 2021-03-01 2022-09-13 本田技研工業株式会社 移動体の制御システム、移動体、移動体の制御方法、およびプログラム
JP7439781B2 (ja) * 2021-03-02 2024-02-28 トヨタ自動車株式会社 自動運転車両、乗合車両及び車両乗換システム
IT202200008276A1 (it) * 2022-04-27 2023-10-27 Fiat Ricerche "Autoveicolo a guida autonoma, dotato di un sistema per il riconoscimento a distanza, ed il recupero, di un passeggero, e relativo procedimento"
IT202200010040A1 (it) * 2022-05-16 2023-11-16 Fiat Ricerche "Autoveicolo a guida autonoma, dotato di un sistema per rilevare e riconoscere caratteristiche identificative di un passeggero, e relativo procedimento"

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694248B2 (en) 1995-10-27 2004-02-17 Total Technology Inc. Fully automated vehicle dispatching, monitoring and billing
JP3375258B2 (ja) 1996-11-07 2003-02-10 株式会社日立製作所 地図表示方法及び装置並びにその装置を備えたナビゲーション装置
US6418234B1 (en) 1997-03-03 2002-07-09 Keith W. Whited System and method for storage, retrieval and display of information relating to specimens in marine environments
US6545601B1 (en) 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
US6812851B1 (en) 1999-12-15 2004-11-02 Vert, Inc. Apparatuses for displaying information on vehicles
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US6356838B1 (en) 2000-07-25 2002-03-12 Sunil Paul System and method for determining an efficient transportation route
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US6414635B1 (en) 2000-10-23 2002-07-02 Wayport, Inc. Geographic-based communication service system with more precise determination of a user's known geographic location
JP2002149912A (ja) 2000-11-13 2002-05-24 Toshihiko Furukawa 通報システム
US20110068954A1 (en) 2006-06-20 2011-03-24 Zonar Systems, Inc. Method and apparatus to collect object identification data during operation of a vehicle and analysis of such data
US20030096621A1 (en) * 2001-11-19 2003-05-22 Rittwik Jana Method and apparatus for identifying a group of users of a wireless service
US6801837B2 (en) 2002-01-03 2004-10-05 Meritor Light Vehicle Technology, Llc Intervehicle network communication system
US7327280B2 (en) 2002-08-15 2008-02-05 California Institute Of Technology Emergency vehicle traffic signal preemption system
FR2840426B1 (fr) 2002-06-03 2004-12-17 Airbus France Dispositif d'aide au reperage visuel d'un aeronef en vol depuis un autre aeronef, egalement en vol
US20030222981A1 (en) 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
JP2004054444A (ja) 2002-07-17 2004-02-19 Omron Corp 運転サービス情報仲介システム
US6810328B2 (en) 2002-11-23 2004-10-26 Alpine Electronics, Inc Navigation method and system for indicating area-specific traffic information
US20050153707A1 (en) 2003-07-25 2005-07-14 Liza Ledyard Portable service identification, notification and location device and method
US7466356B2 (en) 2003-07-25 2008-12-16 Hewlett-Packard Development Company, L.P. Method and apparatus for setting a marker on an object and tracking the position of the object
US20050114014A1 (en) 2003-11-24 2005-05-26 Isaac Emad S. System and method to notify a person of a traveler's estimated time of arrival
JP2005250614A (ja) 2004-03-02 2005-09-15 Nec Mobiling Ltd タクシー配車システム
DE102005013920B4 (de) 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
US7129887B2 (en) 2004-04-15 2006-10-31 Lockheed Martin Ms2 Augmented reality traffic control center
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
JP2006279859A (ja) * 2005-03-30 2006-10-12 Hitachi Ltd 移動体移動実態情報提供システム、位置情報収集装置、カーナビ装置および移動体移動実態情報提供方法
EP1877970A1 (en) 2005-05-02 2008-01-16 Ecolane Finland OY Method and arrangement for arranging practical aspects of a demand responsive transport system
US20160027307A1 (en) * 2005-12-23 2016-01-28 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
US20140172727A1 (en) 2005-12-23 2014-06-19 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
US8340904B2 (en) 2006-01-08 2012-12-25 Bo-In Lin Transmission of wireless messages of current vehicle location and estimated arrival time to requestors
US7920071B2 (en) 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
US7775437B2 (en) 2006-06-01 2010-08-17 Evryx Technologies, Inc. Methods and devices for detecting linkable objects
EP2135200A4 (en) 2007-02-12 2011-12-28 Sean O'sullivan DISTRIBUTED TRANSPORT SYSTEM AND SERVICE NETWORK
JP2008216205A (ja) 2007-03-07 2008-09-18 Fujitsu Ltd 車載ナビゲーション装置
JP2008227877A (ja) 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置
US9852624B2 (en) * 2007-09-07 2017-12-26 Connected Signals, Inc. Network security system with application for driver safety system
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
EP2217880B1 (en) 2007-11-24 2015-02-18 Routerank Ltd Optimized route planning
US8005488B2 (en) 2007-12-14 2011-08-23 Promptu Systems Corporation Automatic service vehicle hailing and dispatch system and method
US20090192851A1 (en) 2008-01-25 2009-07-30 Bishop Paul L Location-Based Transportation Management
US9020533B1 (en) 2008-02-12 2015-04-28 Sprint Communications Company L.P. Location services
US20090234573A1 (en) 2008-03-17 2009-09-17 Emory University Office Of Technology Transfer Travel Partner Matching Using Selectable Map Interface
US9519921B2 (en) 2008-06-27 2016-12-13 E-Lantis Corporation GPS and wireless integrated fleet management system and method
DE102008049824B4 (de) * 2008-10-01 2014-09-04 Universität Kassel Verfahren zur Kollisionsvermeidung
JP2010183170A (ja) 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
US20100217613A1 (en) 2009-02-26 2010-08-26 Brian Kelly Methods and apparatus for providing charitable content and related functions
TWI402782B (zh) 2009-03-20 2013-07-21 Taiwan Mobile Comm 車輛派遣方法、車輛派遣系統及應用其中之導航主機
US8386177B2 (en) 2009-05-13 2013-02-26 Taiwan Mobile Communication Vehicle-dispatching method and vehicle-dispatching system
US8583320B2 (en) 2009-06-26 2013-11-12 Esurance Insurance Services, Inc. Apparatus and method for automated vehicle roadside assistance
KR101772970B1 (ko) 2009-08-25 2017-09-13 삼성전자주식회사 차량 정보 제공방법 및 이를 적용한 단말기
US8301202B2 (en) 2009-08-27 2012-10-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US9041806B2 (en) 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
US10002198B2 (en) 2009-10-28 2018-06-19 Verizon Patent And Licensing Inc. Mobile taxi dispatch system
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US20110313880A1 (en) 2010-05-24 2011-12-22 Sunil Paul System and method for selecting transportation resources
JP5070318B2 (ja) 2010-06-21 2012-11-14 本田技研工業株式会社 車載遠隔操作装置
US20120041675A1 (en) 2010-08-10 2012-02-16 Steven Juliver Method and System for Coordinating Transportation Service
TW201218117A (en) 2010-10-29 2012-05-01 Hon Hai Prec Ind Co Ltd System and method for arranging taxies
US20120130627A1 (en) 2010-11-23 2012-05-24 Islam Mohammad R Taxi dispatch system
US8918230B2 (en) 2011-01-21 2014-12-23 Mitre Corporation Teleoperation of unmanned ground vehicle
GB201106555D0 (en) * 2011-04-19 2011-06-01 Tomtom Int Bv Taxi dispatching system
US8615345B2 (en) 2011-04-29 2013-12-24 Ford Global Technologies, Llc Method and apparatus for vehicle system calibration
WO2012172629A1 (ja) * 2011-06-13 2012-12-20 トヨタ自動車株式会社 歩行者動作予測装置
US9958280B2 (en) 2011-08-16 2018-05-01 Inrix, Inc. Assessing inter-modal passenger travel options
US9037852B2 (en) 2011-09-02 2015-05-19 Ivsc Ip Llc System and method for independent control of for-hire vehicles
US20130144660A1 (en) 2011-12-02 2013-06-06 Verizon Patent And Licensing Inc. Electronic maitre d'
US8712379B2 (en) 2011-12-12 2014-04-29 General Motors Llc Authenticating messages sent between a vehicle and a central facility
EP2798626A4 (en) 2011-12-29 2016-01-06 Intel Corp PERSONALIZED RECONFIGURABLE VEHICLE INDICATORS
US20130211916A1 (en) 2012-02-09 2013-08-15 CMFG Life Insurance Company Automatic real-time opportunity-relevant promotions for an auto buying assistant application
AU2012203006A1 (en) 2012-02-21 2013-09-05 Car Pilots Pty Ltd Systems and methods for booking transport
US9367678B2 (en) 2012-02-29 2016-06-14 Red Hat, Inc. Password authentication
US20130289858A1 (en) 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
JP5921320B2 (ja) 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
US10055694B2 (en) 2012-08-07 2018-08-21 Hitachi, Ltd. Use-assisting tool for autonomous mobile device, operation management center, operation system, and autonomous mobile device
GB201300006D0 (en) 2013-01-01 2013-02-13 Tomtom Dev Germany Gmbh Vehicle management system
US20140200739A1 (en) 2013-01-15 2014-07-17 Honda Motor Co., Ltd. Enhancing vehicle connectivity
US11574263B2 (en) 2013-03-15 2023-02-07 Via Transportation, Inc. System and method for providing multiple transportation proposals to a user
US20160021154A1 (en) 2013-03-25 2016-01-21 Steven B. Schoeffler System And Method For Displaying Information
US20140300449A1 (en) 2013-04-05 2014-10-09 Ani Kounavis Taxi hailing system and mobile application
US9805592B2 (en) * 2013-10-07 2017-10-31 Savari, Inc. Methods of tracking pedestrian heading angle using smart phones data for pedestrian safety applications
US20140365250A1 (en) 2013-06-05 2014-12-11 Fujitsu Limited Transportation service reservation method and apparatus
WO2015001547A1 (en) * 2013-07-01 2015-01-08 Inuitive Ltd. Aligning gaze and pointing directions
WO2015038147A1 (en) 2013-09-13 2015-03-19 Intel Corporation Context-aware distributive taxi cab dispatching
US20150142484A1 (en) 2013-11-18 2015-05-21 National Taipei University Of Technology Carpool service providing method and carpool server using the same
US20150154810A1 (en) 2013-12-04 2015-06-04 Kar Leong Tew Virtual transportation stands
WO2015089207A1 (en) 2013-12-11 2015-06-18 Uber Technologies, Inc. Optimizing selection of drivers for transport requests
US10210399B2 (en) 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
US9542609B2 (en) 2014-02-04 2017-01-10 Xerox Corporation Automatic training of a parked vehicle detector for large deployment
US9436180B1 (en) 2014-04-11 2016-09-06 Google Inc. Location-based privacy
TW201541393A (zh) 2014-04-21 2015-11-01 Wei-Yen Yeh 計程車管理設備及計程車管理系統
US9631933B1 (en) 2014-05-23 2017-04-25 Google Inc. Specifying unavailable locations for autonomous vehicles
US9436182B2 (en) 2014-05-23 2016-09-06 Google Inc. Autonomous vehicles
US20160048831A1 (en) * 2014-08-14 2016-02-18 Uber Technologies, Inc. Verifying user accounts based on information received in a predetermined manner
DE102014219148A1 (de) 2014-09-23 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers
US9377315B2 (en) * 2014-10-22 2016-06-28 Myine Electronics, Inc. System and method to provide valet instructions for a self-driving vehicle
US9823081B2 (en) 2014-12-03 2017-11-21 Ford Global Technologies, Llc Vehicle passenger identification
JP6425076B2 (ja) * 2014-12-13 2018-11-21 尚史 本田 位置情報に基づく個人識別情報処理システム及び方法
JP2018506461A (ja) 2014-12-15 2018-03-08 ポラリス インダストリーズ インコーポレーテッド 自律準備車両
WO2016114191A1 (ja) * 2015-01-15 2016-07-21 日産自動車株式会社 乗客ドッキング位置を使用した自律走行車両のルーティング及びナビゲーション
US9448559B2 (en) 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
US20160231746A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle
US9552564B1 (en) 2015-03-19 2017-01-24 Amazon Technologies, Inc. Autonomous delivery transportation network
CN104828664B (zh) * 2015-04-03 2020-05-22 奥的斯电梯公司 自动调试系统和方法
JP6343248B2 (ja) 2015-04-13 2018-06-13 パナソニック株式会社 車載端末装置及びこれを備えた歩車間通信システム及び車両待ち合わせ方法
JP2016218895A (ja) 2015-05-25 2016-12-22 日本電気株式会社 同一人物検証システム、方法およびプログラム
US9733096B2 (en) 2015-06-22 2017-08-15 Waymo Llc Determining pickup and destination locations for autonomous vehicles
US10023231B2 (en) 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
US9805605B2 (en) * 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Using autonomous vehicles in a taxi service
CA3005147C (en) * 2015-11-20 2022-07-19 Uber Technologies, Inc. Controlling autonomous vehicles in connection with transport services
US11205240B2 (en) * 2015-12-30 2021-12-21 Waymo Llc Autonomous vehicle services
US9551992B1 (en) 2016-01-08 2017-01-24 Google Inc. Fall back trajectory systems for autonomous vehicles
US20170213165A1 (en) 2016-01-26 2017-07-27 GM Global Technology Operations LLC Systems and methods for vehicle ride safety and security of person and property
US10088846B2 (en) * 2016-03-03 2018-10-02 GM Global Technology Operations LLC System and method for intended passenger detection
US10824985B2 (en) * 2016-03-09 2020-11-03 Amazon Technologies, Inc. Interactive mobile pick-up unit notification
US20170294130A1 (en) * 2016-04-08 2017-10-12 Uber Technologies, Inc. Rider-vehicle handshake
US9429947B1 (en) 2016-04-14 2016-08-30 Eric John Wengreen Self-driving vehicle systems and methods
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
US20170323378A1 (en) * 2016-05-09 2017-11-09 Bank Of America Corporation System for triggering of living option resource allocation
US20170327082A1 (en) * 2016-05-12 2017-11-16 GM Global Technology Operations LLC End-to-end accommodation functionality for passengers of fully autonomous shared or taxi-service vehicles
US20180075565A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger validation systems and methods
US11024160B2 (en) 2016-11-07 2021-06-01 Nio Usa, Inc. Feedback performance control and tracking
US10210398B2 (en) * 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
CA3062780C (en) * 2017-05-08 2023-09-26 Arnold CHASE Mobile device for autonomous vehicle enhancement system
US10290074B2 (en) * 2017-05-25 2019-05-14 Uber Technologies, Inc. Coordinating on-demand transportation with autonomous vehicles
US10059255B1 (en) * 2017-06-16 2018-08-28 Hyundai Motor Company Systems and methods for vehicle recognition using mobile device
US10579788B2 (en) 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles

Also Published As

Publication number Publication date
US10579788B2 (en) 2020-03-03
WO2019036208A1 (en) 2019-02-21
AU2021203701B2 (en) 2022-06-23
US20200210564A1 (en) 2020-07-02
US20210133308A1 (en) 2021-05-06
US10872143B2 (en) 2020-12-22
CA3072744C (en) 2023-08-01
AU2018318833B2 (en) 2021-05-06
WO2019036208A9 (en) 2020-03-26
EP3646280A4 (en) 2021-05-19
SG11202000601PA (en) 2020-02-27
US11475119B2 (en) 2022-10-18
AU2021203701A1 (en) 2021-07-01
CN111183428A (zh) 2020-05-19
EP4138056A1 (en) 2023-02-22
CA3072744A1 (en) 2019-02-21
AU2018318833A9 (en) 2020-04-16
US20190057209A1 (en) 2019-02-21
SG10202106060SA (en) 2021-07-29
CN111183428B (zh) 2024-02-09
EP3646280B1 (en) 2022-10-05
JP7334224B2 (ja) 2023-08-28
EP4138056B1 (en) 2024-01-03
JP2020531943A (ja) 2020-11-05
JP2022016448A (ja) 2022-01-21
KR102315335B1 (ko) 2021-10-20
EP3646280A1 (en) 2020-05-06
AU2018318833A1 (en) 2020-02-20
KR20200018736A (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
JP6968255B2 (ja) 自律車両に割り当てられた乗客を認識すること
JP7314218B2 (ja) 自律車両における乗客の早期乗車
US11709490B1 (en) Behavior and intent estimations of road users for autonomous vehicles
US11669783B2 (en) Identifying unassigned passengers for autonomous vehicles
JP6488428B1 (ja) 自律車両のためのフォールバック軌道システム
JP7093408B2 (ja) 自律型車両のための交通の再方向付けの検出および対応
KR20210048575A (ko) 정지된 자율주행 차량들에 의해 야기되는 주변 도로 사용자들에 대한 불편을 감소시키는 것
CN118038405A (en) Identifying assigned passengers of an autonomous vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6968255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150