JP6857728B2 - 制御されていない交差点及び制御されている交差点を自律的に走行する方法 - Google Patents

制御されていない交差点及び制御されている交差点を自律的に走行する方法 Download PDF

Info

Publication number
JP6857728B2
JP6857728B2 JP2019527142A JP2019527142A JP6857728B2 JP 6857728 B2 JP6857728 B2 JP 6857728B2 JP 2019527142 A JP2019527142 A JP 2019527142A JP 2019527142 A JP2019527142 A JP 2019527142A JP 6857728 B2 JP6857728 B2 JP 6857728B2
Authority
JP
Japan
Prior art keywords
pedestrian
intersection
autonomous vehicle
pedestrian crossing
crossing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019527142A
Other languages
English (en)
Other versions
JP2019536163A (ja
Inventor
ユリア バールク
ユリア バールク
スタブ ブラウン
スタブ ブラウン
ソニア ジン
ソニア ジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2019536163A publication Critical patent/JP2019536163A/ja
Application granted granted Critical
Publication of JP6857728B2 publication Critical patent/JP6857728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

関連出願の相互参照
本出願は、2016年11月22日出願の米国仮出願番号62/425,328の利益を主張し、その全体を参照により本明細書に組み込む。
本発明は、一般的に自律走行車の分野に関し、より詳細には、自律走行車の分野で、制御されていない交差点及び制御されている交差点を自律的に走行して渡る新しい独自の方法に関する。
方法をフローチャートで表した図である。 方法の一変形形態をフローチャートで表した図である。 方法の一変形形態をフローチャートで表した図である。
発明の実施形態の以下の記載は、発明をこれらの実施形態に制限するものではなく、当業者が本発明を行い、使用するのを可能にするものである。本明細書に記載の変形形態、構成、実施態様、実施態様例、及び、例は、任意選択的なものであり、本明細書に記載の変形形態、構成、実施態様、実施態様例、及び、例だけに限定するものではない。本明細書に記載の発明は、これらの変形形態、構成、実施態様、実施態様例、及び、例の任意及び全ての変形を含み得る。
1.方法
図1に示すように、横断歩道を自律的に走行する方法S100は、自律走行車が、第1の時点で、ブロックS110において、交差点の横断歩道であって、自律走行車に割り当てられた走行ルートに一致する横断歩道の方に歩道を自律的に走行することと、ブロックS120において、自律走行車に組み込まれた光学センサを用いて自律走行車の近くのシーンの光学データを記録することと、ブロックS112において、自律走行車の前後軸を光学データで検出された横断歩道と整列させることと、ブロックS122において、光学データで交差点近くの歩行者を識別することと、第1の時点の後の第2の時点で、歩行者が横断歩道に進入することに応答して、ブロックS140において、自律走行車の交差点に進入する優先権を予測することと、自律走行車の交差点に進入する優先権を予測することに応答して、ブロックS170において、歩道から横断歩道内に自律的に走行し、且つ、走行ルートに従って、横断歩道を反対側の歩道の方に自律的に走行することと、を含む。
図2に示すように、方法S100の一変形形態は、自律走行車が、ブロックS110において、交差点の横断歩道であって、自律走行車に割り当てられた走行ルートに一致する横断歩道の方に歩道を自律的に走行することと、ブロックS120において、自律走行車に組み込まれた光学センサを用いて自律走行車の近くのシーンの光学データを記録することと、ブロックS112において、自律走行車の前後軸を光学データで検出された横断歩道と整列させることと、第1の時点で、ブロックS130において、スキャンデータで交差点の近くで検出された車両の近接性に基づいて、自律走行車の横断歩道に進入する優先権の第1の信頼スコアを算出することと、第1の時点の後の第2の時点で、ブロックS122において、光学データで交差点の近くの歩行者を識別することと、歩行者が横断歩道に進入することに応答して、ブロックS140において、自律走行車の横断歩道に進入する優先権の第2の信頼スコアを横断歩道の歩行者の存在に基づいて算出することであって、第2の信頼スコアは第1の信頼スコアより大きく、第2の信頼スコアが第1の閾値スコアを超えることに応答して、ブロックS160において、自律走行車の横断歩道内への進入を確認するためのクエリをリモートオペレータポータルに送信することと、リモートオペレータポータルからの横断歩道への進入の確認に応答して、ブロックS170において、歩道から横断歩道内に自律的に走行し、且つ、走行ルートに従って、横断歩道を反対側の歩道の方に自律的に走行することと、を含む。
図3に示すように、方法S100の別の変形形態は、自律走行車が、ブロックS110において、交差点の横断歩道であって、自律走行車に割り当てられた走行ルートに一致する横断歩道の方に歩道を自律的に走行することと、自律走行車に組み込まれた光学センサを用いて自律走行車の近くのシーンの光学データを記録することと、ブロックS112において、自律走行車の前後軸を光学データで検出された横断歩道と整列させることと、第1の時点で、光学データで、交差点の近くの点灯した交通信号の状態を検出することと、ほぼ第1の時点で、ブロックS126において、交差点に接近する車両の速度を算出することと、ブロックS130において、交差点近くの点灯した交通信号の状態と車両の速度とに基づいて、自律走行車の交差点に進入する優先権の信頼スコアを算出することと、信頼スコアが閾値スコアを超えることに応答して、ブロックS160において、自律走行車の横断歩道内への進入を確認するためのクエリをリモートオペレータポータルに送信することと、リモートオペレータポータルからの横断歩道への進入の確認に応答して、ブロックS170において、歩道から横断歩道内に自律的に走行し、且つ、走行ルートに従って、横断歩道を反対側の歩道の方に自律的に走行することと、を含む。
2.適用例
一般的に、自律走行車は、制御されていない交差点、譲れ(yield)標識によって制御されている交差点、一時停止制御されている交差点、及び、信号で制御されている交差点等の交差点をいつ、どのように渡るかを判断するために、方法S100と方法S100の変形形態とのブロックをローカルで実行できる。詳細には、歩道または自転車専用道路を自律的に走行するように構成された自律走行車は、方法S100のブロックを実行して、自律走行車が、歩行者、サイクリスト、または、道路車両(例えば、車またはトラック)と衝突する危険が限られた状態で、横断歩道等で、通りまたは交差点を横断する事例をローカルに判断できる。自律走行車は、自律走行車に組み込まれた様々なセンサからのデータを、自律走行車の交差点に進入する優先権を持つ信頼スコア(以下、「横断信頼スコア」)に融合でき、この信頼スコアが閾値スコアを超える時、横断歩道内を自律的に走行する等によって、交差点を渡ることができる。しかしながら、少なくとも閾値時間の間、閾値スコア未満である横断信頼スコア等、様々なトリガに応答して、自律走行車は、自律走行車の交差点に進入する優先権を持つか否かを手動で示すようにリモートオペレータポータルにクエリを行うことができ、且つ、リモートの人間オペレータが自律走行車のクエリに対して正確な応答を提供できるように十分なセンサデータをリモートオペレータポータルにオフロードできる。
詳細には、自律走行車は、自律走行車の車体にパッケージが自動または手動で積み込まれる集荷場所に自律的に走行するように、集荷場所から指定されたパッケージの引き渡し場所に延びる走行ルートに従って歩道または他の歩行者通路を自律的に走行するように、そして、パッケージを指定の受領者に引き渡すように、構成できる。集荷場所と引き渡し場所の間を走行する時、自律走行車は、方法S100のブロックをローカルに実行して、割り当てられた走行ルートに一致する交差点の方に走行でき、自律走行車周囲の現場のセンサデータ(例えば、光学距離、及び/または、色情報)を収集でき、位置確認地図とこれらのセンサデータで検出された変化しない特徴(例えば、歩道の端、道路標識、建物のファサード等)とに基づいて、交差点の近くで自律走行車の位置及び向きを判断でき、これらのセンサデータで検出された変化する特徴(例えば、制御された交通標識の状態、近くの他の車両の状態、近くの歩行者の状態等)に基づいて、自律走行車の交差点に進入する(すなわち、走行ルートに一致する横断歩道に進入して、横断歩道を走行する)優先権を持つか否かを判断できる。自律走行車は、次に、優先権を持つか否かの自律走行車の判断、及び/または、交差点に進入する優先権を自律走行車が持つことの信頼度に基づいて、横断歩道に自律的に進入、横断歩道に面する歩道で停止、または、自律走行車の次の決定を支援するようにリモートの人間オペレータにクエリ、を選択的に行うことができる。
自律走行車は、自律走行車がいる交差点の種類に基づいて、方法S100の変形形態を実行できる。例えば、制御されていない、譲れ標識によって制御された、または、一時停止制御された交差点にいる時、自律走行車は、コンピュータビジョン技術を実施して、交差点に接近する道路車両の速度を追跡でき、交差点に接近する道路車両の減速速度に基づいて、横断信頼スコアを定期的に(再)算出でき、横断信頼スコアが閾値スコアを超えると、交差点を横断できる。この例において、自律走行車は、また、自律走行車と同じまたは反対側の交差点の角等の交差点の歩行者を識別及び追跡でき、歩行者が通りを横断することに応答して、横断信頼スコアを増加させることができ、横断信頼スコアが閾値スコアを超える場合、歩行者と共に(例えば、隣または後ろで)通りを横断できる。別の例において、自律走行車は、信号制御されている交差点にいる時、コンピュータビジョン技術を実施して、交差点の点灯した信号を追跡でき、交差点の車両及び歩行者の優先権を判断でき、道路車両及び歩行者の交差点に進入する及び交差点から出る現在の優先権及び動きに基づいて、交差点の横断信頼スコアを定期的に(再)算出でき、そして、横断信頼スコアが閾値スコアを超える場合、通りを横断できる。
方法S100のブロックは、歩行者通路を走行するように、且つ、パッケージまたは他の品物を指定の受領者に配達するように構成されたラストマイル用自律走行車によってローカルに実行されるとして本明細書に記載されている。しかしながら、方法S100のブロックは、代わりに、任意の他の種類の自律走行車によって、及び/または、このような自律走行車から受信したデータに基づいてリモートサーバによってリモートで実行できる。
2.実施態様例
方法S100によると、割り当てられた走行ルートに一致する、制御されていない、譲れ標識によって制御された、または、一時停止制御された交差点の方に自律的に走行する時、自律走行車は、自律走行車に配置された一連のカラーカメラ及び/または距離センサ(例えば、LIDARスキャナ)によって光学データを記録でき、コンピュータビジョン技術を実施して、車両の周囲のシーンの変化しない物体(例えば、路面、歩道面、建物のファサード、交通標識、交通信号、横断歩道、及び、車線マーカ等)と変化する物体(例えば、歩行者、車両、交通信号機の状態等)を検出でき、且つ、図3に示すように、自律走行車に対するこれらの変化しない物体の位置と、自律走行車に記憶された位置確認地図に示される同様の物体の位置とに基づいて、実空間における、自律走行車の場所及び向きを判断できる。実空間における自律走行車の場所と自律走行車の割り当てられた走行ルートとに基づいて、自律走行車は、次の行動、例えば、自律走行車が交差点に到達すると、横断歩道を通って交差点を渡る、または、向きを変えて別の歩道に行く等を計画できる。走行ルートが、この交差点の横断歩道と一致する場合、自律走行車は、近くのシーンで検出された様々な変化する特徴に基づいて、横断歩道に進入して交差点を反対側の歩道の方に横断する自律走行車の優先権の信頼スコアを算出できる。
3.1 保護されていない横断歩道
一実施態様例において、走行地図で保護されていないと表示された横断歩道に接近すると、または、(例えば、横断歩道の近くで制御された信号が検出されないことに基づいて)近付きつつある横断歩道が保護されていないと判断すると、自律走行車は、横断歩道に接近する道路車両を探して近くのシーンをデフォルトでスキャンでき、車両の存在及びこれらの道路車両のスピードの(例えば、逆関数)に基づいて、横断歩道に進入する信頼スコアを算出できる。しかしながら、自律走行車は、交差点の歩行者の行動に基づいて、横断歩道に進入する優先権に関するより有用な情報(例えば、横断歩道に進入時に他の車両と衝突する危険性)を導き出してよい。例えば、別の歩行者が自律走行車と同じまたは反対側の歩道等、交差点に存在する場合、自律走行車は、図3に示すように、歩行者を検出でき、歩行者の行動または横断歩道に対する向きに基づいて、自律走行車と同じ横断歩道(または、隣の平行な横断歩道)を横断するという歩行者の意思を予測でき、歩行者が歩道にいる間、横断歩道に進入する優先権の低い信頼スコアを算出でき、その後、歩行者が歩道に進入すると、横断歩道に進入する優先権のより高い信頼スコアを算出できる。詳細には、自律走行車は、歩行者は、安全に交差点を横断している可能性が高く、一般的な歩行者の歩行スピードで横断歩道を移動していると予測でき、歩行者が横断歩道を走っている場合、交差点に危険な状態で進入していると予測でき、歩行者が一般的な歩行者の歩行スピードよりかなり遅く移動している場合、交差点に注意を払っていないことが予測でき、それらに応じて、横断歩道に進入する優先権の算出した信頼スコアを調整できる。
さらに、自律走行車が、同じまたは反対側の歩道を歩いている歩行者グループを検出した場合、自律走行車は、このグループを監視でき、グループの行動に基づいて、保護されていない横断歩道に進入する信頼スコアを調整できる。詳細には、自律走行車は、歩行者グループが、歩道に立っている状態から横断歩道に進入する状態に、ほぼ一緒に移るのを検出すると、同じ横断歩道に進入する優先権の高い信頼スコアを算出でき、横断歩道を移動する歩行者グループの密度またはスピードが一定である、及び/または、予測される歩行者の歩行スピードに近似している場合、歩行者と共に横断歩道に進入する自律走行車の優先権は高い信頼スコアを維持できる。しかしながら、このグループの歩行者の(比較的少ない)人数だけが横断歩道に移動する、及び/または、歩行者が横断歩道を移動するスピードに大きな差があるのを検出すると、自律走行車は、この横断歩道に進入する優先権のより低い信頼スコアを算出できる。
詳細には、歩行者は、特に、横断歩道に自分が進入するのが安全かどうかを判断できてよく、横断歩道に接近する車両は、自律走行車に対してより歩行者に対して停止する可能性がより高いと考えられる、また、歩行者の横断歩道への進入は自律走行車の横断歩道への進入時の危険性の強力な指標であり得る。よって、自律走行車は、方法S100のブロックを実施して、例えば、保護されていない横断歩道に接近する他の道路車両の近接性及びスピードに加えて、または、その代わりに、この横断歩道の近くの歩行者の存在及び行動に基づいて、保護されていない横断歩道に進入する自律走行車の信頼スコアを調整できる。
3.2 保護されていない横断歩道
別の実施態様例において、走行地図で保護されていると表示されている横断歩道に接近すると、または、近付きつつある横断歩道が保護されていると判断すると、自律走行車は、制御された交通信号及び/または制御された歩行者信号を探して近くのシーンをデフォルトでスキャンでき、この信号の状態から自律走行車の交差点に進入する優先権を抽出できる。自律走行車は、図3に示すように、交差点または横断歩道に接近する道路車両の近接性及びスピードに基づいて、自律走行車の優先権を確認(例えば、自律走行車の優先権の信頼スコアを増加させることが)できる。
しかしながら、一定のシナリオにおいて、制御された交通信号、制御された歩行者信号、及び/または、交差点にいるまたは交差点に接近する道路車両が、太陽の光、天候(例えば、霧、雨)、自律走行車の近くに立っている歩行者、交差点の近くの大型車両(例えば、トラック、トレーラ)、近くの道路工事等によって、自律走行車の光学センサから遮られる場合がある。よって、自律走行車は、自律走行車の交差点に進入する優先権の他の指標を探して近くのシーンをスキャンできる。例えば、自律走行車は、コンピュータビジョン技術を実施して、自律走行車のすぐ正面または横等の同じ横断歩道を向いている歩行者を検出でき、歩行者が横断歩道に進入したか否か、歩行者の横断歩道を歩くスピード、近くの他の歩行者の行動等に基づいて、自律走行車が隣接する横断歩道に進入する優先権の信頼スコアを算出できる。交差点の近くの他の車両の可視性または横断歩道の反対側の歩行者信号等、自律走行車の優先権を示す他のデータが、時間の経過と共に、自律走行車の視界に入ると、自律走行車は、図3に示すように、それに応じて、この信頼スコアを定期的に更新できる。
上記実施態様例において、制御されている交差点近くの歩行者は、交差点の状況と横断歩道に進入する危険性とをよく理解している可能性があり、横断歩道に接近する車両の運転者に直接影響を与え得る(すなわち、本質的に、この歩行者達との衝突を避けるようにこの運転者達に減速させ得る)。よって、自律走行車は、交差点近くの歩行者を追跡でき、自律走行車が他の交通関連データを入手できない時、または、他の種類の交通関連データと組み合わせて等、選択的に、この歩行者達の行動に基づいて、交差点に進入する信頼スコアを算出できる。
3.3 走行
自律走行車が、交差点に進入する優先権を持つための、既定の閾値スコア(例えば、90/100)を超える信頼スコアを算出すると、自律走行車は、図3に示すように、自動的に、近い方の段差スロープを通って歩道から横断歩道内に走行でき、横断歩道(例えば、横断歩道の両側の車線マーカの間)を走行でき、遠い方の段差スロープを上って反対側の歩道に走行でき、割り当てられた走行経路の自律的な実行を開始できる。自律走行車が、横断歩道の同じ側の歩行者を検出し、歩行者が自律走行車のすぐ前で横断歩道に進入することに応じて、この既定の閾値スコアを超える高くなった信頼スコアを算出する上記実施態様例において、自律走行車は、また、図2に示すように、歩行者が横断歩道を移動する時、自律的に歩行者の閾値距離内で後に続くことができ、次に、自律走行車が反対側の歩道に近付くと、歩行者の後ろから横断歩道と反対側の歩道の間の遠い方の段差スロープの方に進行方向を変えることができる。よって、自律走行車は、歩行者が交差点に進入すると、横断歩道を歩行者の後に続くことによって、走行ルートを自動で開始できる。
図3に示すように、自律走行車は、複数の閾値スコアも実施できる。例えば、自律走行車が、高い既定の閾値スコア(例えば、95/100)を超える信頼スコアを算出する場合、自律走行車は、自動で、横断歩道に進入でき、割り当てられた走行ルートの自律的実行を開始できる。しかしながら、自律走行車が、低い既定の閾値スコア(例えば、85/100)と高い既定の閾値スコアの間の信頼スコアを算出する場合、自律走行車は、交差点に進入するために手動の確認を求めて、リモートオペレータポータルに(例えば、リモートサーバを介して)クエリを送信でき、センサデータをリモートオペレータポータルに送信して、自律走行車のクエリに応答する際にリモートの人間オペレータを支援でき、リモートの人間オペレータからの応答を待っている間、横断歩道に隣接する歩道で停止でき、リモートの人間オペレータからの確認に応答して、自律的に、または、リモートの人間オペレータの制御の下、交差点に進入できる。そうでない場合、自律走行車は、交差点に進入する優先権に関して、これらの閾値スコアの1つまたは両方を超える信頼スコアが算出されるまで、横断歩道に隣接する歩道で停止できる。よって、自律走行車が次の行動に関して確信のある決定に到達できない時、支援を求めてリモートオペレータポータルにクエリを行わずに、自律走行車は、方法S100のブロックを実行して、次の行動(例えば、横断歩道に進入)を決定でき、この次の行動が自律走行車(及び、近くの歩行者等)に対して十分に低い危険性で実行され得る信頼度を算出でき、この次の行動を確認するためにリモートの人間オペレータに選択的にクエリを行うことができる。詳細には、自律走行車は、方法S100のブロックを実行して、自律走行車が横断歩道に進入することが適切な次の行動であると十分に確信する時のみ、リモートの人間オペレータに支援を求めてクエリを行うことができ、それによって、自律走行車が交差点を通る支援にリモートの人間オペレータがかけなければならない全時間を制限し、自律走行車からリモートオペレータポータルに送信される全データ量を低減し、ひいては、自律走行車のマイル当たりの運転コストを低減する。
さらに、上記実施態様において、自律走行車の前の歩行者の大きいグループが一緒に横断歩道に踏み出す時等、自律走行車の交差点に進入する優先権を持つ信頼度が非常に高い時、自律走行車は、リモートの人間オペレータからの支援無しに、自動で自律走行を開始でき、それによって、自律走行車が認識する人間の支援の必要性の関数として、(すなわち、この信頼スコアが最小の閾値スコアを超える時、自律走行車が横断歩道に進入する優先権の信頼スコアに反比例して)人間オペレータの時間とセンサデータ送信リソースを消費する。
自律走行車は、図3に示すように、自律走行車が、閾値時間(例えば、90秒)を超える間、最小閾値スコアを超える信頼スコアに到達せずに、横断歩道に面する歩道にとどまった時等、他の限定的なシナリオにおいては、追加で、または、代わりに、手動の支援を求めてリモートオペレータポータルにクエリを行うことができ、それによって、自律走行車が、長すぎる間、同じ交差点で「スタック」するのを防ぐ。(同様に、自律走行車は、自律走行車が歩道の同じ側にいた時間の関数として、最小閾値スコアを低減することができ、自律走行車が算出した信頼スコアがこの動的な最小閾値スコアを超えると、手動支援を求めてリモートオペレータポータルにクエリを行うことができる)。
よって、自律走行車は、方法S100のブロックを実行して、交差点の近くの歩行者の位置及び行動(及び、シーンで検出される他の特徴)を自律走行車の交差点に進入する優先権の信頼スコアに変換でき、信頼スコアがリモートの人間オペレータからの支援が特に関連し得ることを示す時、支援を求めてリモートの人間オペレータに選択的にクエリを行うことができ、それによって、データ転送とリモートの人間オペレータの帯域幅を効率的に使用し、迅速な意思決定につながり、自律走行車のリスクの増加が低くなる。
4.自律走行車
自律走行車は、歩道、自転車専用道路、または、他の歩行者通路を自律的に横断するように機能する。例えば、配達車両は、都市環境に配備できて、食品雑貨のパッケージまたは袋の最終受領者へのラストマイルの配達を完了する。
図1に示すように、配達車両は、シャーシと、運転システム(例えば、両側に、2つの被駆動の中心車輪と、1つまたは2つの360度回転するキャスタとを含む)と、1つまたは複数の個別のペイロード(例えば、複数の個々に包装された品物、複数の食品雑貨が入った複数の食品雑貨の袋、または、1つまたは複数の品物が入った箱)を保温、保冷、または、温度調節をせずに保持するように構成された貨物倉と、配達車両の環境に関する情報を収集するように構成されたセンサのセットと、センサのセットが出力したセンサストリームを横断信頼スコアに変換するように、また、経時的に算出される横断信頼スコアに基づいて、歩道または自転車専用道路で配達車両を走行させるように構成されたコントローラと、を含むことができる。
一実施態様において、配達車両は、配達車両の前と後ろのそれぞれに等、配達車両の一番上に配置された1つまたは複数の360度のLIDARセンサを含む。各LIDARセンサは、LIDARセンサの回転毎に(すなわち、スキャンサイクル毎に一度)、LIDARセンサとLIDARセンサの視界内の外部表面との間の1メートルと50メートルの間の距離を表す3Dポイントクラウドの形態等で、1つの三次元の距離マップを出力できる。配達車両は、配達車両の前側、後ろ側、左横側、及び、右横側から外側を向いている1つまたは複数のカラーカメラも含み得る。例えば、各カメラは、20Hzの速度等で、一連のデジタル写真画像(または、「フレーム」)を含むビデオフィードを出力できる。さらに、配達車両は、配達車両の土台の周囲に沿って配置されて、配達車両から1メートル以内の物体及び歩行者の近接性に対応する信号を出力するように構成された赤外線近接性センサのセットも含み得る。配達車両内のコントローラは、従って、スキャンサイクル毎に、LIDARセンサ(複数可)、カラーカメラ(複数可)、及び、近接性センサ(複数可)からのデータストリームを配達車両の周囲の表面(例えば、道路、歩道、道路車両、歩行者等の表面)の1つのリアルタイムの3Dカラーマップに融合させ、次に、歩行者、歩道、横断歩道、または、自転車専用道路等を通る間、各3Dカラーマップを処理して、横断信頼スコアまたは他の走行を決定する。
4.走行ルート
走行前、または、走行中、自律走行車は、図3に示すように、現在の場所から、目的地、例えば、自律走行車が受領者に配達するためのパッケージを積み込む場所、または、自律走行車がパッケージを受領者に手渡す場所等、までの走行ルートにアクセスまたは走行ルートを算出できる。
例えば、自律走行車は、歩道、横断歩道、歩道段差スロープ、建物の入口及び出口ポイント、道路車両用の縁石、建物の住所、歩道寸法、歩道障害物(例えば、ごみ箱、電柱等)の場所を示す表示をポピュレートした地理的領域の地理空間表示を含む走行地図にアクセスできる。リモートコンピュータシステム(例えば、ロジスティックスサーバ)等から集荷または配達の住所を指定する注文を受信すると、自律走行車は、走行地図を参照して、現在位置から一連の歩道を通って指定の住所までの走行経路を算出できる。自律走行車は、走行地図に記憶された既定のスピードに基づいて、または、これらの歩道セグメントの幅と一般的な歩行者の通行量に比例して等、走行経路のセグメントに公称スピードを割り当てることもできる。
同様に、自律走行車は、走行ルートの各交差点で、または、危険性の高いもしくは走行地図で手動支援を必要とすると記された交差点で、リモートの人間オペレータに支援を求めるクエリを行うようにフラグを挿入できる。
代わりに、リモートコンピュータシステムは、この走行ルートを算出でき、この走行ルートに公称スピード、リモート支援フラグ等をリモートでポピュレートでき、これらのデータを実行のために自律走行車にアップロードできる。しかしながら、自律走行車は、走行経路及び関連データを任意の他の方法で生成または受信できる。
5.自律走行
方法S100のブロックS110は、交差点の横断歩道に向かって歩道を自律的に走行すると記載している。ここで、横断歩道は、自律走行車に割り当てられた走行ルートに一致する。方法S100のブロックS120は、自律走行車に組み込まれた光学センサを用いて自律走行車の近くのシーンの光学データを記録すると記載している。一般に、ブロックS110及びS120において、自律走行車は、縁石、建物、道路車両、ゴミ箱、電柱、交通信号柱、及び、歩行者等の静的及び動的物体を探して、自律走行車の近くの現場をスキャンでき、自律走行技術を実施して、図1、図2、図3に示すように、実空間における自律走行車の場所及び向きに基づいて、また、自律走行車の周囲の現場で検出された変化する物体及び変化しない物体に基づいて、走行ルートに従って歩道または他の歩行者レーンを通り抜けることができる。
5.1 物体の検出
上記のように、自律走行車は、LIDARセンサのセットとカラーカメラのセット(及び/または、色距離センサのセット等)を含むことができ、10Hzの速度等で、これらのセンサを定期的にスキャンできる。各スキャン(または、一連のスキャン)に関して、自律走行車は、コンピュータビジョン技術を実施して、自律走行車の前方10メートル、横3メートル、及び、後方5メートルにわたる現場内、または、自律走行車のスピードに比例した体積にわたる現場内等、自律走行車の近くのこのような障害物を検出及び識別できる。
例えば、自律走行車は、現場の奥行及び色画像から特徴を検出及び抽出でき、物体検出技術を実施して、特徴のグループを現場の個々の物体に関連付けることができ、次に、物体と、このような物体の既知の特性(例えば、モデル)を定義する特徴に基づいて、各物体を縁石、建物、道路車両、ゴミ箱、電柱、または、歩行者等の1つに分類できる。下記のブロックS122において、自律走行車は、顔検出技術も実施できて、自律走行車の方を向いている歩行者の顔を検出し、この歩行者達の視線を推定し、且つ、自律走行車は、人間追跡技術を実施して、自律走行車の方を向いてはいないが、自律走行車の周囲の現場内にいる歩行者の体を検出できる。
5.2 交差点への接近及び横断歩道の検出
自律走行車は、走行ルートに一致する交差点に接近すると、自律走行車の横断歩道に進入する優先権を導き出すことに関する様々なデータを収集しながら、この交差点で横断歩道に進入する用意ができる。
一実施態様において、限られた道路横断履歴データしか入手できない交差点で通り横断の準備をするために、自律走行車は、現在のセンサデータの基準を位置確認地図として、交差点に対する自律走行車の位置及び向きを確認でき、自律走行車が隣接する歩道に接近またはいながら収集したスキャンデータ内の横断歩道車線マーカを識別する等によって、進入する横断歩道を識別でき、ブロックS112において、自律走行車の前後軸を横断歩道の(例えば、道路の車両通行に垂直な)長軸に整列させることができ、次に、自律走行車が現在いる歩道から横断歩道の近い方の端への検出された段差スロープに一致する第1のウェイポイント、及び、横断歩道の遠い方の端から反対側の歩道への段差スロープに一致する第2のウェイポイント等、横断歩道の一連のウェイポイントを規定できる。例えば、自律走行車は、交差点に接近している時、及び/または、近くの歩道上の位置を占めている時、自律走行車が収集したスキャンデータで、コンピュータビジョン技術(例えば、テンプレート照合、パターン照合、エッジ検出等)を実施して、横断歩道の近い方の端及び遠い方の端の歩道段差スロープを識別できる。次に、自律走行車は、各段差スロープの中心の1つのウェイポイントと、横断歩道のウェイポイントを結ぶ線とを規定できる。
代わりに、横断歩道のこれらのジオリファレンスされたウェイポイントは、走行地図に予め規定することができ、自律走行車に割り当てられた走行ルートは、これらのジオリファレンスされたウェイポイントを予めロードできる。
自律走行車は、次に、以下に記載の方法S100のブロックを実施して、近くの物体(例えば、交通信号、道路車両、歩行者等)の状態に基づいて、自律走行車の横断歩道に進入する優先権の信頼スコアを算出できる。
6.交差点の種類
一変形形態において、自律走行車は、交差点または横断歩道の種類を識別し、交差点または横断歩道の種類に基づいて横断信頼スコアを算出するために、交差点周囲のシーンの様々な特徴に重み付けする。例えば、自律走行車は、横断歩道進の準備をすると、走行地図の交差点に関連付けられた保護されていない横断歩道表示に基づいて、その横断歩道を保護されていない横断歩道と識別でき、交通信号検出を解除でき、代わりに、横断歩道の横断信頼スコアを算出する時、交差点の歩行者の行動に高い重みを割り当て、交差点に接近する車両の行動に中程度の重みを割り当てることができる。
別の例において、自律走行車は、走行地図の交差点に関連付けられた保護された横断歩道表示に基づいて、その横断歩道を点灯した交通信号によって保護された横断歩道として識別できる。従って、自律走行車は、横断歩道の横断信頼スコアを算出する時、走行地図に予め規定された地理空間位置の交通信号の状態に高い重みを割り当て、交差点の歩行者の行動に中程度の重みを割り当て、交差点に接近する車両の行動に低い重みを割り当てることができる。
しかしながら、自律走行車は、任意の他の方法または技術を実施して、交差点の種類を識別でき、近くのシーンで検出された様々な特徴に優先順位を付けることができ、且つ、自律走行車の視界内のこのような特徴の予測場所のジオリファレンスされた場所にアクセスできる。
7.保護されていない横断歩道
図1に示す一変形形態において、自律走行車は、保護されていない交差点に接近し、交差点近くの様々な変化する特徴及び変化しない特徴を検出し、これらの特徴に基づいて、自律走行車の交差点に進入する優先権を判断する。
例えば、自律走行車は、上記のように、走行地図の交差点に関連付けられた保護されていない横断歩道表示に基づいて、その横断歩道を保護されていない横断歩道と識別できる。自律走行車は、次に、以下に記載する技術等のコンピュータビジョン技術を実施して、ブロックS122において、第1の時間にわたって自律走行車が記録した光学データの(例えば、自律走行車に隣接した)横断歩道の近くの歩道にいる歩行者を識別でき、横断歩道に隣接する歩道に停止した歩行者を検出することに応答して、ブロックS130において、自律走行車の交差点に進入する優先権の、第1の閾値スコア未満の第1の信頼スコアを算出できる。第1の閾値スコアは第1の信頼スコアを超えるので、自律走行車は、横断歩道近くの歩道で停止でき、交差点での優先権を示す特徴を探して現場のスキャンを続けることができ、それに応じて、信頼スコアを再算出できる。
次に、自律走行車は、より後の第2の時点で、歩行者が横断歩道に進入するのを検出することに応答して、ブロックS140において、自律走行車の交差点に進入する優先権の、第1の信頼スコアを超える第2の信頼スコアを算出できる。自律走行車は、第2の信頼スコアが第1の閾値スコアを超えることに応答して、ブロックS170において、自動的に、歩道から横断歩道内に自律的に走行できる。代わりに、自律走行車は、第2の信頼スコアが第1の閾値スコアを超えることに応答して、ブロックS160において、交差点に進入する確認を求めてリモートオペレータポータルにクエリを行うことができ、以下のように、リモートの人間オペレータからの確認後のみ、ブロックS170において、交差点の走行を開始できる。
7.1 歩行者検出及び追跡
一実施態様において、自律走行車は、図1、図2、図3に示すように、交差点近くで、自律走行車が収集したスキャンデータで検出された歩行者の場所及び行動の関数として、横断信頼スコアを算出する。
一実施態様において、自律走行車は、コンピュータビジョン技術を実施して自律走行車の周囲の現場を表す光学データの人間の顔及び/または人間の体もしくはシルエットを検出すること等によって、歩行者を探して自律走行車の近くのシーンをスキャンする。ある時間にわたって記録された光学データで横断歩道近くの歩道にいる特定の歩行者を検出すると、自律走行車は、一定の条件が満たされると、この歩行者を横断歩道に関連付けることができる。例えば、自律走行車は、歩行者の体(または、顔)の前後軸と横断歩道との間のヨー角のオフセットを算出でき、歩行者が横断歩道の近くの歩道にいる時間の関数(例えば、比例)として、歩行者と横断歩道の間のヨー角のオフセットの逆関数(例えば、反比例)として、また、この時間にわたる歩行者の場所と横断歩道の近い方の端との間の距離の逆関数として、歩行者の横断歩道に進入する意思を特徴付けることができる。自律走行車は、従って、この導き出された歩行者の意思が閾値意思を超える場合、歩行者が将来のある時点で、この横断歩道でこの通りを横断する意思があると予測でき、歩行者の行動を、歩行者ひいては自律走行車の交差点に進入する優先権の信頼度とリンクできる。
詳細には、導き出された歩行者が横断歩道に進入する意思が閾値意思を超える場合、自律走行車は、自律走行車の交差点に進入する優先権を歩行者の横断歩道への進入に関連付けることができる。よって、自律走行車は、スキャンデータで横断歩道の近くの歩道に歩行者が検出される間、ブロックS130において、自律走行車の低い横断信頼スコアを算出でき、次に、その後のスキャンデータで、歩行者が横断歩道に踏み出したのを検出すると、ブロックS140において、この横断信頼スコアを増加させることができる。
自律走行車は、その後のスキャンサイクルの間に収集したスキャンデータで歩行者の追跡を続けることができ、それに応じて、横断信頼スコアを調整できる。例えば、横断歩道を速く移動する(例えば、ジョギングする、走る)歩行者は、歩行者が優先権を持たないことを示してよく、横断歩道をゆっくりと移動する歩行者は、歩行者が交差点に十分に注意を払っていないことを示してよい。よって、この例においては、自律走行車は、歩行者の公称歩行スピードを記憶または公称歩行スピードにアクセスでき、横断歩道に進入及び横断歩道を移動する歩行者のスピードを抽出でき、歩行者のスピードと歩行者の公称歩行スピードとの差を算出でき、次に、この差に比例するように自律走行車の横断信頼スコアを低減できる。よって、自律走行車は、横断歩道に進入して自律走行車の方に向かう歩行者の関数として、また、歩行者のスピードと所定の公称歩行者スピードの間の差の逆関数として、ブロックS140において、自律走行車の交差点に進入する優先権の信頼スコアを算出できる。別の例において、自律走行車は、横断歩道を通る歩行者の経路を追跡でき、歩行者が横断歩道から離れるように進行方向を変えると(例えば、「ジェイウォーク(横断歩道の無い所を横断)」)、自律走行車の横断信頼スコアを低減でき、これは、同様に、歩行者が交差点に進入する優先権を持たないことを示し得る。
しかしながら、自律走行車は、任意の他の方法または技術を実施して、横断歩道内のまたは横断歩道近くの歩行者を検出でき、歩行者の場所、行動、及び、導き出した交差点を横断する意思に基づいて、自律走行車の横断信頼スコアをリアルタイムで調整できる。
7.2 歩行者グループ
類似の実施態様において、自律走行車は、横断歩道に隣接する歩道の角にいる歩行者のグループ(例えば、二人以上)を検出し、この歩行者達のグループとしての場所と行動に基づいて、横断信頼スコアを計算する。
例えば、この実施態様においては、自律走行車に隣接する歩道にいる歩行者グループは、自律走行車の交差点のビュー(例えば、交差点の近く及び交差点に接近する車両、交通信号等)を遮る場合がある。よって、自律走行車は、自律走行車が記録したスキャンデータで検出された交差点の状態または交差点近くの車両ではなく、(または、より大きい重みを付けて)、この歩行者達が歩道に留まるか、または、横断歩道に進入するかに基づいて、横断信頼スコアを算出できる。よって、自律走行車は、ブロックS122において、横断歩道に隣接する歩道にいる歩行者グループを検出でき、グループの全員または大部分が歩道に留まる間、ブロックS130において、低い信頼スコアを算出(例えば、自律走行車の交差点に進入する優先権を持たないと予測)でき、歩行者のグループの閾値割合を超える一部の歩行者がほぼ同時に一緒に横断歩道に進入するのを検出することに応答して、ブロックS140において、高い(より高い)信頼スコアを算出(例えば、自律走行車の交差点に進入する優先権を予測)できる。上記実施態様と同様、自律走行車は、また、横断歩道内に移動するグループの平均スピードを監視でき、歩行者のグループの検出されたスピード、または、歩行者の公称歩行速度からのグループの平均スピードのずれの関数として、横断信頼スコアを調整できる。自律走行車は、追加で、または、代わりに、横断歩道で検出された歩行者のグループのサイズ及び/または密度に(例えば、比例する)関数として横断信頼スコアを調整できる。
同様の例において、自律走行車が、スキャンデータにおいて、自律走行車に隣接する横断歩道で少なくとも閾値数(例えば、5)の歩行者が待っていることを識別する場合、自律走行車は、この歩行者達が歩道に留まっている間、各スキャンサイクルに対して低い信頼スコアを算出でき、次に、この歩行者達が横断歩道を渡り始めると、より高い信頼スコアを算出できる。さらに、この例において、自律走行車は、ほぼ同時に交差点に進入するこの歩行者達の割合の関数として、横断信頼スコアを算出できる。例えば、歩行者のグループのうちの一人だけ、または、30%未満が一緒に横断歩道を渡る場合、低い横断信頼スコアを維持し、歩行者のグループの30%〜70%が一緒に横断歩道を渡る場合、中程度の横断信頼スコアを算出し、また、歩行者のグループの70%を超える歩行者が一緒に横断歩道を渡る場合、高い横断信頼スコアを算出する。
同様に、自律走行車は、交差点を一緒に横断する歩行者の絶対数または歩行者グループのサイズに基づいて、横断信頼スコアを算出できる。例えば、自律走行車が、8人を超える歩行者が交差点を一緒に横断するのを、または、交差点の幅の少なくとも半分にわたる歩行者グループが一緒に交差点を横断するのを識別する場合、交差点の優先権、または、交差点に接近する道路車両の現在の速度に関わらず、自律走行車は、この歩行者達は交差点を支配していると判断でき、それに応じて、(例えば、自律走行車が、この歩行者グループのすぐ後について交差点を横断する場合)、交差点の高い横断信頼スコアを算出できる。
さらに、この実施態様及び上記実施態様において、以下に記載するように、横断信頼スコアが既定の閾値スコアを超える場合、ブロックS170において、自律走行車は、横断歩道を通って反対側の歩道に移動する一人の歩行者または歩行者の一部のすぐ後ろまたはすぐ横に自動的について行くことができる。詳細には、横断信頼スコアが閾値スコアを超える場合、自律走行車は、歩行者のグループの後について(すなわち、一緒に移動して)、横断歩道を渡って通りの反対側に行くことができる。例えば、自律走行車が、自律走行車と一緒に少なくとも6人の歩行者が横断歩道で待っているのを識別し、次に、この歩行者達のうちの3人が3秒以内に横断歩道を歩き始めたと判断する場合、自律走行車は、自律走行車がこの3人の歩行者達について通りを渡るのをトリガする十分に高い横断信頼スコアを算出できる。自律走行車は、次に、この3人の歩行者達が横断歩道を渡る速度を追跡でき、それに応じて、例えば、この3人の歩行者達の平均速度ベクトルを算出し、且つ、各スキャンサイクル間でその後の各速度ベクトルに従って走行することによって、この歩行者達のうちの最も速い歩行者の後ろをついて行くことによって、または、横断歩道を画定するマーカ内の最も中央にいる歩行者の後ろをついて行くことによって、この歩行者達の後をついて行くことができる。自律走行車が横断歩道の遠い方の端に接近すると、この歩行者達が遠い方の歩道に縁石から進入する場合等、自律走行車は、この歩行者達の後に従うことから、横断歩道の遠い方の端の歩道段差スロープで規定されたウェイポイントの方にそれることができる。代わりに、この例においては、自律走行車が閾値スコアを超える横断信頼スコアを算出する時、自律走行車は、既定のスピードで、または、現在通りを横断している歩行者の最大または平均のスピードに対応するスピード等で、近くの歩道と反対側の歩道の間の、走行地図に規定されるウェイポイント等の、横断歩道の1つまたは複数の既定のウェイポイントに直接、走行できる。
7.3 横断歩道の歩行者追跡
自律走行車は、類似の方法及び技術を実施して、ブロックS122において、交差点の反対側の歩道の歩行者を識別及び追跡でき、この歩行者達の場所及び/または行動に基づいて、横断信頼スコアを調整できる。例えば、自律走行車は、第1の時点で反対側の歩道にいる歩行者を検出でき、この歩行者が反対側の歩道にいる間、ブロックS130において低い横断信頼スコアを算出でき、その後、横断歩道の反対側の端に歩行者が進入するのを追跡でき、通常の人間の歩行スピードの範囲内の速度で歩行者が横断歩道を移動する場合等、この歩行者が横断歩道を渡る時、ブロックS140において、高い(より高い)横断信頼スコアを算出できる。
この実施態様においては、従って、自律走行車は、上記方法及び技術を実施して、横断歩道の反対側の端の近くに立っている歩行者の行動と、自律走行車が横断しようとしている同じ横断歩道に進入するこの歩行者の導き出された意思とに基づいて、横断信頼スコアを調整できる。
自律走行車は、また、類似の方法及び技術を実施して、自律走行車が横断しようとしている横断歩道に垂直な第2の横断歩道の近くに歩行者が立っており、その後、進入するのを検出及び追跡でき、それに応じて、ブロックS130及びS140において横断信頼スコアを調整できる。例えば、自律走行車は、横断歩道に垂直な(すなわち、自律走行車の割り当てられた走行ルートに垂直な)第2の横断歩道にいる第2の歩行者を識別でき、上記方法及び技術を実施して、この第2の横断歩道を渡る第2の歩行者の意思を特徴付けまたは数値化できる。従って、ブロックS122において、第2の横断歩道にいる第2の歩行者を識別し、第2の歩行者が第2の横断歩道を渡る意思があると予測することに応答して、自律走行車の横断歩道に進入する優先権を持ち、且つ、第2の歩行者が第2の垂直な横断歩道に進入する優先権を持つ両方の確率が低いことを考慮して、自律走行車は、横断歩道に進入する横断信頼スコアを低減できる。
さらに、歩行者が自律走行車の割り当てられた走行ルートに一致する横断歩道に進入するのを検出することに応答して、自律走行車がブロックS140において高い横断信頼スコアを算出する場合、自律走行車は、自律走行車の交差点に進入する優先権を持つと予測できる。しかしながら、自律走行車が、その後すぐに、第2の歩行者が第2の(垂直な)横断歩道に進入するのを検出する場合、自律走行車は、自律走行車の交差点に進入する優先権のこの予測を撤回でき、または、算出された横断信頼スコアを低減できる。この歩行者達の行動の間の不一致に応答して、自律走行車は、以下のように、ブロックS160において、交差点に進入する手動の確認を求めてリモートオペレータポータルにクエリを送信してもよい。
7.3 道路車両追跡
図1、図2、図3に示すように、方法S100の一変形形態は、ブロックS124において、第1の時間にわたって記録された光学データで交差点に接近する車両を検出することをさらに含む。この変形形態において、自律走行車は、ブロックS130において、この車両の速度の逆関数として横断信頼スコアを算出できる。この変形形態において、方法S100は、ブロックS124において、その後の時間にわたって記録された光学データで、減速しながら横断歩道の方に向かう車両を検出することも含み得る、また、自律走行車は、従って、ブロック140において減速しながら横断歩道の方に向かう車両の関数として、より高い横断信頼スコアを算出できる。
一般に、この変形形態において、自律走行車は、自律走行車が交差点で不十分な数の歩行者を検出する時、交差点の近くで検出された歩行者の状態と組み合わせて、または、歩行者ベースの横断信頼スコアに代えて等、交差点の及び交差点に接近している検出された車両の状態に基づいて、横断信頼スコアを算出できる。
例えば、自律走行車は、コンピュータビジョン技術を実施して、横断歩道に垂直な交差点に接近する他の車両を(例えば、自律車両の左横側及び右横側で)識別できる。コンピューティングデバイスは、次に、連続的なスキャンデータで、これらの車両の位置を比較して、交差点に接近する各車両の速度(すなわち、スピードと方向)を算出でき、交差点に接近すると各道路車両が減速しているのを確認でき、各道路車両から横断歩道までの距離を推定でき、次に、各道路車両が横断歩道に到達する前に停止する信頼スコアを、道路車両の減速速度と、交差点と道路車両の間の残りの距離とに基づいて、算出できる。自律走行車は、次に、それに応じて、ブロックS130及びS140において、横断信頼スコアを算出または調整できる。
自律走行車は、また、交差点の近くに立っている歩行者と、交差点に接近している道路車両との両方を追跡でき、接近している道路車両の存在、これらの道路車両のスピード、この歩行者達の動きに基づいて、横断歩道を走行する横断信頼スコアを生成できる。例えば、自律走行車は、自律走行車の近くの交差点に立っている歩行者をデフォルトで追跡でき、歩行者(複数可)が交差点に移動すると、この歩行者達の移動によって、自律走行車の交差点近くの道路車両のビューが改善され得るので、接近する道路車両を識別及び追跡でき、次に、ブロックS140において、交差点に移動する歩行者の動きの特性と、横断歩道で停止または横断歩道に減速しながら向かう他の道路車両の状態との関数として、(例えば、横断歩道に垂直な交差点に接近する車両のスピードに反比例して)横断信頼スコアを算出できる。次に、自律走行車は、横断信頼スコアが閾値スコアを超える場合、ブロックS170において、交差点を渡る歩行者の後に自動的について行くことができる、または、ブロックS160において、横断歩道への進入の手動の確認を求めてリモートオペレータポータルにクエリを行うことができる。
7.5 自律走行車の意思
図1に示す一変形形態において、自律走行車は、歩道にいて、横断歩道を向いている間、交差点を横断する意思を接近する道路車両(及び、近くの歩行者及び自転車運転者)に能動的に伝えることができる。一実施態様において、横断歩道を渡る意思を伝えるために、自律走行車は、道路車両用に指定された路面を画定する最も近い車線マーカからある距離をおいた状態で、歩道を離れて、横断歩道に隣接する路面上に進むことができる。
例えば、自律走行車は、自律走行車が現在いる道路と同じ側に接近する道路車両のスピード、この道路車両から交差点までの現在の距離、及び/または、道路車両の現在のスピードもしくは減速速度に基づいて等、交差点に進入する道路車両との衝突の危険性を制限しながら、自律走行車が、歩道から横断歩道に移動してよい最大距離を表す標的位置を算出できる。この例において、接近する道路車両が比較的遅いスピードで移動している場合、横断歩道からかなりの(例えば、100メートルを超える)距離にある場合、及び/または、減速している場合、自律走行車は、路面を画定する最も近い車線を30センチメートル超えた横断歩道に自律走行車を配置する標的位置を算出でき、自律走行車の横断歩道に進入する意思を接近する道路車両に視覚的に示すために、この標的位置に走行でき、接近する道路車両が、自律走行車との衝突を避けるのに適した速度で減速を開始または継続する場合、ブロックS140において高い横断信頼スコアを算出できる。しかしながら、自律走行車が、道路車両の適切な減速を検出できない場合、自律走行車は、道路車両が横断歩道を通る時、道路車両との衝突を避けるために、低い横断信頼スコアを算出でき、自動的に走行して隣接する歩道上に戻ることができる。同様に、接近する道路車両が、比較的速いスピードで移動している場合、及び/または、横断歩道の車両から短い距離(例えば、25メートル未満)の場合、自律走行車は、この道路車両が横断歩道を通過するまで、低い横断信頼スコアを維持でき、歩道に留まることができる。
上記例において、自律走行車は、横断歩道に垂直な交差点に接近するサイクリストを識別及び追跡でき、サイクリストが横断歩道を通過し終えるまで、交差点に進入して交差点を横断する意思を示すのを避けることができる。
この変形形態において、自律走行車は、交差点の近く、または、交差点に接近する道路車両、サイクリスト、及び/または、歩行者等に、交差点を横断する意思を視覚的に伝えるために、ブロックS114において、追加で、または、代わりに、自律走行車の前後軸(すなわち「前後」)に、または、自律走行車のヨー軸を中心に振動できる。例えば、自律走行車は、ブロックS114において、上記のように、横断歩道に面する歩道にいる間、横断歩道に面する歩道段差スロープにいる間、または、自律走行車が路面に移動して意思を示すと、0.5Hzの周波数で10センチメートルの振幅にわたって自律走行車の前後軸に沿って振動できる。この例において、自律走行車は、また、接近する車両を追跡でき、自律走行車と接近する道路車両の間の距離に比例した振幅で、または、接近する道路車両のスピードに比例した振幅で振動できる。
上記のように、自律走行車は、コンピュータビジョン技術を実施して、接近する道路車両を追跡でき、また、これらの接近する道路車両が、自律走行車が交差点を横断する意思を伝えていることに減速によって応答していることを確認できる。例えば、路面への進行に関わらず、または、自律走行車の振動に関わらず、接近する道路車両が減速していないと自律走行車が判断する場合、自律走行車は、振動を止め、隣接する歩道に戻ることができ、ブロックS130において、低い横断信頼スコアを算出できる。道路車両が交差点を通過し終わると、自律走行車は、上記方法及び技術を繰り返して、ブロックS122及びS124において、交差点のまたは交差点に接近する道路車両及び歩行者を追跡でき、交差点を横断する意思を伝えることができ、また、ブロックS130及びS140において、これらの歩行者及び道路車両の場所及び行動に基づいて、横断信頼スコアを算出できる。
8.一時停止制御されている交差点
別の変形形態において、自律走行車は、自律走行車がいる一時停止制御されている交差点の横断信頼スコアを算出する。この変形形態において、自律走行車は、上記方法及び技術を実施して、一時停止制御されている交差点の横断信頼スコアを算出するが、より高い基準信頼スコアで開始できる、または、(例えば、運転手が、運転中、無視する可能性がより高い、または、見る、理解する、及び、注意を払う可能性がより低いと思われる譲れ標識または横断歩道標識と比較して)道路車両の運転手が交差点で停止する可能性が高いことに応答して、一時停止制御されている交差点に対してより低い閾値スコアを実施できる。
この変形形態において、自律走行車は、コンピュータビジョン技術を実施して、自律走行車が収集したスキャンデータで、横断歩道に接近する道路車両の方を向いている一時停止標識を識別でき、次に、それに応じて、ブロックS130において、横断信頼スコアを計算できる。代わりに、自律走行車は、上記のように、その交差点が、走行地図の交差点に関連付けられた交差点の種類表示から、一時停止制御されている交差点であると判断できる。
しかしながら、自律走行車は、上記及び下記の任意の他の方法及び技術を実施して、一時停止制御されている交差点の横断信頼スコアを計算でき、一時停止制御されている交差点を横断する意思を伝えることができ、横断信頼スコアが閾値スコアを超える時、一時停止制御されている交差点を横断することができる。
9.信号制御されている交差点
図2に示す別の変形形態において、自律走行車は、自動の歩行者優先標識を含む、信号制御されている交差点の横断信頼スコアを算出する。この変形形態において、自律走行車は、上記方法及び技術を実施して、交差点にいる、及び、交差点に接近する道路車両と歩行者とを追跡できる。自律走行車は、また、図3に示すように、交差点の近くにいる時に自律走行車が収集したスキャンデータで点灯した交通信号を識別でき、ブロックS128において、これらの点灯した交通信号から優先権情報を抽出でき、次に、ブロックS130及びS140において、点灯した交通信号の状態、交差点近く及び交差点に接近する道路車両の速度、及び/または、交差点近くの歩行者の場所及び行動等から抽出された優先権情報の重み付き関数として等、横断信頼スコアを算出できる。
9.1 点灯した信号検出
一実施態様において、自律走行車は、テンプレート照合、物体認識、エッジ検出、及び/または、他のコンピュータビジョン技術を実施して、自律走行車が収集したスキャンデータの交通信号機及び/または横断歩道信号を検出する。自律走行車は、次に、交通信号に対応するスキャンデータの領域の(例えば、赤、緑、青のスペクトルの)色の強さを「止まれ」「譲れ」及び「進め」の行動信号の1つに一致させることができ、次に、現在の行動信号に基づいて、交通信号に向いている車両の今後の動きを予測できる。自律走行車は、追加で、または、代わりに、光学文字認識を実施して、「歩け(walk)」「歩くな(don’t walk)」と、横断歩道信号によってレンダリングされた横断時間とをスキャンデータから読み取って、横断歩道の現在の状態を判断できる。コンピュータシステムは、次に、自律走行車が横断歩道を横断するのに十分な時間量を交差点タイマが示し、横断歩道に整列した交通信号が「緑」を示している場合、及び/または、横断歩道信号が「歩け」を示している場合、交差点のより高い横断信頼スコアを算出できる。自律走行車は、また、同じ横断歩道を移動する歩行者を検出することに応答して、及び/または、横断歩道の各側に停止した道路車両を検出することに応答して、より高い横断信頼スコアを算出できる。
(上記実施態様において、自律走行車は、また、交差点の表示を含む走行地図を参照して、ブロックS120において記録されたスキャンデータで識別された各交通信号及び横断歩道信号の実際の位置を確認できる。自律走行車は、交差点の交通信号及び横断歩道信号の識別された状態を走行地図に表示することもでき、リモートコンピュータシステムは、交差点の他の自律走行車から受信した類似のデータに基づいて、または、マスターの交通信号地図に基づいて、それらを確認できる。コンピュータシステムは、複数の自律走行車から受信したこのような現在の表示付きの走行地図をまとめることもでき、自律走行車は、これを利用して、交差点で判断された優先権が正確である信頼度を向上させることができる。)
上記実施態様において、自律走行車は、コンピュータビジョン技術を実施して、点灯した交通信号及び/または点灯した横断歩道信号を探してスキャンデータを分析できる。代わりに、自律走行車は、交差点に関して事前に生成されたジオリファレンスされた信号マスクを読み出すことができ、最後のスキャンデータが記録された時点の現実または仮想の基準特徴(例えば、交差点の基準物体、ジオリファレンス座標)に対する自律走行車の位置及び向きを判断でき、スキャンデータが記録された時点の自律走行車の位置及び向きに基づいて、信号マスクをスキャンデータ上に投影でき、コンピュータビジョン技術を実施して、信号マスクによって区切られたスキャンデータの領域から交通信号及び/または横断歩道信号データを抽出できる。従って、自律走行車は、交差点に対する自律走行車の既知の位置及び向きに基づいて、スキャンデータの選択領域から優先権データを抽出し、それによって、スキャンデータを交通信号ベースの優先権値に変換するのに必要な全時間量及び/または処理ロードを低減できる。
自律走行車は、次に、交通信号及び/または横断歩道信号の1つまたは両方から判断した優先権に基づいて、横断信頼スコアを算出できる。さらに、この実施態様においては、自律走行車は、自律走行車が交通信号の状態と横断歩道信号の状態の間の不一致を識別する場合、自律走行車を制御するように、または、横断の決定をするように、人間オペレータにプロンプトできる。
この実施態様においては、自律走行車は、また、自律走行車が通りを横断するのに残った時間長を、例えば、横断歩道カウンタから直接この時間を抽出することによって、または、交差点で信号が変わる回数を追跡することによって、判断できる。自律走行車が、自分が交差点を横断する優先権を持つと判断すると、自律走行車は、自律走行車の一般的または既定のスピードと、横断歩道の各側の歩行者の通行量と、自律走行車の方に及び自律走行車から離れる方に横断歩道を移動する歩行者の最小または平均のスピード等に基づいて、通りを横断するのに必要な時間を予測できる。次に、コンピュータシステムは、横断歩道信号の近くの横断歩道タイマが、自律走行車が横断歩道を渡るのに必要な計算された時間より多い(または、2秒以内)の時間量を示す場合、交差点のより高い横断信頼スコアを算出できる。
自律走行車は、これらの方法及び技術を(例えば、10Hzのフレームレートで自律走行車が収集した各スキャンデータに関して)各サンプリング期間で繰り返して、横断信頼スコアを計算でき、横断信頼スコアと閾値スコアの間の比較に基づいて、待機または横断でき、及び/または、自律走行車の走行決定の入力に人間オペレータを選択的に関与させることができる。
さらに、この変形形態において、交差点近くの歩行者または道路車両等によって、自律走行車の(例えば、走行地図に示されたジオリファレンス位置の)交通信号のビューが遮られていると、自律走行車が判断する場合、自律走行車は、自律走行車が実施する関数で交通信号状態に割り当てられた重みをデクリメントし、歩行者行動に割り当てられた重みをインクリメントして、横断信頼スコアを算出できる。例えば、自律走行車は上記方法及び技術を実施して、走行地図の交差点に関連付けらえた交通信号表示に基づいて、交差点に点灯した交通信号がポピュレートされていると判断でき、また、点灯した交通信号を探して光学データをスキャンして、交差点での優先権を判断できる。自律走行車の光学センサの視界の点灯した交通信号の妨害を検出することに応答して、自律走行車は、走行地図に示される等、横断歩道の既知の場所近くの歩行者を探してこれらの光学データをスキャンでき、横断歩道に隣接する歩道の歩行者の存在に基づいて、ブロックS130において自律走行車は交差点に進入する優先権の欠如(例えば、低い横断信頼スコア)を予測でき、次に、上記のように、後に、横断歩道の歩行者の存在に基づいて、ブロックS140において自律走行車の交差点に進入する優先権を持っていること(例えば、高い横断信頼スコア)を予測できる。
9.2 近くの交差点
自律走行車は、また、類似の方法及び技術を実施して、スキャンデータにおいて、自律走行車のさらに左、右、前、及び/または、後ろの他の交差点の点灯した交通信号を識別でき、これらの他の交差点の状態を、これらの他の点灯した交通信号の状態に基づいて推定でき、これらの他の近くの交差点の状態に基づいて、自律走行車が現在いる交差点の対応する横断信頼スコアを算出できる。例えば、自律走行車は、上記方法及び技術を実施して、これらの近くの交差点の優先権情報をスキャンデータから抽出でき、自律走行車が現在いる交差点とこれらの近くの交差点の間の車両を識別でき、且つ、これらの近くの交差点を通る道路車両と自律走行車がいる交差点に向かう道路車両との数に反比例する横断信頼スコアを算出できる。
10.将来の交差点状態の予測
一変形形態において、自律走行車は、交差点モデルを実施して、自律走行車が現在いる交差点の将来の状態を予測する。一般に、この変形形態において、自律走行車は、上記のように、コンピュータビジョン技術を実施して、様々な特徴をスキャンデータから抽出でき、次に、これらの特徴を交差点モデルに渡して、(例えば、次のスキャンサイクルで)交差点の将来の状態を予測し、交差点の予測された将来の状態と実際のその後の状態とが一致する程度に基づいて、自律走行車がいる交差点のモデルの有効性を確認する。モデルが十分に有効である場合、自律走行車は、新しい特徴をモデルに渡して、交差点の将来の状態を予測し、それに応じて、交差点を横断する横断信頼スコアを算出する。
この変形形態において、自律走行車は、一般的な交差点モデル、自律走行車がいる交差点の種類に固有の交差点モデル(例えば、双方向の制御されていない交差点モデル、四方向の信号制御されている交差点モデル)、交差点の種類に固有で、交差点にいる特定の範囲の道路車両及び/または歩行者にも対応する交差点モデル、または、(例えば、以前、交差点を通過した他の自律走行車が収集したデータに基づいて、リモートコンピュータシステムが生成した)自律走行車がいる特定の交差点に固有の交差点モデル等を実施できる。例えば、自律走行車は、走行地図の交差点に関連付けられた交差点モデルポインタに基づいて等、自律走行車が現在いる交差点に最も関連する交差点モデルを交差点モデルデータベースから読み出すことができる。
第1の時点で、自律走行車は、自律走行車に組み込まれた様々なセンサが出力したデータから第1のスキャンを生成でき、次に、第1のスキャンから抽出された特徴を交差点モデルに渡して、将来の第2の時点(例えば、1秒後)の交差点の状態を予測できる。例えば、自律走行車は、交差点の道路車両及び交差点に接近する道路車両の場所、向き、速度、及び、サイズと、交差点の横断歩道の長さもしくは通りの幅と、横断歩道の近くの歩行者の数及び歩行者の位置及び向きと、交差点の交通及び横断歩道信号の状態等を含む様々な特徴を第1のスキャンから抽出でき、次に、これらの特徴を表すこれらの定量値を交差点モデルに渡すことができる。第2の時点で、自律走行車は、ほぼ第2の時点で自律走行車に組み込まれた様々なセンサが出力したデータから第2のスキャンを生成でき、第2の時点の交差点の予測状態と第2のスキャンの間の類似度に基づいて、交差点モデルの信頼スコアを算出できる。例えば、自律走行車は、交差点の予測状態で表された車両、歩行者、及び、他の(移動する)物体の予測位置が、第2の時点で収集されたスキャンデータに表されたこれらの車両、歩行者、及び、他の物体との現実の位置と合致する程度の関数として、交差点モデルの信頼スコアを算出できる。詳細には、自律走行車は、(例えば、将来のスキャンサイクルの)交差点の予測状態と、(例えば、将来のスキャンサイクルの)実際の将来の状態との間のずれの逆関数として、交差点モデルの信頼スコアを算出できる。
交差点モデルの信頼スコアが閾値スコアを超える場合、自律走行車は、類似の方法及び技術を実施して、より将来の第3の時点の交差点の状態を予測でき、上記方法及び技術を実施して、交差点の予測した将来の状態に基づいて、(また、交差点の現在の状態と交差点の予測した将来の状態との間の差と、その間の時間とに基づいて)、交差点の横断信頼スコアを算出できる。従って、自律走行車が、交差点の予測した将来の状態に関して、閾値スコアを超える横断信頼スコアを算出する場合、自律走行車は、交差点の予測した将来の状態から判断した好ましい時に、交差点の横断を開始できる。しかしながら、自律走行車が閾値スコア未満の横断信頼スコアを算出する場合、自律走行車は、交差点の横断を遅らせることができ、代わりに、上記方法及び技術を繰り返して、交差点モデルの有効性を再テストし、交差点の横断信頼スコアを再算出できる。
しかしながら、交差点モデルの信頼スコアが閾値スコア未満の場合、自律走行車は、以下のように、横断決定を入力するように、または、自律走行車をリモート制御するように、人間オペレータにプロンプトできる。代わりに、自律走行車は、このプロセスを繰り返して、さらに将来の交差点の状態を予測でき、それに応じて、上記方法及び技術を実施して、交差点の横断信頼スコアを算出でき、横断信頼スコアと交差点モデルの信頼スコアとを複合横断信頼スコアに融合でき、次に、複合横断信頼スコアが閾値スコアを超える場合、交差点を横断できる。
10.1 他のトリガ
上記変形形態においては、自律走行車は、これらの方法及び技術を実行して、自律走行車の横断を止める交通標識または交通信号に依存すること無しに、道路車両との衝突の危険性を最小限にして、将来の時点の自律走行車の横断歩道に進入する優先権を予測できる。
例えば、自律走行車は、上記方法及び技術を実行して、交通標識を識別でき、このような交通標識から優先権情報を抽出でき、交差点に進入する及び交差点から出る車両及び歩行者等を追跡でき、且つ、これらの特徴を横断信頼スコアに変換できる。しかしながら、閾値時間(例えば、90秒)が過ぎても、自律走行車が既定の閾値スコアを超える横断信頼スコアを算出しない場合、自律走行車は、交差点モデルの有効性を確認すること、交差点の将来の状態を予測すること、且つ、交差点の予測した状態と実際の将来の状態との間の合致に基づいて、交差点の横断信頼スコアを算出することに移ることができる。自律走行車は、次に、この代替横断信頼スコアが閾値スコアを超える時、交差点の通行及び横断歩道信号の状態、または、近くの他の歩行者の動きに関わらず、ブロックS170において通りを横断(または、通りを横断する確認を求めてリモートオペレータポータルにクエリを行うことが)できる。
代わりに、自律走行車は、交通信号及び横断歩道信号の状態と、道路車両の存在及び速度と、歩行者の場所及び行動とから判断された優先権に基づいて第1の横断信頼スコアを算出することと、交差点モデルが出力した交差点の予測された将来の状態に基づき、交差点の予測された将来の状態と実際の将来の状態の間が一致するように調整された第2の横断信頼スコアを算出することとを含む、上記方法を並行して実行できる。自律走行車は、次に、第1の横断信頼スコア及び第2の横断信頼スコアの1つまたは両方が閾値スコアを超える時、ブロックS170において通りを横断(または、通りを横断する確認を求めてリモートオペレータポータルにクエリを行うことが)できる、または、自律走行車は、第1の横断信頼スコア及び第2の横断信頼スコアを1つの複合信頼スコアにまとめることができる。
11.自律行動
一変形形態において、方法S100は、図1及び図3に示すように、自律走行車が交差点に進入する権利を予測することに応答して、ブロックS170において、走行ルートに従って、歩道から横断歩道内に自律的に走行し、且つ、横断歩道を反対側の歩道の方に自律的に走行することを含む。この変形形態において、自律走行車は、上記方法及び技術を定期的に実施して、新しいスキャンデータを記録でき、これらのスキャンデータで検出された特徴を横断信頼スコアに変換でき、且つ、これらの横断信頼スコアを10Hzの速度等で、既定の閾値(または、既定の低い及び高い閾値スコア)と比較できる。例えば、自律走行車は、一般的な閾値スコア、または、走行地図の交差点に割り当てられた等、交差点に固有の閾値スコアを実施できる。自律走行車が現在、歩道に停止しており、最後に算出された横断信頼スコア(または、以前の連続的な一連の横断信頼スコア)が閾値スコアを超える場合、自律走行車は、自動で交差点の横断を開始できる。
同様に、自律走行車は、交差点に接近すると、減速しながら上記方法を実施でき、次に、最後に計算された横断信頼スコア(または、以前の連続的な一連の横断信頼スコア)が閾値スコアを超える場合、加速して標的スピードに戻り、横断歩道の走行を開始できる。例えば、自律走行車は、ブロックS110において、横断歩道に隣接する歩道の領域に向かって自律的に走行でき、その領域に接近すると減速でき、歩道の領域に自律走行車が到着する前に、横断歩道に進入する歩行者を検出することと、それに応じてブロックS140において、自律走行車の交差点に進入する権利を予測することとに応答して、ブロックS170において、歩道から横断歩道に引き続き自律的に走行できる。
一実施態様において、自律走行車は、横断歩道に沿ってジオリファレンスされた一連の既定のウェイポイントを走行できる。一連のウェイポイントは、自律走行車がいる歩道から路面への段差スロープで走行地図に規定された第1のウェイポイント、メジアンによって歩行者に規定された第2のウェイポイント、及び、路面から反対側の歩道への段差スロープで規定された第3のウェイポイントを含む、
代わりに、自律走行車は、歩道段差スロープ、歩行者、及び、横断歩道の輪郭を表す道路テープ等、現在のスキャン内の特徴を識別でき、これらの特徴に基づいて、横断歩道と歩道段差スロープとに沿ってウェイポイントを動的に規定できる。例えば、ブロックS170において自律走行を開始すると、自律走行車は、歩道から横断歩道に近い方の段差スロープを通って走行でき、歩行者が横断歩道を通る時、歩行者の閾値距離内で自律的に歩行者の後をついて行くことができ、横断歩道と反対側の歩道の間で、歩行者の後ろから遠い方の段差スロープに方向を変えることができ、遠い方の段差スロープを上って反対側の歩道に自律的に走行できる。
上記実施態様において、自律走行車は、人間の歩行スピード(例えば、5キロメートル毎時)に対応する既定の標準的なスピードで一連のウェイポイントを走行する。代わりに、自律走行車は、自律走行車の近くで横断歩道を渡る歩行者のスピードを追跡でき、この歩行者達の平均または中央値のスピードで、一連のウェイポイントを走行できる。自律走行車は、上記方法及び技術を実施して、引き続き、交差点の優先権、横断歩道タイマ等も追跡でき、横断歩道タイマが終了する前に、反対側の歩道に到達する必要があると判断される場合、自律走行車のスピードを増加させることができる。同様に、自律走行車は、交差点の将来の状態の予測を続けることができ、自律走行車が交差点内にいる間に道路車両との衝突の可能性が高いと交差点モデルが予測する場合、反対側の歩道に早く着くために、横断歩道を渡る自律走行車のスピードを増加させることができる。
12.リモートオペレータ支援
図2に示す方法S100の別の変形形態は、第2の信頼スコアが第1の閾値スコアを超えることに応答して、ブロックS160において、自律走行車の横断歩道内への進入を確認するクエリをリモートオペレータポータルに送信することと、ブロックS162において、スキャンデータの一部をリモートオペレータポータルに送信することと、ブロックS110において横断歩道に隣接する歩道に停止することと、次に、リモートオペレータポータルからの横断歩道への進入の確認に応答して、ブロックS170において、歩道から横断歩道内に自律的に走行し、走行ルートに従って横断歩道を反対側の歩道の方に自律的に走行することと、を含む。この変形形態において、自律走行車が、閾値スコアを超える横断信頼スコア(または、一連の横断信頼スコア)を算出する場合、自律走行車は、支援の要求をリモートコンピュータシステムに送信でき、リモートコンピュータシステムは、リモートオペレータポータルのリモートの人間オペレータに自律走行車を自動で接続できる。リモートの人間オペレータが自律走行車の周囲のシーンを見ることができ、自律走行車の交差点に進入する優先権を持つか否かを確認できるように、自律走行車は、ブロックS162において、様々なセンサデータ(例えば、色ビデオデータ)をリモートオペレータポータルにストリーミングできる。交差点への進入の確認をリモートの人間オペレータから受信すると、自律走行車は、ブロック170において、走行を開始できる。
詳細には、自律走行車は、交差点に接近でき、交差点で停止でき、停止している間、交差点の周囲のシーンからデータを収集及び分析でき、これらのデータから抽出された特徴に基づいて、一定の条件を満たすと、リモートの人間オペレータに支援を求めてクエリを行うことができ、次に、リモートの人間オペレータからの確認を受領すると、動きを開始できる。代わりに、自律走行車は、自律走行車が交差点に接近すると、リアルタイムで近くのシーンからデータを収集及び分析でき、自律走行車が引き続き交差点の方に移動して、一定の条件を満たすと自律走行車が判断する場合、リモートの人間オペレータに支援を求めるクエリを行うことができ、自律走行車が動いている間にリモートの人間オペレータから確認を受信すると、歩道から横断歩道または通りに、そして、交差点を横断する動きを続けることができる。
よって、この変形形態において、自律走行車は、信頼スコアが閾値スコアを超えることと、リモートの人間オペレータがリモートオペレータポータルに手動で入力した確認を受信することとの両方に応答して、歩道から横断歩道内に自律的に走行できる。代わりに、ブロックS160において手動支援を求めてリモートオペレータポータルにクエリを送信すると、自律走行車は、リモートオペレータポータルを介してリモートの人間オペレータに制御を譲ることができる。リモートの人間オペレータは、次に、自律走行車が横断歩道を渡るのを手動で誘導でき、次に、例えば、自律走行車が反対側の歩道に到着すると、自律制御を自律走行車に返すことができる。
代わりに、図3に示すように、自律走行車は、例えば、最後の横断信頼スコア(または、以前の一連の横断信頼スコア)が高い閾値信頼度を超える場合、自律走行を自動で開始し、最後の横断信頼スコア(または、以前の一連の横断信頼スコア)が低い閾値スコアと高い閾値信頼度との間にある場合、手動支援を求めて自動でリモートオペレータポータルにクエリを送信することによって、前述の方法の両方を実施できる。詳細には、自律走行車は、低い閾値スコアを超える横断信頼スコアであって、高い閾値スコアが超える横断信頼スコアを算出することに応答して、ブロックS160において、リモートオペレータポータルにクエリを送信できる。しかしながら、横断信頼スコアが低い閾値スコアと高い閾値スコアの両方を超える場合、自律走行車は、リモートオペレータポータルへのクエリを行わなくてよく、歩道から横断歩道内に自律的に走行でき、ブロックS170において、走行ルートに従って横断歩道を反対側の歩道の方に自律的に走行できる。
12.1 視覚データをリモートの人間オペレータに提供
この変形形態において、リモートの人間オペレータを関与させるという決定の後、自律走行車は、センサデータをリモートの人間オペレータにアップロードしてリモートの人間オペレータが自律走行車に関する決定を行う支援をできる。例えば、自律走行車は、ビデオフィード及び/またはLIDARスキャンをリモートコンピュータシステムにアップロードでき、これによって、リアルタイム(に近く)でオペレータポータルを通してこれらの光学データをリモートの人間オペレータに提供できる。代わりに、自律走行車は、オペレータポータルに配信するために、自律走行車に組み込まれたカラーカメラの全てまたは一部からビデオフィードをリモートコンピュータシステムにアップロードできる。
さらに、代わりに、自律走行車は、これらのセンサデータをフィルタリングでき、リモートの人間オペレータが自律走行車に関する正確な決定を迅速に入力するために必要な限られた量のセンサデータをアップロードできる。詳細には、自律走行車は、帯域幅要件を低減して待ち時間を減らすために、リモートの人間オペレータのより迅速な決定を可能にし、自律走行車からリモートコンピュータシステムに無線ネットワークを介してデータをアップロードするコストを減らすために、オペレータポータルに配信するために、選択されたデータをリモートコンピュータシステムにアップロードできる。
図3に示す一実施態様において、自律走行車は、自律走行車内のカラーカメラが出力したビデオフィード内のフレームを、自律走行車に関する決定を生成する際、より大きい価値を持つデータを含む1つまたは複数の小さい視覚領域にクロップし、次に、このクロップした領域(複数可)をリモートコンピュータシステムにアップロードする。例えば、自律走行車は、自律走行車の左横のカメラが出力した各フレームから自律走行車の左側から自律走行車の左側50メートルに延びる道路の部分に対応する第1の長方形の小領域を抽出でき、右横のカメラが出力した各フレームから自律走行車の右横から自律走行車の右側50メートルに延びる道路部分に対応する第2の長方形の小領域を抽出でき、自律走行車の前方を向くカメラが出力した各フレームから自律走行車の前の反対側の歩道と横断歩道信号に対応する第3の長方形の小領域を抽出でき、リアルタイム近くでオペレータポータルに配信するために、(例えば、セルラーネットワークを介して)これらのビデオフィードのこれらの比較的狭いフレーム領域をリモートコンピュータシステムに提供できる。
別の例において、自律走行車は、これらの選択的に圧縮したビデオフィードをリモートコンピュータシステムにアップロードする前に、これらの第1、第2、及び、第3の領域の外側の、左横、右横、前方のカメラが出力した各フレームのエリアの解像度を選択的に低減する。自律走行車は、従って、自律走行車に関する決定を行う際、リモートの人間オペレータにとってより価値のある視覚情報を含む領域にわたってより高い解像度を維持し、その他の場所はより低い解像度のビデオフィードをアップロードでき、それによって、これらのビデオフィードを見るリモートの人間オペレータは、特定の関心エリアを高解像度で見ることができ、低解像度で示された近くの表面を背景にこれらの関心エリアを見ることができる。
この実施態様においては、自律走行車は、これらのビデオフィードのフレームの所定の領域をリモートの人間オペレータに提供できる。例えば、これらの所定の領域は、同じ交差点に進入しようとする自律走行車を支援する時、リモートの人間オペレータが以前、要求した視覚領域に基づいて等、リモートの人間オペレータに固有であってよい。代わりに、これらの所定の領域は、リモートコンピュータシステムによって割り当てられた、または、走行地図に規定された等、自律走行車がいる交差点または交差点の種類に特定であってよい。例えば、リモートコンピュータシステムは、同じ交差点の横断を試みる同じまたは類似の自律走行車に関して決定を入力するようにプロンプトされた同じまたは他のリモートの人間オペレータによって以前、要求または選択された画像データの部分に基づいて、これらの所定の領域を算出できる。自律走行車は、次に、上記方法及び技術を実施して、ジオリファレンスポイントに対する自律走行車の実際の場所及び向きに基づいて、ジオリファレンスされたクロップ領域をビデオフィード上に投影できる。
類似の例において、自律走行車は、ブロックS110において、自律走行車に組み込まれたカラーカメラからの、自律走行車の近くのシーンのカラービデオフィードを記録できる。ブロックS160において、手動支援を求めるクエリをリモートオペレータポータルに送信すると、自律走行車は、また、交差点と関連付けられたジオリファレンスされた関心エリア(例えば、交通信号、歩行者信号、横断歩道、及び、横断歩道を二分する対向車線を含む、1つまたは複数のジオリファレンスされた関心エリア)を探して走行地図にクエリを行うことができ、ジオリファレンスされた関心領域の周囲でカラービデオフィードのフレームをクロップでき、カラービデオフィードのこれらのクロップされたフレームを、リモートオペレータポータルに配信するために無線通信プロトコルを介してリモートコンピュータシステムに送信できる。リモートコンピュータシステムは、次に、これらのクロップされたフレームと自律走行確認制御とを自律走行車に割り当てられたリモートオペレータポータルに提供できる。
さらに、代わりに、自律走行車は、圧縮された(例えば、低解像度の)ビデオフィードをオペレータポータルに提供でき、リモートの人間オペレータが、これらのビデオフィードのウィンドウをドラッグして、これらのビデオフィードの関連エリアを選択できる。リモートコンピュータシステムは、これらのウィンドウの定義(例えば、形状、位置)を自律走行車に戻すことができ、自律走行車は、これらのウィンドウを各ビデオフィードにマップでき、これらのビデオフィードの次のフレームをオペレータポータルに提供する前に、これらのビデオフィードのこれらのウィンドウの外側の領域の解像度を選択的に低減することができる。同様に、自律走行車は、これらのビデオフィードのこれらのウィンドウの外側の領域をクロップでき、オペレータポータルに戻すために、これらのビデオフィードのフレームのこれらのクロップされた領域のみをリモートコンピュータシステムにアップロードできる。
上記変形形態においては、リモートコンピュータシステムは、自律走行車から受信したビデオフィードの、リモートの人間オペレータが選択した関心領域を記憶でき、後に、同じまたは他のリモートの人間オペレータが、同じまたは類似の交差点にいる同じまたは類似の自律走行車に関する決定を入力するように要求される今後のインスタンスにこの選択を適用できる。例えば、リモートコンピュータシステムは、リモートの人間オペレータのウィンドウ選択と、同じ交差点にいる自律走行車に関して同じまたは他のオペレータが入力した他のウィンドウ選択とを統合(例えば、平均)して、類似の自律走行車の車列上または車列にわたって特定の場所に配置されたカメラが記録したビデオフィード内の関心のある複合領域を規定する複合ウィンドウを算出できる。この例において、同じまたは類似の交差点に進入すると、この車列内の自律走行車は、走行地図に記憶されたこの複合ウィンドウに対するポインタ等に基づいて、この複合ウィンドウの位置及び形状をコンピュータシステムから読み出すことができ、ジオリファレンス座標に対する、または、交差点の実際の基準特徴に対する自律走行車の実際の位置及び向きに基づいて、自律走行車上の特定の場所のカメラからのビデオフィードに複合ウィンドウを投影でき、次に、自動的にこの複合ウィンドウによって区切られたビデオフィードの領域をこのビデオフィードの他の領域を除いて、リモートの人間オペレータに提供できる。この交差点に進入しようとする自律走行車を支援するリモートの人間オペレータが入力したウィンドウ選択から、複合ウィンドウが、このようにリモートコンピュータシステムによって経時的に規定されると、自律走行車が同じ交差点に面する固有の場所に走行する時等、自律走行車が交差点に接近する度に、歩行者を回避するために、または、交差点内の自律走行車のビューの特徴を遮る障害物を避けるために、自律走行車の実際の場所及び向きの変化に関わらず、自律走行車は、人間オペレータが適切な横断決定を選択できるように必要に応じて、ブロックS162において、視覚的コンテンツを同じウィンドウからリモートの人間オペレータに提供できる。
12.2 リモートの人間オペレータの決定
手動支援及びスキャンデータ、選択ビデオフィード、及び/または、他のデータの要求を自律走行車から受信すると、リモートの人間オペレータは、自律走行車のあるレベルの制御を行うことができる。一実施態様において、リモートの人間オペレータは、オペレータポータルを通して、交差点に進入するように、または、歩道に留まるように自律走行車をトリガするバイナリ制御を入力できる。例えば、リモートオペレータポータルで自律走行車から受信したスキャンデータを見直し、自律走行車が優先権を有すること、または、交差点が横断に適していることを判断すると、リモートの人間オペレータは、オペレータポータル内の1つの「進め」または「確認」ボタンを選択できる。コンピュータシステムは、次に、この入力を自律走行車に返信して、上記のように、例えば、一連のウェイポイントを通って走行することによって、または、歩行者の後ろをついて行くことによって、自律走行車が横断ルーチンを開始して自律的に横断歩道を走行するのをトリガできる。
上記実施態様において、リモートの人間オペレータは、横断歩道に沿った、自律走行車から受信したスキャンデータに示される道路の窪みまたは道路車両等、障害物の周囲のウィンドウを選択、ウィンドウを丸で囲む、または、ウィンドウを描くこともでき、リモートコンピュータシステムまたは自律走行車は、自律走行車の現在の位置と反対側の歩道との間の経路を、リモートの人間オペレータがこのように識別した障害物に基づいて、修正できる。代わりに、リモートの人間オペレータは、この自律走行車から受信され、オペレータポータル内にレンダリングされたビデオフィードに沿ってカーソルを動かすことができ、リモートコンピュータシステムまたは自律走行車は、このカーソル経路を自律走行車の現在の場所と反対側の歩道との間の一連のウェイポイントの形態等で、ローカルの走行経路に変換できる。自律走行車は、次に、通りを横断する確認をリモートの人間オペレータから受信した後、上記のように、これらのウェイポイントを自律的に通ることができる。
しかしながら、リモートの人間オペレータが、自律走行車が優先権を持たないこと、自律走行車の横断歩道の走行が自律走行車に過度の危険をもたらすことを、自律走行車から受信したスキャンデータから判断する場合、または、閾値スコアを超える横断信頼スコアを自律走行車が算出したにもかかわらず、自律走行車は交差点に進入するべきでないと判断する場合、リモートの人間オペレータは、リモートオペレータポータルを通して自律走行車のクエリを拒絶するコマンドを入力できる。リモートオペレータポータルからのこの拒絶を受信後、自律走行車は、歩道に止まったままでいることができ(または、横断歩道に隣接する歩道に走行して停止でき)、上記方法と技術を繰り返して、横断信頼スコアを再計算でき、(現在の)閾値スコアを超える横断信頼スコアを算出すると、新しいクエリをリモートオペレータポータルに送ることができる。例えば、交差点に進入する、または、横断歩道を通る自律走行を開始することに対する拒絶をリモートオペレータポータルを介してリモートの人間オペレータから受信すると、自律走行車は、リモートオペレータポータルへの光学データの送信を停止でき、横断歩道に隣接する歩道に停止したままでいることができ、リモートの人間オペレータからの拒絶の受信後に自律走行車が記録した光学データで検出された特徴に基づいて、自律走行車の交差点に進入する優先権の修正された信頼スコアを算出でき、次に、修正された信頼スコアが第2の閾値スコアを超えることに応答して、交差点に進入する手動確認を求めて、リモートオペレータポータルに第2のクエリを送信できる。第2の閾値スコアは前の閾値スコアを超える。自律走行車は、従って、自律走行車が現在の横断歩道に進入するために待機している間、リモートの人間オペレータから受信した各拒絶の後、閾値スコアの連続的な増加を実施できる。
代わりに、リモートの人間オペレータから拒絶を受信後、リモートコンピュータシステムは、図3に示すように、この拒絶を受信後、既定の時間(例えば、10秒)に、または、オペレータが選択した時間(例えば、5秒と30秒の間)に、リモートの人間オペレータから追加のサポートを求める待ち行列に自律走行車を入れることができる。リモートコンピュータシステムは、次に、この時間の終了時に、自律走行車とリモートオペレータポータルとを再接続でき、リモートの人間オペレータは、再度、自律走行車による自律走行の開始を確認または拒絶できる。
代わりに、上記実施態様において、リモートの人間オペレータは、リモートオペレータポータルを介して自律走行車のリモート制御を行うことができ、ブロック160において、自律走行車からクエリを受信すると、手動で、横断歩道を通るように自律走行車を走行させることができる。
よって、自律走行車が、自分がこの走行行動を実行する優先権を持つと特に確信している時、及び/または、自律走行車が、このような走行行動が自律走行車に与える危険は限られていると特に確信している時、自律走行車は、方法S100のブロックを実施して、交差点に進入するためにリモートの人間オペレータからの手動支援を選択的に要求でき、それによって、リモートの人間オペレータの帯域幅と無線データ帯域幅の両方を保存して、自律走行車が走行するマイルあたりのリソースの消費(すなわち、リモートの人間オペレータの時間と無線データ量)を低減する。
12.3 他のリモート支援トリガ
この変形形態において、自律走行車は、閾値時間内に閾値スコアを超える横断信頼スコアを達成できない場合、リアルタイム支援を提供するようにリモートの人間オペレータにプロンプトもできる。詳細には、自律走行車が、既定の最大停止時間(例えば、1分)、または、走行地図の交差点に割り当てられた最大停止時間等、閾値時間を超える間、交差点で停止したままの場合、自律走行車は、上記方法及び技術を実施してリモートオペレータポータルに手動支援を求めてクエリを行うことができる。よって、自律走行車が、この最大停止時間にわたって、閾値スコア未満の横断信頼スコアを連続して算出する場合、自律走行車は、走行支援を求めてリモートの人間オペレータに自動でアクセスできる。
代わりに、自律走行車は、交差点に到着後、時間の関数として、閾値スコア(または、特に、低い閾値スコア)を動的に低減できる。詳細には、自律走行車が経時的に横断歩道の横断信頼スコアを繰り返し、再計算すると、自律走行車は、閾値スコアを低減もでき、自律走行車が現在の閾値スコアを超える横断信頼スコアを算出すると、自律走行車は、ブロックS160において、手動支援を求めて自動でリモートオペレータポータルにクエリできる。
別の実施態様においては、自律走行車が(例えば、50%を超える、及び、80%未満の横断信頼スコアの)「未知の」スコアバンド内に入る1つまたは一連の横断信頼スコアを算出する場合、自律走行車は、手動支援を求めてリモートオペレータポータルに選択的にクエリを行うこともできる。
さらに別の実施態様においては、自律走行車は、自律走行車が横断しようとしている交差点または横断歩道に割り当てられた閾値スコアを走行地図から読み取ることができ、ブロックS160において、支援を求めてリモートオペレータポータルに選択的にクエリするトリガとしてこの閾値スコアを実施できる。
しかしながら、自律走行車は、ブロックS160において、任意の他のトリガまたは技術を実施して、リモートの人間オペレータに支援するように選択的にプロンプトできる。
本明細書に記載のシステム及び方法は、コンピュータ可読命令を記憶するコンピュータ可読媒体を受信するように構成された機械として、少なくとも部分的に具現及び/または実施できる。命令は、アプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インタフェース、ユーザコンピュータまたはモバイルデバイスのハードウェア/ファームウェア/ソフトウェア要素、リストバンド、スマートフォン、または、これらの任意の適切な組み合わせと一体になったコンピュータ実行可能コンポーネントによって実行できる。実施形態の他のシステム及び方法は、コンピュータ可読命令を記憶するコンピュータ可読媒体を受信するように構成された機械として少なくとも部分的に具現及び/または実施できる。命令は、上記の種類の装置及びネットワークと一体になったコンピュータ実行可能コンポーネントによって一体化されたコンピュータ実行可能コンポーネントによって実行できる。コンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、光学デバイス(CDまたはDVD)、ハードドライブ、フロッピードライブ、または、任意の適切なデバイス等、任意の適切なコンピュータ可読媒体に記憶できる。コンピュータ実行可能コンポーネントは、プロセッサであってよいが、任意の適切な専用ハードウェアデバイスが、(代わりに、または、追加で)命令を実行できる。
当業者が上記詳細な説明と図面及び請求項とから認識するように、請求項に規定する本発明の範囲を逸脱することなく、発明の実施形態に修正及び変更を行うことができる。

Claims (20)

  1. 自律走行車によって交差点の第1横断歩道を自律的に走行する方法であって
    第1の時点で前記自律走行車に割り当てられた走行ルートに一致する前記交差点の前記第1横断歩道に向かって、自律的に第1歩道を走行することと、
    前記自律走行車に組み込まれた光学センサからの前記自律走行車の近くのシーンの光学データを記録することと、
    前記光学データ内の前記第1横断歩道を検出することと、
    前記自律走行車の前後軸を前記光学データで検出された前記第1横断歩道に整列させることと、
    前記光学データ内の前記交差点の近くの第1歩行者を検出することと、
    前記第1の時点の後の第2の時点で、前記光学データに基づいて前記第1歩行者が前記第1横断歩道に進入することを判断することと、
    前記第2の時点で、前記第1歩行者が前記第1横断歩道に進入する判断に応答して、前記自律走行車の前記交差点に進入する優先権を予測することと、
    前記自律走行車の前記交差点に進入する前記優先権を予測応答して、
    前記第1歩道から前記第1横断歩道内に自律的に走行することと、
    前記走行ルートに従って、前記第1横断歩道を第2歩道の方に自律的に走行することと、
    を含む方法。
  2. 走行地図において前記交差点と関連付けられた保護されていない横断歩道の表示を検出しすることと、
    前記保護されていない横断歩道の表示に基づいて、前記第1横断歩道を保護されていない横断歩道と判断することをさらに含み、
    前記光学データで前記交差点の近くの前記第1歩行者を判断することは、前記第2の時点先立つ第1の時間にわたって記録された光学データで、前記第1横断歩道の近くの前記第1歩道にいる前記第1歩行者を検出することを含み、
    前記第2の時点に先立って、
    前記第1の時間にわたって記録された前記光学データに、前記第1横断歩道の近くの前記第1歩道にいる前記第1歩行者を検出すること応答して、
    前記自律走行車の前記交差点に進入する優先権の第1の信頼スコアを算出することと、

    前記第1の信頼スコアが第1の閾値スコアより小さいと判断することと
    前記第1の信頼スコアが前記第1の閾値スコアより小さいとの判断に応答して、前記第1横断歩道の近くの前記第1歩道で停止することと、を含み、
    前記自律走行車の前記交差点に進入する優先権を予測することは、
    前記第2の時点で、前記第1歩行者が前記第1横断歩道に進入する判断に応答して、
    前記自律走行車の前記交差点に進入する優先権の第2の信頼スコアを算出することと、
    前記第2の信頼スコアが前記第1の信頼スコアを超えると判断することと、を含み、
    前記第1歩道から前記第1横断歩道内に自律的に走行することは、
    前記第2の信頼スコアが前記第1の閾値スコアを超える判断に応答して、前記第1歩道から前記第1横断歩道内に自律的に走行することを含む、
    請求項1に記載の方法。
  3. 前記第1の時間にわたって記録された前記光学データで、前記交差点に接近する車両を検出することと、
    前記第1の時間にわたって記録された前記光学データに基づいて、前記車両の第1速度を判断することと、
    前記第1の信頼スコアは、前記車両の速度の逆関数として、前記第1の信頼スコアを算出し、
    前記第1の時間に続く第2の時間にわたって記録された光学データに基づいて、前記車両の第2速度判定することと、
    前記第2速度が前記第1速度よりも遅いことを判定することと、を含み、
    前記自律走行車の前記優先権の前記第2の信頼スコアを算出することは、前記第2速度が前記第1速度よりも遅い判定に応答して、前記第2速度に基づいて前記第2の信頼スコアが算出されることを含む、
    請求項2に記載の方法。
  4. 前記第1横断歩道を前記第2歩道の方に自律的に走行することは、
    前記第1歩道から前記第1横断歩道内に、前記交差点で前記第1歩道の一部と前記第1横断歩道の第1の一部との間に伸びる近い方の段差スロープを通って自律的に走行することと、
    前記第2歩道の一部と前記第1横断歩道の第2の一部との間に伸びる遠い方の段差スロープに前記第1横断歩道内を通って自律的に走行することであって、前記第1横断歩道内を通って自律的に走行することは、前記第1歩行者が前記第1横断歩道を移動すると、前記第1歩行者と前記自律走行車との間の閾値距離を維持して自律的に走行することを含む、自律的に走行することと、
    前記遠い方の段差スロープを介して前記第1横断歩道から前記第2歩道に自律的に走行することと、
    を含む、請求項2に記載の方法。
  5. 前記光学データで前記交差点の近くの前記第1歩行者を検出することは、前記第2の時点に先立つ第1の時間にわたって記録された光学データで、前記第1横断歩道の近くの前記第2歩道にいる前記第1歩行者を検出することを含み、
    前記第2の時点に先立って、
    前記第2の時点に先立つ第1の時間にわたって記録された光学データに基づいて、前記第1歩行者が前記第2歩道で停止したことを判断することと、
    前記第2歩道で前記歩行者が停止したことに応じて、
    前記自律走行車の前記交差点に進入する優先権の第1の信頼スコアを算出することと、
    前記第1の信頼スコアが第1の閾値スコアより小さいと判断することと、
    前記第1の信頼スコアが前記第1の閾値スコアより小さいことに応答して、前記第1横断歩道の近くの前記第1歩道で停止することと、
    をさらに含み、
    前記第2の時点で、前記第1歩行者が前記第1横断歩道に進入する判断に応答して、
    前記光学データに基づいて、前記第1歩行者のスピードを判断することと、
    前記自律走行車の前記交差点に進入する前記優先権を予測することは、前記自律走行車の前記交差点に進入する優先権の第2の信頼スコアを、前記歩行者の前記スピードと所定の公称歩行者スピードとの間の差の逆関数として、算出することを含み、
    前記第1歩道から前記第1横断歩道内に自律的に走行することは、前記第2の信頼スコアが前記第1の信頼スコアを超えることに応答して、前記第1歩道から前記第1横断歩道内に入り前記第1歩行者のそばを通り過ぎるように自律的に走行することを含む、
    請求項1に記載の方法。
  6. 前記光学データで前記交差点の近くの前記第1歩行者を判断することは、前記第1横断歩道に隣接する前記第1歩道にいる前記第1歩行者を有する歩行者グループを検出することを含み、
    前記自律走行車の前記交差点に進入する優先権を予測することは、
    前記光学データに基づいて、ほぼ前記第2の時点で前記歩行者グループの一部が前記第1横断歩道に進入することを判断することと、
    前記歩行者グループの一部が前記歩行者グループの閾値割合を超えることを判断することと、
    前記歩行者グループの一部が前記歩行者グループの閾値割合を超える判断に応答して、前記自律走行車の前記交差点に進入する優先権を予測することと、を含み、
    前記第1横断歩道を前記第2歩道の方に自律的に走行することは、前記第1横断歩道を渡る前記一部の歩行者の後について前記第2歩道に向かうことを含む、
    請求項1に記載の方法。
  7. ほぼ前記第2の時点で、前記第1横断歩道に垂直な第2横断歩道にいる第2歩行者を検出することと、
    前記第2横断歩道にいる前記第2歩行者を検出することに応答して、
    前記自律走行車の前記交差点に進入する前記優先権の予測を撤回することと、
    前記交差点に進入するための手動の確認を求めてリモートオペレータポータルにクエリを送信することと、
    をさらに含む、請求項1に記載の方法。
  8. 走行地図において前記交差点と関連付けられた交通信号表示を検出することと、
    前記走行地図において前記交差点に関連付けられた前記交通信号表示に基づいて、前記交差点に点灯した交通信号が設けられていると判断することと、
    前記点灯した交通信号を探して前記光学データをスキャンして、前記交差点の優先権を判断することと、をさらに含み、
    前記光学データで前記交差点の近くの前記歩行者を検出することは、前記光学センサの視界において前記点灯した交通信号が遮られていると判断することと、
    前記点灯した交通信号が遮られている判断に応答して、前記走行地図に示された前記第1横断歩道の場所の近くの歩行者を探して前記光学データをスキャンすることと、
    前記第2の時点に先立って、前記第1横断歩道の近くの前記第1歩道上の前記第1歩行者を検出することと、を含み、
    前記自律走行車の前記交差点に進入する前記優先権を予測することは、
    前記第2の時点に先立って、前記第1横断歩道の近くの前記第1歩道上の前記第1歩行者の検出に応答して、
    前記第2の時点に先立って、前記第1横断歩道に隣接する前記第1歩道の前記歩行者の存在に基づいて、前記自律走行車の前記交差点に進入する優先権の欠如を判断することと、
    前記第2の時点で、前記第1横断歩道の前記第1歩行者の存在に基づいて、前記自律走行車の前記交差点に進入する優先権を持つことを予測することと、
    を含む、請求項1に記載の方法。
  9. 前記光学データで前記交差点の近くの前記第1歩行者を検出することは、
    歩行者を探して前記自律走行車の近くの前記シーンをスキャンすることと、
    前記第2の時点に先立つ時間にわたって前記光学センサを介して記録した光学データで、前記第1横断歩道の近くの前記第1歩道にいる前記第1歩行者を検出することと、
    前記第1歩行者と前記第1横断歩道の間のヨー角のオフセットを算出することと、を含み、
    前記自律走行車の前記交差点に進入する前記優先権を予測することは、
    前記時間の持続の関数として、また、前記ヨー角のオフセットの逆関数として、前記第1歩行者が前記第1横断歩道に進入する意思を予測することと、
    前記第1歩行者が前記第1横断歩道に進入する前記意思の予測に応答して、
    前記第1歩行者が前記第1横断歩道に進入する前記意思が閾値意思を超えるか判断することと、
    前記第1歩行者が前記第1横断歩道に進入する前記意思が閾値意思を超えることに応答して、前記自律走行車の前記交差点に進入する優先権を前記歩行者の前記第1横断歩道への進入に関連付けることと、
    を含む、請求項1に記載の方法。
  10. 前記第1歩道を自律的に走行することは、前記第1横断歩道に隣接する前記第1歩道の領域の方に第1速度で自律的に走行することを含み、
    前記第1歩道から前記第1横断歩道内に自律的に走行することは、前記第1歩道から前記第1横断歩道内に前記第1速度よりも遅い第2速度で自律的に走行することを含む、
    請求項1に記載の方法。
  11. 前記光学データで前記交差点の近くの前記第1歩行者を検出することは、
    前記交差点において前記走行ルートを横切る第2横断歩道で前記歩行者を検出することを含み、
    前記自律走行車の前記交差点に進入する優先権を予測することは、前記自律走行車の前記走行ルートと交差する前記第2横断歩道の前記第1歩行者の存在に基づいて、前記自律走行車の前記交差点に進入する前記優先権の信頼スコアを算出することと、
    前記信頼スコアが閾値スコアを超えるかを判断することと、
    前記信頼スコアが前記閾値スコアを超えることに応答して、
    前記交差点に進入するための確認を求めてリモートオペレータポータルにクエリを送信することと、
    前記光学データの一部を前記リモートオペレータポータルに送信することと、
    前記第1横断歩道に隣接する前記第1歩道で停止することと、
    前記クエリに応答して前記リモートオペレータポータルから前記交差点に進入する前記確認を受信することと、を含み、
    前記第1歩道から前記第1横断歩道内に自律的に走行することは、前記確認の受信に応答して、前記第1歩道から前記第1横断歩道内に自律的に走行することを含む、
    請求項1に記載の方法。
  12. 前記光学データに、前記第1歩道にいる前記第1歩行者を検出するは、前記交差点において前記走行ルートを横切る第2横断歩道に前記第1歩行者がいることを検出することを含み、
    前記自律走行車の前記交差点に進入する前記優先権を予測することは、
    前記走行ルートを横切る前記第2横断歩道に前記第1歩行者がいることに基づいて、前記自律走行車の前記交差点に進入する前記優先権の信頼スコアを算出することと、
    前記信頼スコアが閾値スコアを超えるかを判断することと、
    前記信頼スコアが前記閾値スコアを超えることに応答して、
    前記交差点に進入するための確認を求めてリモートオペレータポータルにクエリを送信することと、
    前記光学データの一部を前記リモートオペレータポータルに送信することと、
    前記第1横断歩道に隣接する前記第1歩道で停止することと、
    前記クエリに応答して前記リモートオペレータポータルから前記交差点に進入する前記確認を受信していないことと、を含み、
    前記第1歩道から前記第1横断歩道内に自律的に走行することは、
    前記リモートの人間オペレータから前記リモートオペレータポータルを介して前記交差点への進入の前記確認を受信しないことに応答して、
    前記第1横断歩道に隣接する前記第1歩道にとどまることと、
    前記第2の時点の後の第3の時点で前記光学センサを介して前記自律走行車の近くのシーンの光学データを記録することと、
    前記第3の時点で記録された光学データに基づいて、前記自律走行車の前記交差点に進入する前記優先権の修正された信頼スコアを算出することと、
    前記修正された信頼スコアが第2の信頼スコアを超えると判断することと、
    前記修正された信頼スコアが第2の閾値スコアを超える判断に応答して、前記交差点に進入する確認を求めて、前記リモートオペレータポータルに第2のクエリを送信することと、
    前記第2のクエリに応答して前記リモートオペレータポータルから前記交差点への進入の確認を受信することと、を含み、
    前記第1歩道から前記第1横断歩道内に自律的に走行することは、前記第2のクエリの前記リモートオペレータポータルからの前記確認の受信に応答して、前記第1歩道から前記第1横断歩道内に自律的に走行することを含む、
    請求項11に記載の方法。
  13. 前記光学センサを介して前記自律走行車の近くの前記シーンの光学データを記録することは、前記光学センサが前記自律走行車に組み込まれたカラーカメラを有し前記カラーカメラを介して前記自律走行車の近くの前記シーンのカラービデオフィードを記録することを含み、
    前記スキャンデータの前記部分を前記リモートオペレータポータルに送信することは、
    前記交差点に関連付けられたジオリファレンスされた関心エリアを求めて走行地図にクエリを行うことと、
    前記ジオリファレンスされた関心領域の周囲で前記カラービデオフィードのフレームをクロップすることと、
    前記カラービデオフィードのクロップされた前記フレームを、前記リモートオペレータポータルに配信するために、無線通信プロトコルを介してリモートコンピュータシステムに送信することと、
    を含む、請求項12に記載の方法。
  14. 横断歩道を自律的に走行する方法であって、自律走行車が、
    自律走行車に割り当てられた走行ルートに一致する交差点の横断歩道の方に第1歩道を自律的に走行することと、
    前記自律走行車に組み込まれた光学センサからの前記自律走行車の近くのシーンの光学データを記録することと、
    前記自律走行車の前後軸を前記光学データで検出された前記横断歩道に整列させることと、
    第1の時点で、前記光学データの前記交差点の近くで検出された車両の近接性に基づいて、前記自律走行車の前記横断歩道に進入する優先権の第1の信頼スコアを算出することと、
    前記第1の時点に続く第2の時点で、前記光学データで前記交差点の近くの歩行者を検出することと、
    前記第1の信頼スコアが第1の閾値スコアを超えたか判断することと、
    前記第1の信頼スコアが第1の閾値スコアを超えていない判断に応答して、
    前記歩行者が前記横断歩道に進入するか判断することと、
    前記自律走行車の前記横断歩道に進入する前記優先権の第2の信頼スコアであって、前記第1の信頼スコアより大きい前記第2の信頼スコアを、前記横断歩道の前記歩行者の存在に基づいて算出することと、
    前記第2の信頼スコアが第1の閾値スコアを超えるか判断することと、
    前記第2の信頼スコアが第1の閾値スコアを超える判断に応答して、前記自律走行車の前記横断歩道内への進入の確認のためにリモートオペレータポータルにクエリを送信することと、
    前記リモートオペレータポータルからの前記横断歩道への進入の確認を受信することと、
    前記リモートオペレータポータルからの前記横断歩道への進入の確認の受信に応答して、
    前記第1歩道から前記横断歩道内に自律的に走行することと、
    前記走行ルートに従って前記横断歩道を第2歩道の方に自律的に走行することと、
    を含む、前記方法。
  15. 前記第1の信頼スコアが前記第1の閾値スコアを超える判断に応答して、
    前記第1歩道から前記横断歩道内に自律的に走行することと、
    前記走行ルートに従って前記横断歩道を第2歩道の方に自律的に走行することと、
    をさらに含む、請求項14に記載の方法。
  16. 前記シーンの光学データを記録することは、前記光学センサが前記自律走行車に組み込まれたカラーカメラを有し前記カラーカメラを介して前記自律走行車の近くの前記シーンのカラービデオフィードを記録することと、
    前記交差点に関連付けられたジオリファレンスされた関心エリアを求めて走行地図にクエリを行うことと、
    前記ジオリファレンスされた関心領域の周囲で前記カラービデオフィードのフレームをクロップすることと、
    前記リモートオペレータポータルに配信するために、無線通信プロトコルを介して前記カラービデオフィードのクロップされたフレームをリモートコンピュータシステムに送信することと、
    を含む、請求項14に記載の方法。
  17. 前記第2の信頼スコアは
    ほぼ前記第2の時点で、前記横断歩道で検出された歩行者グループのサイズと密度に比例し、
    ほぼ前記第2の時点で、前記横断歩道を移動する前記歩行者グループの検出されたスピードに反比例し、
    ほぼ前記第2の時点で、前記横断歩道に垂直な第2の横断歩道を移動する歩行者の数に反比例し、且つ、
    ほぼ前記第2の時点で、前記横断歩道と垂直な前記交差点に接近する車両のスピードに反比例する、
    スコアの少なくとも一つである、請求項14に記載の方法。
  18. 前記光学データで前記交差点の近くの前記歩行者を識別することは、前記横断歩道の近くの前記第1歩道にいる前記歩行者を検出することを含み、
    前記横断歩道を前記第2歩道の方に自律的に走行することは、
    前記第1歩道から前記横断歩道内に、前記交差点に近い方で且つ前記第1歩道の一部から前記横断歩道の一部に伸びる段差スロープを通って自律的に走行することと、
    前記交差点に遠い方で且つ前記横断歩道の一部から前記第2歩道の一部に伸びる段差スロープに向かって、前記自律走行車と前記歩行者との間の閾値距離を維持して前記横断歩道内を通って自律的に走行することと、
    前記遠い方の段差スロープを介して前記横断歩道から前記第2歩道に自律的に走行することと、
    を含む、請求項14に記載の方法。
  19. 自律走行車によって交差点の横断歩道を自律的に走行する方法であって
    前記自律走行車に割り当てられた走行ルートに一致する前記交差点の前記横断歩道の方に自律的に第1歩道を走行することと、
    前記自律走行車に組み込まれた光学センサからの前記自律走行車の近くのシーンの光学データを記録することと、
    前記光学データ中に前記横断歩道を検出することと、
    前記自律走行車の前後軸を前記光学データで検出された前記横断歩道と整列させることと、
    第1の時点で、前記光学データに基づいて前記交差点の近くの点灯した交通信号の状態を判断することと、
    ほぼ前記第1の時点で、前記交差点に接近する車両の速度を算出することと、
    前記交差点近くの点灯した交通信号の状態と前記車両の前記速度とに基づいて、前記自律走行車の前記交差点に進入する優先権の信頼スコアを算出することと、
    前記信頼スコアが閾値スコアを超えているか判断することと、
    前記信頼スコアが閾値スコアを超える判断に応答して、前記自律走行車の前記横断歩道内への進入を確認するためにリモートオペレータポータルにクエリを送信することと、
    前記クエリに応答して前記リモートオペレータポータルから前記横断歩道への進入の確認を受信することと、
    前記リモートオペレータポータルからの前記横断歩道への進入の確認の受信に応答して、
    前記第1歩道から前記横断歩道内に自律的に走行することと、
    前記走行ルートに従って、第2歩道の方に前記横断歩道を自律的に走行することと、
    を含む、前記方法。
  20. ほぼ前記第1の時点で、前記光学データで前記交差点の近くの歩行者を検出することと、
    前記第1の時点の後の第2の時点に、前記光学データに基づいて前記歩行者が前記横断歩道に進入するか判断することと、
    前記第2の時点で、前記歩行者が前記横断歩道に進入する判断に応答して、前記自律走行車の前記交差点に進入する前記優先権の前記信頼スコアを増加させることと、
    をさらに含む、請求項19に記載の方法。
JP2019527142A 2016-11-22 2017-11-21 制御されていない交差点及び制御されている交差点を自律的に走行する方法 Active JP6857728B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662425328P 2016-11-22 2016-11-22
US62/425,328 2016-11-22
PCT/US2017/062810 WO2018098161A1 (en) 2016-11-22 2017-11-21 Methods for autonomously navigating across uncontrolled and controlled intersections

Publications (2)

Publication Number Publication Date
JP2019536163A JP2019536163A (ja) 2019-12-12
JP6857728B2 true JP6857728B2 (ja) 2021-04-14

Family

ID=62195343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019527142A Active JP6857728B2 (ja) 2016-11-22 2017-11-21 制御されていない交差点及び制御されている交差点を自律的に走行する方法

Country Status (5)

Country Link
US (2) US10338591B2 (ja)
EP (1) EP3545376A4 (ja)
JP (1) JP6857728B2 (ja)
AU (1) AU2017365026B2 (ja)
WO (1) WO2018098161A1 (ja)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120382B2 (en) * 2016-03-31 2021-09-14 Caterpillar Inc. System and method for worksite management
US10460279B2 (en) 2016-06-28 2019-10-29 Wing Aviation Llc Interactive transport services provided by unmanned aerial vehicles
US10496091B1 (en) 2016-08-17 2019-12-03 Waymo Llc Behavior and intent estimations of road users for autonomous vehicles
US10261513B2 (en) 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
CN110226078B (zh) * 2016-12-22 2024-04-26 日产北美公司 自动车辆服务系统
US10437256B2 (en) * 2017-03-23 2019-10-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing time sensitive autonomous intersection management
JP6579144B2 (ja) * 2017-03-28 2019-09-25 株式会社Soken 障害物検知装置
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US10373501B2 (en) 2017-05-10 2019-08-06 Aptiv Technologies Limited Automated vehicle control strategy for pedestrian crowds
US20180330325A1 (en) * 2017-05-12 2018-11-15 Zippy Inc. Method for indicating delivery location and software for same
US10942519B2 (en) * 2017-07-07 2021-03-09 Autox, Inc. System and method for navigating an autonomous driving vehicle
KR101973627B1 (ko) * 2017-07-11 2019-04-29 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
AU2018307660B2 (en) * 2017-07-28 2022-07-14 Crown Equipment Corporation Traffic management for materials handling vehicles in a warehouse environment
CN111033178A (zh) * 2017-08-03 2020-04-17 福特全球技术公司 十字路口交叉控制
US10282995B2 (en) 2017-09-05 2019-05-07 Starship Technologies Oü Mobile robot having collision avoidance system for crossing a road from a pedestrian pathway
EP4249339A3 (en) * 2017-09-05 2023-11-15 Starship Technologies OÜ Mobile robot having collision avoidance system for crossing a road from a pedestrian pathway
JP6617126B2 (ja) * 2017-09-15 2019-12-11 本田技研工業株式会社 走行制御システムおよび車両の制御方法
US11009884B2 (en) * 2017-09-29 2021-05-18 Direct Current Capital LLC Method for calculating nominal vehicle paths for lanes within a geographic region
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
US10501085B2 (en) * 2017-12-07 2019-12-10 Waymo Llc Early object detection for unprotected turns
US10688662B2 (en) * 2017-12-13 2020-06-23 Disney Enterprises, Inc. Robot navigation in context of obstacle traffic including movement of groups
JP7024396B2 (ja) * 2017-12-26 2022-02-24 トヨタ自動車株式会社 人物探索システム
CN112204343B (zh) * 2018-03-02 2024-05-17 辉达公司 高清晰地图数据的可视化
JP6986685B2 (ja) * 2018-03-12 2021-12-22 パナソニックIpマネジメント株式会社 情報処理装置
DE102018112513A1 (de) * 2018-05-24 2019-11-28 Daimler Ag Verfahren und System zur Ableitung einer Trajektorie an einer Systemgrenze eines autonomen Fahrzeugs durch einen Teleoperator
US10930001B2 (en) 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
CA3106189A1 (en) * 2018-06-07 2019-12-12 Deka Products Limited Partnership System and method for distributed utility service execution
US20200001779A1 (en) * 2018-06-27 2020-01-02 drive.ai Inc. Method for communicating intent of an autonomous vehicle
US10788834B2 (en) * 2018-07-06 2020-09-29 Toyota Research Institute, Inc. System, method, and computer-readable medium for autonomous vehicle response to bicycles at intersections
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US11695783B2 (en) * 2018-08-13 2023-07-04 Ares Technologies, Inc. Systems, devices, and methods for determining a confidence level associated with a device using heuristics of trust
US11824882B2 (en) * 2018-08-13 2023-11-21 Ares Technologies, Inc. Systems, devices, and methods for determining a confidence level associated with a device using heuristics of trust
EP3842304A3 (en) * 2018-08-14 2021-09-15 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10611372B2 (en) * 2018-09-06 2020-04-07 Zebra Technologies Corporation Dual-mode data capture system for collision detection and object dimensioning
EP3621310A1 (en) * 2018-09-10 2020-03-11 Panasonic Intellectual Property Corporation of America Video transmitting device, video transmitting method, and program
KR20200029805A (ko) * 2018-09-11 2020-03-19 현대자동차주식회사 차량 및 그 제어방법
US10627819B1 (en) * 2018-10-11 2020-04-21 Pony Ai Inc. On-site notification from autonomous vehicle for traffic safety
US20210380119A1 (en) * 2018-10-15 2021-12-09 Starship Technologies Oü Method and system for operating a mobile robot
US11132898B2 (en) * 2018-11-01 2021-09-28 Clearpath Robotics Inc. Systems and methods for self-driving vehicle traffic management
JP7225695B2 (ja) * 2018-11-07 2023-02-21 富士フイルムビジネスイノベーション株式会社 自律移動装置およびプログラム
US10990099B2 (en) * 2018-11-16 2021-04-27 Great Wall Motor Company Limited Motion planning methods and systems for autonomous vehicle
US10915762B1 (en) 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling
WO2020138516A1 (ko) * 2018-12-24 2020-07-02 엘지전자 주식회사 통신 장치, 그것의 제어 방법 및 그것을 포함하는 통신 시스템
US11217090B2 (en) * 2018-12-27 2022-01-04 Continental Automotive Systems, Inc. Learned intersection map from long term sensor data
US20200210788A1 (en) * 2018-12-31 2020-07-02 Robert Bosch Gmbh Determining whether image data is within a predetermined range that image analysis software is configured to analyze
KR102505717B1 (ko) 2019-01-29 2023-03-02 모셔널 에이디 엘엘씨 교통 신호등 추정
EP3699812A1 (en) * 2019-02-21 2020-08-26 Volvo Car Corporation Method and system supporting obtaining of body parameters of a person outside a vehicle
CN109949596A (zh) * 2019-02-28 2019-06-28 北京百度网讯科技有限公司 用于自动驾驶车辆的车辆交互方法和装置
US20200348668A1 (en) * 2019-04-30 2020-11-05 Nissan North America, Inc. Mobility Manager Trainer for Improved Autonomy in Exception Handling
US11188094B2 (en) 2019-04-30 2021-11-30 At&T Intellectual Property I, L.P. Autonomous vehicle signaling system
CN110053629B (zh) * 2019-05-07 2021-09-03 广州小鹏汽车科技有限公司 交互控制方法、装置、电子设备及存储介质
US11454976B1 (en) 2019-06-06 2022-09-27 Zoox, Inc. Optimizing data levels for processing,transmission, or storage
US11354914B1 (en) * 2019-06-06 2022-06-07 Zoox, Inc. Optimizing data levels for processing, transmission, or storage based on location information
US11157768B1 (en) 2019-06-06 2021-10-26 Zoox, Inc. Training a machine learning model for optimizing data levels for processing, transmission, or storage
US11403850B2 (en) 2019-07-24 2022-08-02 Honda Motor Co., Ltd. System and method for providing unsupervised domain adaptation for spatio-temporal action localization
US11024162B2 (en) 2019-08-14 2021-06-01 At&T Intellectual Property I, L.P. Traffic management system
JP7276023B2 (ja) * 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
US11614739B2 (en) 2019-09-24 2023-03-28 Apple Inc. Systems and methods for hedging for different gaps in an interaction zone
US11754408B2 (en) * 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
US20210247196A1 (en) * 2020-02-10 2021-08-12 Uber Technologies, Inc. Object Detection for Light Electric Vehicles
EP4115253A1 (en) 2020-03-02 2023-01-11 Starship Technologies OÜ Method, system and device for analyzing pedestrian motion patterns
IL296825A (en) * 2020-03-28 2022-11-01 Deka Products Lp A system and method for managing a junction by an autonomous vehicle
US20230152810A1 (en) 2020-04-27 2023-05-18 Starship Technologies Oü Methods, devices and systems for facilitating operations of mobile robots
CN113624245B (zh) * 2020-05-08 2024-04-16 北京京东乾石科技有限公司 导航方法及装置、计算机存储介质、电子设备
CN111899530B (zh) * 2020-06-22 2022-02-01 厦门快商通科技股份有限公司 红绿灯控制方法、系统、移动终端及存储介质
CN114264310A (zh) * 2020-09-14 2022-04-01 阿里巴巴集团控股有限公司 定位及导航方法、装置、电子设备、计算机存储介质
US11572082B2 (en) * 2020-10-27 2023-02-07 Automotive Research & Testing Center Driving risk assessment and control decision-making method for autonomous vehicle
US20220178700A1 (en) * 2020-12-03 2022-06-09 Motional Ad Llc Localization based on surrounding vehicles
US20220329990A1 (en) * 2021-04-09 2022-10-13 Autotalks Ltd. System and method for management of driving maneuvers
DE102021109425B3 (de) * 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
US11731659B2 (en) * 2021-04-29 2023-08-22 Argo AI, LLC Determination of vehicle pullover location considering ambient conditions
US20230065284A1 (en) * 2021-09-01 2023-03-02 Baidu Usa Llc Control and planning with localization uncertainty
US11845454B2 (en) 2021-09-14 2023-12-19 Motional Ad Llc Operational envelope detection with situational assessment
US11851091B2 (en) * 2021-09-14 2023-12-26 Motional Ad Llc Immobility detection within situational context
US11656093B2 (en) 2021-09-27 2023-05-23 Argo AI, LLC Method and system for navigating vehicle to pickup / drop-off zone

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629899B2 (en) 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
US20020150050A1 (en) 1999-06-17 2002-10-17 Nathanson Martin D. Automotive telemetry protocol
US7979173B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
US6504530B1 (en) 1999-09-07 2003-01-07 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
US7339993B1 (en) * 1999-10-01 2008-03-04 Vidiator Enterprises Inc. Methods for transforming streaming video data
US6599243B2 (en) 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
US20030162523A1 (en) 2002-02-27 2003-08-28 Michael Kapolka Vehicle telemetry system and method
US8832121B2 (en) 2005-02-02 2014-09-09 Accuweather, Inc. Location-based data communications system and method
US9373149B2 (en) 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
US8532862B2 (en) 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
US20100157061A1 (en) 2008-12-24 2010-06-24 Igor Katsman Device and method for handheld device based vehicle monitoring and driver assistance
US8838370B2 (en) 2009-03-09 2014-09-16 Empire Technology Development Llc Traffic flow model to provide traffic flow information
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US8855847B2 (en) 2012-01-20 2014-10-07 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent navigation system
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
WO2013133791A1 (en) 2012-03-05 2013-09-12 Intel Corporation User identification and personalized vehicle settings management system
US9429943B2 (en) 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US8788121B2 (en) 2012-03-09 2014-07-22 Proxy Technologies, Inc. Autonomous vehicle and method for coordinating the paths of multiple autonomous vehicles
US20140309853A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle diagnostics and roadside assistance
US8571743B1 (en) * 2012-04-09 2013-10-29 Google Inc. Control of vehicles based on auditory signals
US8918231B2 (en) 2012-05-02 2014-12-23 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic geometry support for vehicle components
US9499172B2 (en) 2012-09-20 2016-11-22 Google Inc. Detecting road weather conditions
US9294474B1 (en) 2012-11-15 2016-03-22 Emc Corporation Verification based on input comprising captured images, captured audio and tracked eye movement
US8825258B2 (en) 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US8825371B2 (en) 2012-12-19 2014-09-02 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation of on-road vehicle based on vertical elements
US8930044B1 (en) 2012-12-28 2015-01-06 Google Inc. Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion
US9053636B2 (en) 2012-12-30 2015-06-09 Robert Gordon Management center module for advanced lane management assist for automated vehicles and conventionally driven vehicles
US20140244678A1 (en) 2013-02-28 2014-08-28 Kamal Zamer Customized user experiences
CN105074793A (zh) 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
US9262915B2 (en) * 2013-05-09 2016-02-16 KERBspace, Inc Intelligent urban communications portal and methods
US10551851B2 (en) 2013-07-01 2020-02-04 Steven Sounyoung Yu Autonomous unmanned road vehicle for making deliveries
US20150268665A1 (en) 2013-11-07 2015-09-24 Google Inc. Vehicle communication using audible signals
US9563199B1 (en) 2013-11-27 2017-02-07 Google Inc. Assisted perception for autonomous vehicles
US9090260B2 (en) 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
WO2015099679A1 (en) 2013-12-23 2015-07-02 Intel Corporation In-vehicle authorization for autonomous vehicles
JP6851133B2 (ja) 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
US20150202770A1 (en) * 2014-01-17 2015-07-23 Anthony Patron Sidewalk messaging of an autonomous robot
US9984574B2 (en) 2014-01-21 2018-05-29 Tribal Rides, Inc. Method and system for anticipatory deployment of autonomously controlled vehicles
US9079587B1 (en) * 2014-02-14 2015-07-14 Ford Global Technologies, Llc Autonomous control in a dense vehicle environment
JP6467773B2 (ja) 2014-02-25 2019-02-13 アイシン・エィ・ダブリュ株式会社 経路探索システム、経路探索方法及びコンピュータプログラム
US9720411B2 (en) 2014-02-25 2017-08-01 Ford Global Technologies, Llc Autonomous driving sensing system and method
WO2015134311A1 (en) 2014-03-03 2015-09-11 Inrix Inc Traffic obstruction detection
KR101561917B1 (ko) 2014-04-10 2015-11-20 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
US9583006B2 (en) 2014-05-20 2017-02-28 Verizon Patent And Licensing Inc. Identifying unmanned aerial vehicles for mission performance
US9671790B2 (en) 2014-05-20 2017-06-06 Verizon Patent And Licensing Inc. Scheduling of unmanned aerial vehicles for mission performance
US9404761B2 (en) 2014-05-30 2016-08-02 Nissan North America, Inc. Autonomous vehicle lane routing and navigation
US20150345971A1 (en) 2014-06-03 2015-12-03 Nissan North America, Inc. Synchronously updated vehicle transportation network information for autonomous vehicle routing and navigation
AU2015274445B2 (en) 2014-06-11 2019-05-23 Veridium Ip Limited System and method for facilitating user access to vehicles based on biometric information
RU2017105422A (ru) 2014-07-22 2018-08-26 Навди Инк. Компактная система индикации на лобовом стекле
US9948898B2 (en) 2014-08-22 2018-04-17 Verizon Patent And Licensing Inc. Using aerial imaging to provide supplemental information about a location
US9731713B2 (en) 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
US9582296B2 (en) 2014-09-18 2017-02-28 International Business Machines Corporation Dynamic multi-user computer configuration settings
US9440647B1 (en) * 2014-09-22 2016-09-13 Google Inc. Safely navigating crosswalks
US20160144959A1 (en) 2014-11-21 2016-05-26 Oil & Gas IT, LLC Systems, Methods and Devices for Collecting Data at Remote Oil and Natural Gas Sites
US9448559B2 (en) 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
US9821763B2 (en) 2015-04-03 2017-11-21 Honda Motor Co., Ltd. Hierarchical based vehicular control systems, and methods of use and manufacture thereof
JP2016201047A (ja) 2015-04-13 2016-12-01 Line株式会社 サーバ及びユーザ紹介方法並びにユーザ紹介プログラム
US20160307449A1 (en) 2015-04-15 2016-10-20 International Business Machines Corporation Autonomous drone service system
US9933269B2 (en) 2015-06-22 2018-04-03 Here Global B.V. Midpoint-based map-agnostic navigation routing
US20150348112A1 (en) 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
US10023231B2 (en) 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
US9805519B2 (en) 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Performing services on autonomous vehicles
US9558664B1 (en) 2015-08-13 2017-01-31 Here Global B.V. Method and apparatus for providing parking availability detection based on vehicle trajectory information
US20170301232A1 (en) * 2016-04-13 2017-10-19 Here Global B.V. Intersection Map Message Creation for Vehicle Communication
KR102039487B1 (ko) * 2016-11-11 2019-11-26 엘지전자 주식회사 차량 주행 제어 장치 및 방법

Also Published As

Publication number Publication date
US20190324459A1 (en) 2019-10-24
JP2019536163A (ja) 2019-12-12
EP3545376A4 (en) 2020-07-01
EP3545376A1 (en) 2019-10-02
US10338591B2 (en) 2019-07-02
AU2017365026B2 (en) 2021-02-04
AU2017365026A1 (en) 2019-06-06
US11347220B2 (en) 2022-05-31
WO2018098161A1 (en) 2018-05-31
US20180329418A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6857728B2 (ja) 制御されていない交差点及び制御されている交差点を自律的に走行する方法
US10239539B2 (en) Vehicle travel control method and vehicle travel control device
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US11927445B2 (en) System and method for intersection management by an autonomous vehicle
EP4030377A1 (en) Responder oversight system for an autonomous vehicle
US11718290B2 (en) Methods and systems for safe out-of-lane driving
US11971259B2 (en) System and method for contextualizing objects in a vehicle horizon
JP6874209B2 (ja) 車両制御システム、車両制御方法、プログラム、および情報処理装置
US11904906B2 (en) Systems and methods for prediction of a jaywalker trajectory through an intersection
JP2021075117A (ja) 車両制御方法及び車両制御装置
JP7141477B2 (ja) 地図生成装置
US11475767B2 (en) Information-processing device, vehicle control device, information-processing method, and storage medium
JP7141479B2 (ja) 地図生成装置
JP7301897B2 (ja) 地図生成装置
US20230043601A1 (en) Methods And System For Predicting Trajectories Of Actors With Respect To A Drivable Area
EP4131181A1 (en) Methods and system for predicting trajectories of actors with respect to a drivable area
US20220297680A1 (en) Mobile object control system, mobile object, control method, and storage medium
JP2022123239A (ja) 区画線認識装置
JP2022123238A (ja) 区画線認識装置
CN114987528A (zh) 地图生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R150 Certificate of patent or registration of utility model

Ref document number: 6857728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250