JP6934544B2

JP6934544B2 - 車輪姿勢を使用した将来の進行方向の決定

Info

Publication number: JP6934544B2
Application number: JP2020036216A
Authority: JP
Inventors: ガットマン，ジェンス−ステッフェン
Original assignee: ウェイモエルエルシー
Priority date: 2017-02-10
Filing date: 2020-03-03
Publication date: 2021-09-15
Anticipated expiration: 2038-01-31
Also published as: KR102252895B1; CN111661046B; US20190315352A1; US11299150B2; CN110291415A; US10077047B2; US20190023269A1; AU2020202527A1; KR20200097815A; US20240083425A1; EP3580581A1; CA3052438A1; CN111661046A; JP2020109681A; KR20190100407A; JP2020514874A; CN110291415B; US20220212662A1; US20200247405A1; US11851055B2

Description

関連出願の相互参照
［0001］本願は、２０１７年２月１０日に出願された米国特許出願第１５／４２９，２７５号の継続出願であり、この開示内容を参照によって本願明細書に引用したものとする。

［0002］人間の運転手を必要としない自動車のような自律走行車は、ある場所から別の場所への乗客または物品の輸送を支援するのに使用され得る。該車両は、乗客がピックアップ位置または目的位置のような何らかの初期入力を行うことができ、車両がその位置まで自身を誘導する完全自律モードで動作し得る。

［0003］該車両は、典型的には、環境の物体を検出するために、様々なタイプのセンサが装備されている。例えば、自律走行車は、レーザ、ソーナ、レーダ、カメラ、および車両の環境からのデータを走査して記録する他の装置を含み得る。これらのデバイスのうちの１つまたは複数からのセンサデータは、物体およびその個々の特性（位置、形状、進行方向、速度など）を検出するのに使用され得る。多くの場合、該システムは、今では、例えば、物体のサイズ、形状、速度、位置などのようなキューを使用して、物体の種類を識別することができる。これらの特性は、物体が将来の短時間の間にどんな振る舞いをしそうであるかを予測するのに使用され、この予測は、これらの物体を避けるために車両を制御するのに使用され得る。したがって、検出、識別、および予測は、自律走行車の安全な動作にとって重要な機能である。

［0004］本開示の態様は、物体の将来の進行方向を決定する方法を提供する。該方法は、１つまたは複数のプロセッサによって、車両の環境内の物体および物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、１つまたは複数のプロセッサによって、センサデータに基づいて物体の車輪の予測位置に対応するエリアを識別するステップと、１つまたは複数のプロセッサによって、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢を推定するステップと、１つまたは複数のプロセッサによって、推定に基づいて物体の将来の進行方向を決定するステップとを含む。

［0005］一実施例では、姿勢を推定するステップは、エリア内の位置を有するセンサデータ点のいずれかを第１の平面にフィッティングさせるステップを含む。この実施例では、センサデータはさらに、物体に対応するデータ点の境界を示す境界ボックスを含み、姿勢を推定するステップは、境界ボックスの面の第２の平面と第１の平面との角度差を決定するステップを含む。また、車輪の姿勢を推定するステップはさらに、境界ボックスの外側かつエリア内にある位置を有するセンサデータ点に基づいて行われる。別の実施例では、エリアを識別するステップはさらに、一定期間にわたって決定された物体の過去の推定軌跡に基づいて行われる。この実施例では、エリアを識別するステップはさらに、物体の種類に基づいて行われる。別の実施例では、該方法はさらに、将来の進行方向に基づいて通知を生成するステップと、物体が車両に向かって進んでいることを示す通知を車両の乗客に提供するステップと、を含む。この実施例では、通知は、乗客が車両の操舵、加速、および減速の１つまたは複数の動作を制御することを要求するものである。別の実施例では、該方法はさらに、将来の進行方向を使用して自律運転モードで車両を制御するステップを含む。別の実施例では、エリアを識別するステップはさらに、車輪位置のモデルに基づいて行われる。この実施例では、センサデータはさらに、物体に対応するデータ点の境界を示す境界ボックスを含み、エリアを識別するステップはさらに、境界ボックスの寸法をモデルに入力するステップを含む。追加的に、または代替的に、モデルは、一定の車輪半径に基づくモデルである。別の実施例では、該方法はさらに、物体の画像を受信するステップと、可能性のある車輪位置を識別するために画像を解析するステップとを含み、エリアを識別するステップはさらに、可能性のある車輪位置に基づいて行われる。

［0006］本開示の別の態様は、物体が車両の軌跡に進入しつつあることを予測する予測システムを提供する。該システムは、車両の環境内の物体および物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信し、センサデータに基づいて物体の車輪の予測位置に対応するエリアを識別し、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢を推定し、推定に基づいて物体の将来の進行方向を決定するように構成された１つまたは複数のプロセッサを含む。

［0007］一実施例では、１つまたは複数のプロセッサはさらに、エリア内の位置を有するセンサデータ点のいずれかを第１の平面にフィッティングさせることによって姿勢を推定するように構成される。別の実施例では、センサデータはさらに、物体に対応するデータ点の境界を示す境界ボックスを含み、１つまたは複数のプロセッサはさらに、境界ボックスの面の第２の平面と第１の平面との角度差を決定することによって姿勢を推定するように構成される。別の実施例では、１つまたは複数のプロセッサはさらに、将来の進行方向に基づいて通知を生成し、物体が車両に向かって進んでいることを示す通知を車両の乗客に提供するように構成される。別の実施例では、１つまたは複数のプロセッサはさらに、将来の進行方向を使用して自律運転モードで車両を制御するように構成される。別の実施例では、該システムはさらに、車両を含む。

［0008］本開示の別の態様は、命令が記憶される非一時的なコンピュータ可読記憶媒体を提供する。命令は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、物体が車両の軌跡に進入しつつあることを予測する方法を実行させる。該方法は、車両の環境内の物体および物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、センサデータに基づいて物体の車輪の予測位置に対応するエリアを識別するステップと、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢を推定するステップと、推定に基づいて物体の将来の進行方向を決定するステップとを含む。

［0009］本開示の態様に従う車両の一例の機能図である。［0010］本開示の態様に従う車両の外観図の一例である。［0010］本開示の態様に従う車両の外観図の一例である。［0010］本開示の態様に従う車両の外観図の一例である。［0010］本開示の態様に従う車両の外観図の一例である。［0011］本開示の態様に従う道路および車両を示す図である。［0012］本開示の態様に従うデータおよび車両を示す図である。［0013］本開示に従う境界ボックスの例を示す図である。［0014］本開示に従う境界ボックスおよび車輪の推定位置に対応するエリアの例を示す図である。［0014］本開示に従う境界ボックスおよび車輪の推定位置に対応するエリアの例を示す図である。［0015］本開示に従う、境界ボックス、車輪の推定位置に対応するエリア、および推定平面の一例を示す図である。［0016］本開示の態様に従うデータおよび車両を示す別の図である。［0017］本開示の態様に従うフロー図である。

概要
［0018］本開示の技術は、物体の将来の軌跡を予測すること、およびこの情報を使用して自律走行車のための運転決定を行うことに関する。自動車または自転車のような車輪を有する特定の種類の物体に関して、物体のタイヤ、リム（もしくはホイールキャップ）、またはその両方を含む物体の前輪の相対姿勢を識別するために生のセンサ情報が使用され得る。例えば、乗用車では、タイヤは検出されるほど十分な大きさのタイヤであり得るが、自転車の場合、タイヤは極めて薄く、検出するのがより難しい。この情報は、その後、例えば、物体の過去の軌跡または速度に関する情報を車輪の姿勢と組み合わせることによって、物体の将来の軌跡を決定するのに使用され得る。

［0019］知覚システムおよび／または車両のコンピューティングデバイスは、物体の過去の観測値を使用して、物体の将来の軌跡を予測し得る。例えば、物体の速度、姿勢／進行方向、位置、状態（すなわち、方向指示器など）、過去の推定軌跡が、物体が存在しそうな将来の一連の位置および時間を予測するのに使用され得る。これらの位置および時間が組み合わさって、将来の短時間の物体の軌跡を形成し得る。

［0020］車両の知覚システムはさらに、物体に対応するセンサデータ点の位置を識別し得る。この情報は、センサデータのセグメント化によって提供され得る。セグメント化とは、どのセンサデータ点（または視覚ピクセル）が物体に対応するかをコンピューティングデバイスが認識するようにセンサデータをラベリングするプロセスである。場合によっては、センサデータは、物体の推定寸法を表す境界ボックスにセグメント化され得る。さらに、知覚システムは、物体の周囲のセンサデータ点を識別するが、セグメント化によって具体的には物体に関連付けられていない情報を提供し得る。知覚システムはさらに、物体の位置、姿勢、サイズ、形状、種類、移動方向および速度などのような物体の特性を識別して提供し得る。

［0021］車両のコンピューティングデバイスは、境界ボックスのサイズおよび／または物体の寸法を使用して、物体の車輪の位置に対応するエリアを推定し得る。車両のコンピューティングシステムは、物体の車輪（前縁または後輪）の位置を推定するために、異なる車両サイズに対する、または場合によってはさらに車両の種類に対する、予想車輪位置を識別する情報にアクセスし得る。前輪の例を使用すると、一般に、物体が車両のセンサに向かって進んでいない限り、１つの前輪のみがセンサに認識されるので、境界ボックスに対するこの前輪の位置は、物体の進行方向（例えば、物体の過去の軌跡から）と予想車輪位置（境界ボックスのサイズおよび／または物体の寸法を使用して識別された）との組み合わせに基づいて推定され得る。

［0022］エリア内のデータ点は、その後、エリア内の点の平均方位を識別するために解析され得る。例えば、データ点は、単純な平面フィッティングアルゴリズムを使用して平面にフィッティングされ得る。この平面と境界ボックスの面の平面との差は、車両の車輪の姿勢であることが推定され得る。

［0023］当然、エリア内のデータ点の数は、物体の前輪と車両のセンサとの間の相対位置、距離および角度に依存する。この点に関して、物体が車両に近いほど、また車輪が車両センサに対してより垂直に近づくほど、車輪表面から受信される可能性があるセンサデータ点は多くなり、推定がより正確になり得る。

［0024］推定は、物体の将来の進路の曲率または物体のヨーレートの指標として使用され得る。例えば、将来の車輪姿勢を物体の速度と組み合わせることで、物体の軌跡が決定され得る。予測進行方向または軌跡は、その後、車両の運転決定を行うのに使用され得る。

［0025］本明細書に記載されている特徴により、車両のコンピューティングデバイスは、物体の車輪の姿勢を推定することができる。このことにより、車両のコンピューティングデバイスは、物体が進行方向の変更を開始する前でも、物体の進行方向の変更を予測することができる。そうすることによって、車両のコンピューティングデバイスは、物体の将来の進路または軌跡をより正確に予測することができ、ひいては、車両の制御方法に関するより適切な決定を行うことができる。
システム例

［0026］図１に示されているように、本開示の一態様の車両１００は、さまざまなコンポーネントを含む。本開示の特定の態様は、車両の特定のタイプに関して特に有用であるが、車両は、これらに限定されないが、自動車、トラック、オートバイ、バス、ＲＶ車などを含む車両いずれかのタイプであり得る。車両は、１つまたは複数のプロセッサ１２０、メモリ１３０、および典型的に汎用コンピューティングデバイスに存在する他のコンポーネントを含むコンピューティングデバイス１１０のような１つまたは複数のコンピューティングデバイスを有し得る。

［0027］メモリ１３０は、１つまたは複数のプロセッサ１２０によって実行され得る、またはそれ以外の形で使用され得る命令１３２およびデータ１３４を含む、１つまたは複数のプロセッサ１２０によってアクセス可能な情報を記憶する。メモリ１３０は、コンピューティングデバイス可読媒体、または電子デバイスを用いて読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリ、例えば、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤもしくは他の光学ディスク、および他の書き込み可能かつ読み込み可能なメモリであり得る。システムおよび方法は、上述の様々な組み合わせを含み得るので、命令およびデータの様々な部分が様々なタイプの媒体上に記憶される。

［0028］命令１３２は、プロセッサによって直接実行される命令セット（例えば、機械コード）または間接的に実行される命令セット（例えば、スクリプト）の任意の命令セットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティング・デバイス・コードとして記憶され得る。この点に関して、用語「命令」および「プログラム」は、本明細書において区別なく使用され得る。命令は、プロセッサによって直接処理するためにオブジェクトコード形式で記憶され得るか、要求に応じて解釈されるもしくは予めコンパイルされた独立したソース・コード・モジュールのスクリプトもしくは集合を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについて、以下でさらに詳細に説明する。

［0029］データ１３４は、命令１３２に従って、プロセッサ１２０よって取り込まれ、記憶され、または修正され得る。例えば、請求項に係る対象は任意の特定のデータ構造によって制限されないが、データは、コンピューティング・デバイス・レジスタ内に、複数の異なるフィールドおよびレコードを有するテーブル、ＸＭＬ文書またはフラットファイルとして関係データベースに記憶され得る。データはさらに、任意のコンピューティングデバイス可読フォーマットでフォーマットされ得る。

［0030］１つまたは複数のプロセッサ１２０は、市販のＣＰＵのような任意の従来のプロセッサであり得る。あるいは、１つまたは複数のプロセッサは、ＡＳＩＣもしくは他のハードウェアベースのプロセッサのような専用のデバイスであり得る。図１は、同一ブロック内にあるようなプロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素の機能図であるが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同一の物理的筐体内に収容され得る、もしくは収容され得ない複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることは当業者によって理解されるであろう。例えば、メモリは、コンピューティングデバイス１１０とは異なる筐体内に配置されたハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、同時に動作し得る、または同時に動作し得ないプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むことが理解されるであろう。

［0031］コンピューティングデバイス１１０は、上述のプロセッサおよびメモリ、さらにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイク）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタまたは情報を表示するように動作可能な他の電気デバイス）のように、通常はコンピューティングデバイスと共に使用されるコンポーネントの全てを含み得る。この実施例では、車両は、情報または視聴覚体験を提供するために車内電子ディスプレイ１５２および１つまたは複数のスピーカ１５４を含む。この点に関して、車内電子ディスプレイ１５２は、車両１００の車室内に配置され得、車両１００内の乗客に情報を提供するためにコンピューティングデバイス１１０によって使用され得る。

［0032］コンピューティングデバイス１１０はさらに、以下で詳細に説明するクライアント・コンピューティング・デバイスおよびサーバ・コンピューティング・デバイスのような他のコンピューティングデバイスとの通信を容易にするために１つまたは複数の無線ネットワーク接続１５６を含み得る。無線ネットワーク接続は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈｌｏｗｅｎｅｒｇｙ（ＬＥ）、セルラー接続、およびＩｎｔｅｒｎｅｔ、ＷｏｒｌｄＷｉｄｅＷｅｂ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、１つまたは複数の会社専用の通信プロトコルを使用するプライベートネットワーク、Ｅｔｈｅｒｎｅｔ、ＷｉＦｉおよびＨＴＴＰを含むプロトコル、およびこれらの様々な組み合わせを含む様々な構成およびプロトコルを含み得る。

［0033］一実施例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律駆動コンピューティングシステムであり得る。自律駆動コンピューティングシステムは、車両の様々なコンポーネントと通信可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３２に従って車両１００の移動、速度などを制御するために、減速システム１６０、加速システム１６２、操舵システム１６４、シグナリングシステム１６６、ルート決定システム１６８、測位システム１７０、ならびに知覚システム１７２のような車両１００の様々なシステム、および動力系１７４（例えば、ガソリンもしくはディーゼルエンジンまたは電気モータ）と通信状態であり得る。さらに、これらのシステムはコンピューティングデバイス１１０の外部のシステムとして図示されているが、実際は、車両１００を制御するための自律駆動コンピューティングシステムのように、コンピューティングデバイス１１０に組み込まれてもよい。

［0034］一実施例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用し得る。同様に、操舵システム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が自動車またはトラックのように路上で使用するように構成されている場合、操舵システムは、車両の方向を変えるために車輪の角度を制御するためのコンポーネントを含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

［0035］ルート決定システム１６８は、ある位置までのルートを決定して、そのルートをたどるために、コンピューティングデバイス１１０によって使用され得る。この点に関して、ルート決定システム１６８および／またはデータ１３４は、詳細なマップ情報（例えば、道路の形状および高度、車線境界線、交差点、横断歩道、制限速度、信号機、建物、標識、リアルタイムの交通情報、植生、または他のこのような物体ならびに情報を識別する非常に詳細なマップ）を記憶し得る。すなわち、この詳細なマップ情報は、道路およびこれらの道路の速度制限（法定最高速度）を含む車両の予想環境の形状を画定し得る。さらに、このマップ情報は、所与の位置においてどの通行方向が優先通行権を有するかを決定するために知覚システム１７２から受信されたリアルタイムの情報と共にコンピューティングデバイス１１０によって使用され得る、信号機、停止標識、譲れの標識などのような交通規制に関する情報を含み得る。

［0036］マップ情報は、完全に画像ベース（例えば、ラスター）である必要はない。例えば、マップ情報は、１つまたは複数の道路グラフまたは情報（例えば、道路、車線、交差点、およびこれらの特徴間の接続）のグラフネットワークを含み得る。各々の特徴は、グラフデータとして記憶され、地理的位置のような情報に関連付けられ得、各々の特徴が他の関連特徴に関係しているかどうかに関係なく、例えば、一時停止標識は、道路および交差点などに関係し得る。いくつかの実施例では、関連データは、特定の道路グラフの特徴の効果的な参照を可能にするために、道路グラフのグリッドベースの指標を含み得る。

［0037］測位システム１７０は、マップ上もしくは地球上の車両の相対的もしくは絶対的な位置を決定するために、コンピューティングデバイス１１０によって使用され得る。例えば、測位システム１７０は、デバイスの緯度、経度、および／または海抜位置を決定するために、ＧＰＳ受信機を含み得る。レーザベースの位置決めシステム、慣性援用ＧＰＳ、またはカメラベースの位置決めシステムのような他の位置測定システムも車両の位置を特定するのに使用され得る。車両の位置は、緯度、経度、および海抜のような絶対的地理位置、さらにすぐ周囲の他の自動車に対する位置のような相対的位置情報を含み得、相対的位置情報は、絶対的地理位置よりも高い精度で決定され得ることが多い。

［0038］測位システム１７０はさらに、加速度計、ジャイロスコープまたは車両の方向および速度またはそれらの変化を決定するための別の方向／速度検出デバイスのようなコンピューティングデバイス１１０と通信する他のデバイスを含み得る。単なる一例として、加速装置は、重力の向きまたはそれに対して垂直な平面に対するピッチ、ヨー、ロール（またはその変化）を決定し得る。該装置はさらに、速度上昇または低下およびそのような変化の向きを追跡し得る。本明細書で述べた該装置による位置および姿勢のデータの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイスおよびこれらの組み合わせに対して自動的に行われ得る。

［0039］知覚システム１７２はさらに、他の車両、道路の障害物、信号機、標識、樹木などのような車両の外側にある物体を検出するための１つまたは複数のコンポーネントを含み得る。例えば、知覚システム１７２は、コンピューティングデバイス１１０によって処理され得るデータを記録する、レーザ、ソーナ、レーダ、カメラおよび／または他の検出装置を含み得る。車両が自動車のような小型の乗用車である場合、自動車は、屋根または他の都合の良い場所に取りつけられたレーザまたは他のセンサを含み得る。例えば、車両の知覚システムは、物体およびその特性（例えば、位置、姿勢、サイズ、形状、種類、移動の方向および速度など）を検出するために、ＬＩＤＡＲ、ソーナ、レーダ、カメラなどのような様々なセンサを使用し得る。センサからの生データおよび／または上記の特性は、コンピューティングデバイス１１０によって処理するための記述関数またはベクトルに定量化され得る、またはまとめられ得る。以下でさらに詳細に説明するように、コンピューティングデバイス１１０は、車両の位置を決定するための測位システム１７０、およびその位置に安全に到達するのに必要となったときに物体を検出して物体に対応するための知覚システム１７２を使用し得る。

［0040］図２Ａ〜図２Ｄは、幅寸法Ｗ１（図２Ｃに示されている）、長さ寸法Ｌ１（図２Ａおよび図２Ｄに示されている）、および高さ寸法Ｈ１（図２Ａおよび図２Ｄに示されている）を有する車両１００の外観図の例である。図示されているように、車両１００は、ヘッドライト２０２、フロントガラス２０３、テールランプ／方向指示器２０４、リヤウィンドウ２０５、ドア２０６、サイドミラー２０８、車輪２１０、方向指示器／駐車灯２１２のような典型的な車両の多くの特徴を含む。ヘッドライト２０２、テールランプ／方向指示器２０４、および方向指示器／駐車灯２１２は、シグナリングシステム１６６に関連付けられ得る。さらに、ライトバー２０７もシグナリングシステム１６６に関連付けられ得る。

［0041］車両１００はさらに、知覚システム１７２のセンサを含む。例えば、ハウジング２１４は、２６０度またはそれより狭い視野を有するための１つまたは複数のレーザ素子、および１つまたは複数のカメラ装置を含み得る。ハウジング２１６、２１８は、例えば、１つまたは複数のレーダおよび／またはソーナ装置を含み得る。さらに、知覚システム１７２の装置は、テールランプ／方向指示器２０４および／またはサイドミラー２０８のような典型的な車両コンポーネントに組み込まれ得る。これらのレーダ装置、カメラ装置、およびレーザ装置は、知覚システム１７２の一部としてこれらの装置からのデータを処理し、コンピューティングデバイス１１０にセンサデータを提供する処理コンポーネントに関連付けられ得る。

［0042］コンピューティングデバイス１１０は、様々なコンポーネントを制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス１１０は、詳細なマップ情報、知覚システム１７２、およびルート決定システム１６８からのデータを使用して、完全に自律的に車両を目的位置までナビゲートし得る。車両を操縦するために、コンピューティングデバイス１１０は、車両に、（例えば、加速システム１６２によって動力系１７４に供給される燃料または他のエネルギーを増加させることによって）加速させ、（例えば、減速システム１６０によって、動力系１７４に供給される燃料を減少させることによって、ギアチェンジすることによって、および／またはブレーキをかけることによって）減速させ、（例えば、操舵システム１６４によって車両１００の前輪または後輪の方向を変えることによって）方向転換させ、（例えば、シグナリングシステム１６６の方向指示器を点灯させることによって）この方向転換を伝えさせ得る。したがって、加速システム１６２および減速システム１６０は、車両の動力系１７４と車両の車輪との間の様々なコンポーネントを含むドライブトレインの一部であり得る。さらに、これらのシステムを制御することによって、コンピューティングデバイス１１０はさらに、車両を自律的に操縦するために、車両のドライブトレインを制御し得る。

［0043］知覚システム１７２および／またはコンピューティングデバイス１１０は、物体の過去の観測値を使用して、物体の将来の軌跡を予測し得る。例えば、物体の速度、姿勢／進行方向、位置、状態（すなわち、方向指示器など）は、物体が存在しそうな将来の一連の位置および時間を予測するのに使用され得る。これらの位置および時間が組み合わさって、将来の短時間の物体の軌跡を形成し得る。

［0044］以下でさらに詳細に説明するように、知覚システム１７２はさらに、物体に対応するセンサデータ点の位置を表す境界ボックスを提供し得る。さらに、知覚システムは、境界ボックスの周囲のエリア内の点の全て、場合によっては、さらに境界ボックスの周囲のエリア内の任意の点を識別する情報を提供し得る。

［0045］データ１３４は、境界ボックスのサイズまたは寸法を予想車輪位置に関連付けるデータベース、テーブルまたは他の編成システムを含み得る。例えば、異なる境界ボックスが、異なる相対位置にある車輪を有し得る異なるサイズの物体を収容し得る。例えば、所与の境界ボックスの面のサイズ（一例として、８フィート（約２．４３８ｍ）×５フィート（約１．５２４ｍ））に対して、予想車輪位置は、物体の前端に対応する境界ボックスの隅から測定され、隅から後端まで所定のサイズ（一例として、２フィート４インチ（約０．７１１ｍ））を有し得る。場合によっては、予想車輪位置はさらに、特定の物体の種類によって、例えば、物体がバス、トラック、乗用車、オートバイ、自転車などであるかどうかによって、画成され得る。これらの実際の寸法は、異なるサイズおよび／または種類の物体の実際の観測車輪位置に基づき得る。
方法例

［0046］図面に示されている上述の動作に加えて、様々な動作について説明する。以下の動作は以下で説明する正確な順序で実行される必要はないことを理解されたい。むしろ、様々なステップが、異なる順序で、もしくは同時に処理され得、さらにステップが追加され得る、または省略され得る。

［0047］コンピューティングデバイス１１０は、車両を目的位置までのルートに沿って自律的に制御するために、必要なシステムを始動させ得る。例えば、ルート決定システム１６８は、データ１３４のマップ情報を使用してマップ情報の車線セグメントのセットに沿った目的位置までの進路またはルートを決定し得る。コンピューティングデバイス１１０は、その後、上述したように、目的地に向けてルートに沿って車両を自律的に（または自律走行モードで）操縦し得る。

［0048］コンピューティングデバイス１１０は、ルートに沿って操縦するために、車両の軌跡を周期的に決定し得る。例えば、コンピューティングデバイスは、基線としてルートを使用することで、詳細なマップ情報を使用してルートに沿って操縦し、歩行者、自転車運転者、および歩行者のような他の道路使用者との近接相互作用を避けるために、車両の将来の位置セットを作成し得る。これらの将来位置は、ルートに沿って操縦するために車両の操舵、加速および／または減速を誘導するのにコンピューティングデバイスによって使用され得る。

［0049］例えば、図３は、道路３００に沿ってコンピューティングデバイス１１０によって操縦される車両１００の一例を示している。この例では、道路は、北行き車線３１０、３１２と、南行き車線３１４、３１６とを含む。車両１００は、北行き車線３１０を進んでおり、別の車両３２０に近付きつつある。車両３２０は、北行き車線３１２を進んでいる。

［0050］車両１００が進むにつれて、知覚システム１７２のセンサは車両の環境内にある様々な物体を検出し得る。図４は、道路４００に沿って知覚システム１７２によって検出された物体および図３の道路３００の図に対応する車両１００の位置を示す図である。この例では、知覚システム１７２は、車線４１０、４１２、４１４、４１６を画定する車線境界線４０１、４０２、４０３、４０４、４０５、４０６を検出し得る。この例では、車線４１０、４１２、４１４、４１６はそれぞれ、北行き車線３１０、３１２、および南行き車線３１４、３１６に対応し得る。さらに、知覚システム１７２は、車両３２０も検出している。

［0051］車両の知覚システムは、各々の物体に対して、セグメント化を使用して物体に対応する特定のセンサデータ点を識別し得る。このことはさらに、その物体の寸法を表す境界ボックスの決定を含み得る。このことは、任意の周知のセグメント化および／または境界ボックス技術を使用して行われ得る。例えば、図４に示されているように、車両３２０の位置は、知覚システム１７２が物体に対応するように決定したデータ点を含む境界ボックス４２０によって表される。図５Ａは、図４に示されている車両１００および境界ボックス４２０の相対位置を上から見た図である。矢印５１０は、車両３２０の現在のまたは観測された進行方向を示し、したがって、境界ボックス４２０の進行方向を示している。図５Ｂは、境界ボックス４２０の側面図である。矢印５２０、５２２は、図５Ａ、５Ｂの境界ボックス４２０の対応する面を特定する。距離Ｘ、Ｙ、Ｚは、境界ボックス４２０の幅、長さ、高さを表す。

［0052］識別された物体の特性およびこれらの物体のセンサデータ点（および、場合によっては、境界ボックス）を識別するセグメント化情報は、知覚システム１７２によってコンピューティングデバイス１１０に提供され得る。一例として、これらの特性は、位置（ＧＰＳ座標および／または車両に対する位置）、サイズ、形状、寸法、速度、姿勢、高度、種類（乗用車、トラクタトレーラ、自転車、歩行者）、道路表面の特徴（車線境界線など）などを含み得る。さらに、知覚システムは、物体の周囲のセンサデータ点を識別するが、セグメント化に従って具体的には物体に関連付けられていない情報を提供し得る。

［0053］知覚システムおよび／または車両のコンピューティングデバイスは、物体の過去の観測値を使用して、物体の将来の軌跡を予測し得る。例えば、物体の速度、姿勢／進行方向、位置、状態（すなわち、方向指示器など）、または過去の推定軌跡が、物体が存在しそうな将来の一連の位置および時間を予測するのに使用され得る。これらの位置および時間が組み合わさって、将来の短時間の物体の軌跡を形成し得る。図３および図４の実施例に関して、知覚システム１７２は、車両３２０または境界ボックス４２０の物体は、北行き車線３１２または車線４１２を進んだ物体の過去の履歴に基づいて、北行き車線３１２または車線４１２に沿って北へ進み続け得る。

［0054］例えば、物体が車線内に位置し、少なくとも特定のサイズの物体である、特定の形状を有する、特定の速度で移動している、特定の種類の物体であるなどの理由から、物体の特性が車輪を有する物体に対応すると決定されると、コンピューティングデバイスは、物体の車輪の位置を推定しようと試み得る。繰り返すが、この決定は、知覚システム１７２から受信された特性に基づいてコンピューティングデバイス１１０によって行われ得る。

［0055］車両のコンピューティングデバイスは、境界ボックスの寸法および／または物体のサイズを使用して、物体の車輪の位置に対応するエリアを推定し得る。車両のコンピューティングシステムは、物体の車輪（前輪または後輪）の位置を推定するために、データ１３４の予想車輪位置にアクセスして、境界ボックス４２０の寸法（Ｘ、Ｙ、Ｚ）に対応する予想車輪位置を識別し得る。予想車輪位置は、境界ボックスの特定の隅に対してある一定の距離に位置する車輪の幅に対応する高さを有する円板のような２Ｄ面積または円柱のような３Ｄ容積に対応し得る。境界ボックスの寸法を考慮して、コンピューティングデバイス１１０は、物体（車両３２０）の車輪が位置しそうな境界ボックスのエリア（２Ｄまたは３Ｄ）を識別し得る。

［0056］境界ボックスの寸法の他に、知覚システム１７２からの他の特性を使用して、データ１３４からの予想車輪位置が識別され得る。一例として、境界ボックス４２０が乗用車に対応するものとして識別される場合、データ１３４から識別された予想車輪位置は、境界ボックス４２０がバスまたは自転車に対応するものとして識別される状況とは異なり得る。

［0057］図６Ａおよび図６Ｂに示されているように、境界ボックス４２０の前輪の予想車輪位置を表すエリア６１０は、円柱である。円柱の１つの円形端面６１２は、境界ボックスの表面Ｓ（図６Ｂに示されているように車輪位置が対応する境界ボックスの面）の外側に、または境界ボックスの表面Ｓの外側にわずかな距離（例えば、およそ２〜３インチ（０．０５０〜０．０７６ｍ））離間して位置する。この点に関して、意図的にまたは非意図的に境界ボックス４２０から除外されたかもしれないが境界ボックスのわずかな距離（例えば、およそ２〜３インチ（０．０５０〜０．０７６ｍ））の範囲内に残っている物体または表面を表す他のデータ点も、まだ車輪に対応する可能性がある点の見落としを防ぐために解析に含められ得る。

［0058］また、この例では、矢印６２０も、境界ボックス４２０の進行方向を表し、したがって、図５の矢印５１０に対応する。この例では、エリアは、知覚システム１７２に認識される境界ボックスの隅に対応し、車両の進行方向に向かって車両の前部に最も近い隅Ｃからの距離Ｄに位置する半径Ｒおよび高さＨの円柱として識別され得る。単なる例として、小型乗用車では、Ｒは１２．２５インチ（約０．３１１ｍ）であり得、Ｈは７．３インチ（約０．１８５ｍ）であり得、Ｄは３２．４１３インチ（約０．８２４ｍ）であり得る。

［0059］前輪の例を使用すると、一般に、物体が車両のセンサに向かって進んでいない限り、１つの前輪のみがセンサに認識されるので、境界ボックスに対するこの前輪の位置は、物体の進行方向（例えば、物体の過去の軌跡から）と予想車輪位置（境界ボックスのサイズおよび／または物体の寸法を使用して識別された）との組み合わせに基づいて推定され得る。すなわち、（物体の過去の軌跡から決定された）境界ボックス４２０の進行方向を表す矢印６２０（矢印５１０に対応する）は、車両が一般的に前方に向かって進んでいると仮定して、車両の前部を識別するのに使用され得る。

［0060］エリア内のデータ点は、その後、エリア内の点の平均方位を識別するために解析され得る。例えば、データ点は、単純な平面フィッティングアルゴリズムを使用して平面にフィッティングされ得る。図７は、エリア６１０を示す境界ボックス４２０を上から見た図である。この例では、エリア６１０内の点が平面７１０にフィッティングされる。平面７１０と境界ボックスの表面Ｓの平面との角度差、または角度θが、境界ボックス４２０の物体（ここでは、車両３２０）の前輪の姿勢であることが推定され得る。

［0061］さらに、物体の過去の軌跡を使用して、前輪の姿勢を知るまたは推定することができる。例えば、物体の過去の進行方向は、データ点を平面にフィッティングさせるときのシード（開始角度）として使用され得る。あるいは、過去の軌跡のみを使用して、車両の車輪の姿勢を決定することができる。

［0062］当然、エリア内のデータ点の数は、物体の前輪と車両のセンサとの間の相対位置、距離および角度に依存する。この点に関して、物体が車両に近いほど、また車輪が車両センサに対してより垂直に近づくほど、車輪表面から受信されそうなセンサデータ点は多くなり、推定がより正確になり得る。

［0063］推定は、車両の将来の進路の曲率（距離と共に変化する姿勢の変化）またはヨーレート（時間と共に変化する姿勢の変化）の指標として使用され得る。例えば、将来の車輪姿勢を物体の速度と組み合わせることで、物体の軌跡が決定され得る。この点に関して、推定は、物体の将来の進行方向、物体の将来の軌跡を決定するのに、あるいは、物体の異なる将来の軌跡の可能性または確実性を増大させる、または低下させるのに使用され得る。

［0064］予測進行方向または軌跡は、その後、車両の運転決定を行うのに使用され得る。例えば、物体が隣の車線内にあるとき、予測進行方向は、物体が車両に車線に向かって移動しつつあることをかなり早い段階で示すものであり得る。一例として、図８に戻ると、角度θがおよそ１５度のような比較的大きい角度である場合、これは、物体（車両３２０）を北行き車線４１０に向かわせる境界ボックス４２０の将来の進行方向または将来の軌跡８１０を示し得る。この例では、境界ボックスの将来の軌跡（将来の期間にわたる進行方向および速度）は、物体が所定の期間内（例えば、およそ１秒）で車線４１０に進入することを示し得る。それに応じて、車両のコンピューティングデバイスは、加速するように、減速するように、または衝突もしくは車両３２０に近付き過ぎるのを防ぐために必要に応じて車線変更するように、車両を制御し得る。極端な場合、例えば、物体が不規則に進行方向を変更しているように思われる場合、車両のコンピューティングデバイスは、車両の乗客に、可能であれば、操舵、制動、または加速の動作を制御するようにさらに通知し得る。あるいは、車両が半自律モードもしくは手動モードで制御されている場合、車両の運転手を支援するために通知が送られ得る。

［0065］あるいは、エリアは、車輪位置のモデルを使用して決定され得る。この点に関して、境界ボックスのサイズ、位置、および形状、さらにデータ点の位置を使用して、車輪の単純な一定の車輪半径または境界ボックスのサイズに依存する複雑な車輪半径から車輪の姿勢を作成するモデルにフィッティングさせ得る。この例では、モデルは、オペレータがモデル用のデータをトレーニングするために正例として車輪に対応するデータ点をマーキングして識別する機械学習を使用してトレーニングされ得る。

［0066］上述した特徴は、距離、方向、および強度の情報を提供するレーザデータ点に関連し得る。この点に関して、強度情報は、車輪の外側リムを示すためのキューとして使用され得る（すなわち、黒い車輪は低反射率を有し、したがって、低強度を有する）。この点に関して、エリアは、物体の１つまたは複数の画像を使用して推定され得、その後、車輪の姿勢を識別するのにレーザデータが使用され得る。

［0067］同様に、知覚システムがカメラデータを提供する場合、道路表面の上にあり、境界ボックスの位置に最も近い黒い物体の位置が、車輪の位置を示すためのキューとして使用され得る。場合によっては、可能性のある車輪位置を認識し、さらに、例えば、車輪の２枚以上の画像からの３Ｄモデル推定および／またはレーザデータを使用して画像用に生成された３Ｄモデルデータを使用して車両の車輪姿勢を推定するのに、画像のみで十分である場合もある。画像から車輪姿勢を計算する別の方法は、画像内の車輪の幅と高さのアスペクト比を決定するステップを含み得る。このアスペクト比は、車輪姿勢に対応し得る。このアスペクト比を他のセンサデータおよび車輪の単数または複数の画像の画像処理から決定された物体の姿勢と組み合わせて、相対車輪姿勢が計算され得る。
車輪姿勢の推定は、非常にゆっくり移動している車両さらに停止車両に対しても有効であり得る。例えば、駐車場から出ようとしている物体は、駐車場から出るために物体の車輪に角度を付けているかもしれないが、実際には移動し始めていないかもしれない。したがって、車輪の角度を使用して物体の将来の軌跡を推定することは物体の軌跡を正確に予測する可能性が高いが、そうでなければ、コンピューティングデバイスは、物体は静止した状態のままであると予測する可能性がある。別の例では、隣の車線で停止している所与の車両は、例えば、その自動車の運転手の気が変わって、ルートを変更して車両１００の車線を使用したいと思い、車両１００の車線への変更を試みる場合がある。このような場合、所与の車両の側面に対する車輪の広角度は、所与の車両の過去の軌跡よりも、所与の車両が進もうとする場所に関するより多くの情報を提供し得る。このような静止した状態での車線変更または低速での車線変更は、前輪に十分に角度が付けられた一般的なケースである。

［0068］図９は、物体の将来の進行方向を決定するために車両１００のコンピューティングデバイス１１０のような車両の１つまたは複数のコンピューティングデバイスの１つまたは複数のプロセッサによって実行され得るフロー図９００の一例である。この例では、ブロック９１０において、車両の環境内の物体を表す境界ボックスおよび物体に対応するセンサデータ点の位置を識別する情報を含むセンサデータが受信される。ブロック９２０において、境界ボックスのサイズに基づいて物体の前輪に対応するエリアが識別される。ブロック９３０において、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢が決定される。ブロック９４０において、推定に基づいて物体の将来の進行方向が決定される。

［0069］特に明記しない限り、上述の代替の実施例は互いに排他的でなく、固有の利点を達成するために様々な組み合わせで実施され得る。上述した特徴の上記および他の変形形態および組み合わせは、請求項によって定義された対象から逸脱せずに利用され得、実施形態の上記説明は、請求項によって定義された対象を制限するものではなく、単なる例であると解釈すべきである。さらに、本明細書に記載されている実施例および「〜のような」、「〜を含む」などのような表現の節の提示は、請求項に係る対象を特定の実施例に制限するものであると解釈すべきでなく、むしろ、実施例は、多くの可能な実施形態のうちの単なる１つの実施形態を例示するものである。また、異なる図面内の同一の参照番号は、同一または同様の要素を特定し得る。

Claims

物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、前記物体の種類に対応する車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて前記物体の進行方向を決定するステップと
を含む方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて前記物体の進行方向を決定するステップと
を含み、
前記進行方向を決定するステップは、前記エリア内の位置を有する前記センサデータ点のいずれかを第１の平面にフィッティングさせるステップを含む、方法。
前記進行方向を決定するステップは、前記物体を表す境界ボックスの面の第２の平面と前記第１の平面との角度差を決定するステップを含む、請求項２に記載の方法。
前記境界ボックスは、前記物体の推定寸法を表す、請求項３に記載の方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて前記物体の進行方向を決定するステップと
を含み、
前記車輪の前記予想位置は、円板のような二次元面積に対応する、方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて前記物体の進行方向を決定するステップと
を含み、
前記車輪の前記予想位置は、前記物体を表す境界ボックスの隅に対してある一定の距離に位置する前記車輪の幅を有する円柱のような三次元体積に対応する、方法。
前記物体の前記種類は、乗用車、トラクタトレーラ、バスまたは自転車を含む、請求項１に記載の方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて前記物体の進行方向を決定するステップと
を含み、
前記エリア内にある前記センサデータの前記センサデータ点は、前記物体を表す境界ボックスの外側にあるセンサデータ点を含む、方法。
前記進行方向は、前記物体の予測される将来の進行方向である、請求項１に記載の方法。
前記決定された進行方向に基づいて、前記物体が車線を変更しつつあることを予測することをさらに含む、請求項１に記載の方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、前記物体の種類に対応する車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて、前記物体が車線を変更しつつあることを予測するステップと
を含む方法。
前記エリア内にある前記センサデータの前記センサデータ点に基づいて前記物体の進行方向を決定するステップをさらに含み、前記物体が車線を変更しつつあることを予測するステップは、前記進行方向にさらに基づく、請求項１１に記載の方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて、前記物体が車線を変更しつつあることを予測するステップと、
を含み、
前記進行方向を決定するステップは、前記エリア内の位置を有する前記センサデータ点のいずれかを第１の平面にフィッティングさせるステップを含む、方法。
前記進行方向を決定するステップは、前記物体を表す境界ボックスの面の第２の平面と前記第１の平面との角度差を決定するステップを含む、請求項１３に記載の方法。
前記境界ボックスは、前記物体の推定寸法を表す、請求項１４に記載の方法。
前記進行方向は、前記物体の予測される将来の進行方向である、請求項１１に記載の方法。
前記物体の前記種類は、乗用車、トラクタトレーラ、バスまたは自転車を含む、請求項１１に記載の方法。
物体の将来の進行方向を決定する方法であって、
１つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記１つまたは複数のプロセッサによって、車輪位置のモデルを使用して、前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記１つまたは複数のプロセッサによって、前記エリア内にある前記センサデータの前記センサデータ点に基づいて、前記物体が車線を変更しつつあることを予測するステップと
を含み、
前記エリア内にある前記センサデータの前記センサデータ点は、前記物体を表す境界ボックスの外側にあるセンサデータ点を含む、方法。