JP7326334B2

JP7326334B2 - 牽引車両とトレーラとを位置合わせする方法およびシステム

Info

Publication number: JP7326334B2
Application number: JP2020560943A
Authority: JP
Inventors: ホセラミレスリャノスエドゥアルド
Original assignee: Continental Automotive Systems Inc
Current assignee: Continental Automotive Systems Inc
Priority date: 2018-05-01
Filing date: 2019-05-01
Publication date: 2023-08-15
Anticipated expiration: 2039-05-01
Also published as: US20190339708A1; US11175677B2; CN112004696A; EP3787912B1; EP3787912A1; WO2019213323A1; JP2021519998A; CN112004696B

Description

本開示は、牽引車両とトレーラとを位置合わせする方法および装置に関する。

背景技術
トレーラは、一般に、動力を有する牽引車両によって牽引される、動力を有しない車両である。トレーラは、ユーティリティトレーラ、ポップアップ式キャンパ、トラベルトレーラ、家畜トレーラ、平台型トレーラ、閉鎖型カーキャリアおよびボートトレーラなどであってよい。牽引車両は、自動車、クロスオーバ、トラック、バン、ＳＵＶ（sports-utility-vehicle）、ＲＶ（recreational vehicle）またはトレーラに連結されてトレーラを牽引するように構成された別の任意の車両であってよい。トレーラは、トレーラヒッチを使用して、動力を有する車両に連結可能である。受け手側のヒッチは、牽引車両に取り付けられ、接続を形成するためにトレーラヒッチに接続される。トレーラヒッチは、ボールおよびソケット、第五輪およびがん首、またはトレーラジャックであってよい。別の連結機構も使用可能である。いくつかの実施例では、トレーラと、動力を有する車両との間の機械的接続に加え、トレーラは、牽引車両に電気的に接続されている。したがってこの電気的な接続により、トレーラは、動力を有する車両のリアライト回路から給電されることが可能であり、これにより、トレーラは、動力を有する車両のライトと同期するテールライト、方向指示器およびブレーキライトを有することができる。

センサ技術における最近の進歩は、車両用の改良されたセーフティシステム、例えば車両・トレーラ接続プロセスに至っている。したがって、ヒッチングプロセス中に牽引車両とトレーラとを位置合わせ可能なシステムを提供することは望ましい。

概要
本開示の一態様により、牽引車両と、この牽引車両の後ろに位置付けられたトレーラとを位置合わせする方法が提供される。この方法には、データ処理ハードウェアにより、牽引車両の後方環境の点群マップ(point cloud map)を特定することが含まれる。この後方環境にはトレーラが含まれる。この方法にはまた、データ処理ハードウェアにより、点群マップに基づいてトレーラの前面平面を特定することと、データ処理ハードウェアにより、この前面平面の法線を特定することとも含まれる。この方法にはまた、データ処理ハードウェアにより、牽引車両からトレーラへのパスを特定し、これにより、牽引車両の前後方向の軸線と、前面平面の法線とが位置合わせされるようにすることも含まれる。

本開示の実現形態には、以下の選択的な特徴が１つ以上含まれていてよい。いくつかの実現形態において、この方法には、データ処理ハードウェアと通信して運転システムに命令を送信することが含まれる。これらの命令は、上記のパスに沿って後方向に牽引車両を自動運転させる。

いくつかの実施例において、この方法にはさらに、牽引車両の後部に位置付けられたカメラから、かつデータ処理ハードウェアと通信して１つ以上の画像を受信することが含まれる。この方法にはまた、１つ以上の画像内のトレーラ表現を含む関心領域（ＲＯＩ：region of interest）を識別することが含まれていてよい。トレーラ表現は、牽引車両の後ろに位置付けられたトレーラを表す。いくつかの実施例において、牽引車両の後方環境の点群マップの特定には、ＲＯＩだけに関連付けられた点群マップの特定が含まれる。

この方法にはさらに、牽引車両の後部に位置付けられたカメラから、かつデータ処理ハードウェアと通信して画像を受信することが含まれてよい。この方法にはまた、牽引車両が移動している間に、受信された画像からリアカメラの少なくとも３つの３次元位置を特定することが含まれていてもよい。この方法にはまた、少なくとも３つの３次元位置に基づいてカメラ平面を特定することも含まれていてもよい。点群マップに基づくトレーラの前面の特定には、この点群マップ内の点のクラスタを特定することが含まれていてよい。いくつかの実施例において、この方法には、クラスタ毎にこのクラスタの中心を特定することが含まれる。この方法にはまた、クラスタの中心をカメラ平面に投影することも含まれていてよい。この方法にはまた、カメラの中心に対して最短距離を有する中心に関連付けられたクラスタを特定することも含まれていてよい。この方法にはまた、カメラの中心に対して最短距離を有する、点のクラスタの複数の点に基づいて前面平面を特定することも含まれていてよい。いくつかの実施例において、この方法にはさらに、カメラの中心に対して最短距離を有する中心に関連付けられたクラスタの点をカメラ平面に投影することが含まれている。この方法にはまた、投影された点に関連付けられた１つの直線を特定することも含まれていてよい。この方法にはまた、投影されたすべての点を含むセグメントを特定するために、投影された点をこの直線に投影することも含まれていてよい。法線に沿いかつこのセグメントの中心点を通る直線が、位置合わせ方向を示す。点群マップの特定には、ＶＯ（visual odometry）アルゴリズム、ＳＬＡＭ（simultaneous localization and mapping）アルゴリズム、およびＳｆＭ（structure from motion）アルゴリズムのうちの１つを実行することが含まれていてよい。

本開示の別の一態様により、牽引車両と、この牽引車両の後ろに位置付けられたトレーラとを位置合わせするシステムが提供される。このシステムには、データ処理ハードウェアと、このデータ処理ハードウェアと通信するメモリハードウェアとが含まれている。このメモリハードウェアには、データ処理ハードウェア上で実行される場合に、このデータ処理ハードウェアに上述の方法を含む動作を実行させる命令が格納されている。

本開示の１つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴および利点は、説明および図面ならびに特許請求の範囲から明らかになろう。

トレーラから特定の距離にある例示的な牽引車両の概略平面図である。トレーラに位置合わせされた例示的な牽引車両の概略平面図である。位置合わせシステムを有する例示的な牽引車両の概略図である。図１Ａおよび１Ｂのトレーラの斜視図である。画像を取り込むカメラの位置に基づく例示的なトレーラ画像の斜視図である。画像を取り込むカメラの位置に基づく別の例示的なトレーラ画像の斜視図である。画像を取り込むカメラの位置に基づくさらに別の例示的なトレーラ画像の斜視図である。点群マップを生成するためにトレーラの画像を取り込む例示的なカメラの概略図である。カメラ平面および道路平面の概略図である。カメラ平面および道路平面の別の概略図である。クラスタリングアルゴリズムによる例示的な点群マップの概略図である。牽引車両と、この牽引車両の後ろに位置付けられたトレーラとを位置合わせするための動作の例示的な構成を示す概略図である。

種々異なる図における同様の参照符号は、同様の要素を示す。

詳細な説明
自動車、クロスオーバ、トラック、バン、ＳＵＶ（sports-utility-vehicle）およびＲＶ（recreational vehicle）のような、しかしこれらに限定されない牽引車両は、トレーラを牽引するように構成されていてよい。牽引車両は、トレーラヒッチによってトレーラに接続される。ユーザディスプレイのようなユーザインタフェースに表示される、トレーラの１つ以上の表現から識別されるトレーラに向かって自律的に後退可能な牽引車両を有することは望ましい。さらに、ヒッチングプロセス中に牽引車両とトレーラとを位置合わせ可能な位置合わせシステムを有することも望ましい。この位置合わせシステムは、牽引車両またはトレーラの初期姿勢に対して不変である。

図１～７を参照すると、いくつかの実装形態において、牽引車両１００の運転者が望むのは、牽引車両１００の後ろに位置付けられたトレーラ２００を牽引することである。牽引車両１００は、選択されたトレーラ２００、２００ａ～ｃの表現に関連付けられた、運転者選択１３４の指示を受け取るように構成可能である。いくつかの実施例において、運転者は、選択されたトレーラ２００、２００ａ～ｃに向かって牽引車両１００を操縦するが、別の複数の実施例において、牽引車両１００は、選択されたトレーラ２００、２００ａ～ｃに向かって自動運転する。牽引車両１００は、例えば、ｘ、ｙおよびｚ成分を有する運転コマンドに基づいて、道路表面１０にわたって牽引車両１００を操縦する運転システム１１０を含んでいてよい。図示したように運転システム１１０には、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃおよび左後輪１１２、１１２ｄが含まれる。運転システム１１０には、別の車輪構成も含まれていてよい。運転システム１１０はまた、それぞれの車輪１１２、１１２～ｄに関連付けられたブレーキを含むブレーキシステム１１４と、牽引車両１００の速度および方向を調整するように構成されている加速システム１１６とを含んでいてもよい。さらに、運転システム１１０には、それぞれの車輪１１２、１１２ａ～ｄに関連付けられたタイヤと、タイヤ空気と、ばねと、ショックアブソーバと、牽引車両１００をその車輪１１２、１１２ａ～ｄに接続しかつ牽引車両１００と車輪１１２、１１２ａ～ｄとの間の相対運動を可能にする連結機構とを含むサスペンションシステム１１８が含まれていてよい。サスペンションシステム１１８は、牽引車両ヒッチ１２０（例えば車両ヒッチボール１２２）と、トレーラヒッチ２１０（例えばトレーラヒッチカプラ２１２）とを位置合わせできるように、牽引車両１００の高さを調整するように構成されていてよく、これにより、牽引車両１００とトレーラ２００と間の自律的な接続が可能になる。

牽引車両１００は、牽引車両１００によって定められる互いに垂直な３つの軸、すなわち横方向軸線Ｘ、前後方向の軸線Ｙおよび中央の垂直方向の軸線Ｚに対する相対運動のさまざまな組み合わせによって道路表面にわたって移動可能である。横方向軸線Ｘは、牽引車両１００の右側と左側との間に延在している。前後方向の軸線Ｙに沿った前方の運転方向は、Ｆで示されており、前進移動とも称される。さらに、前後方向の軸線Ｙに沿った後尾または後方への運転方向はＲで示されており、後方移動とも称される。サスペンションシステム１１８により、牽引車両１００のサスペンションが調整される場合、牽引車両１００は、Ｘ軸および／またはＹ軸の周りに傾斜するか、または中央の垂直方向の軸線Ｚに沿って移動可能である。

牽引車両１００は、ユーザインタフェース１３０を含んでいてよい。ユーザインタフェース１３０は、１つ以上の入力メカニズムまたはスクリーンディスプレイ１３２（例えばタッチスクリーンディスプレイ）を介して、運転者から１つ以上のユーザコマンドを受信し、かつ／または１つ以上の通知を運転者に表示する。ユーザインタフェース１３０は、車両コントローラ１５０と通信し、この車両コントローラ１５０それ自体は、センサシステム１４０と通信する。いくつかの実施例では、ユーザインタフェース１３０により、牽引車両１００の周囲の画像が表示され、これにより、１つ以上の動作の実行を開始する１つ以上のコマンドが（運転者から）ユーザインタフェース１３０によって受信されることになる。いくつかの実施例では、ユーザディスプレイ１３２により、牽引車両１００の後ろに位置付けられたトレーラ２００、２００ａ～ｃの１つ以上の表現１３６，１３６ａ～ｃが表示される。この場合、運転者は、トレーラ２００、２００ａ～ｃの１つの表現１３６、１３６ａ～ｃを選択し、これにより、選択された表現１３６、１３６ａ～ｃのトレーラ２００、２００ａ～ｃに関連付けられた、位置合わせシステム１６０による位置合わせをコントローラ１５０に実行させる。牽引車両１００の後ろに位置付けられているトレーラ２００、２００ａ～ｃの１つの表現１３６、１３６ａ～ｃがユーザディスプレイ１３２によって表示されるいくつかの実施例では、コントローラ１５０は、自動的に、またはトレーラ２００、２００ａ～ｃに自律的に連結せよという運転者からの指示に応じて、１つの表現１３６、１３６ａ～ｃの１つのトレーラ２００、２００ａ～ｃに関連付けられた、位置合わせシステム１６０による位置合わせを実行可能である。車両コントローラ１５０には、コンピューティングプロセッサ１５２上で実行可能な命令を格納可能な非一時的なメモリ１５４（例えばハードディスク、フラッシュメモリ、ランダムアクセスメモリ、メモリハードウェア）と通信するコンピューティングデバイス（またはプロセッサまたはデータ処理ハードウェア）１５２（例えば１つ以上のコンピューティングプロセッサを有する中央演算処理ユニット）が含まれている。

牽引車両１００は、確実かつロバストな運転を提供するためにセンサシステム１４０を含んでいてよい。センサシステム１４０は、牽引車両１００の周囲環境の認識を作成するために、個別にまたは互いに使用され得る異なるタイプの複数のセンサを含んでいてよい。周囲環境の認識は、センサシステム１４０によって検出される対象体または障害物に基づいて運転者がインテリジェントな決定を行うのを補助するために、または牽引車両１００の自動運転中に使用される。センサシステム１４０は、１つ以上のカメラ１４２を含んでいてよい。いくつかの実装形態において、牽引車両１００には、牽引車両１００についての後方の運転パスのビューを有する画像１４３を供給するために取り付けられているリアカメラ１４２ａが含まれる。リアカメラ１４２ａは、広角パノラマまたは半球画像１４３を作成するために、大きな視覚的な歪みを形成する超広角レンズを含む魚眼レンズを含んでいてよい。魚眼カメラにより、極めて広い画角を有する画像１４３が取り込まれる。さらに、魚眼カメラによって取り込まれる画像１４３は、特徴的な凸状の非直線的な外観を有する。また牽引車両１００の後方の運転パスの画像１４３を取り込むために別のタイプのカメラも使用可能である。

センサシステム１４０は、レーダ、ソナー、ＬＩＤＡＲ（離れたターゲットの測距および／または別の情報を見つけるために散乱光の特性を測定する光学式リモートセンシングを必要とし得るLight Detection and Ranging）、LADAR（Laser Detection and Ranging）、超音波センサ、ステレオカメラなどの別のセンサを含んでいてよいが、これらのセンサには限定されない。センサ１４４は、コントローラ１５０、すなわち位置合わせシステム１６０にセンサデータ１４５を出力する。

車両コントローラ１５０は、カメラ１４２ａからの画像１４３と、センサ１４４からのセンサデータ１４５とを受信して位置合わせシステム１６０による位置合わせを実行し、３次元ワールド座標においてトレーラの前面２２０の法線方向Ｎと、トレーラ前面２２０の中心点２２２とを特定する。トレーラ前面２２０の中心点２２２は、牽引車両１００とトレーラ２００との位置合わせプロセス中、位置合わせシステム１６０によって基準点として使用される。したがって位置合わせシステム１６０は、ヒッチングプロセス中に牽引車両１００とトレーラ２００とが位置合わせされるようにする。牽引車両１００またはトレーラ２００の初期姿勢（すなわち位置および方向）は、位置合わせシステム１６０の位置合わせの実行には影響を及ぼさない。

いくかの実装形態において、位置合わせシステム１６０は、リアカメラ１４２ａから画像１４３を受信する。位置合わせシステム１６０は、ユーザインタフェース１３０に指示して、受信した画像１４３をディスプレイ１３２に表示させ、表示された画像１４３（図４Ａ～４Ｃ）内の関心領域（ＲＯＩ：region of interest）４００を選択するように運転者に求める。ＲＯＩ４００は、トレーラ２００を含むバウンディングボックスである。別の複数の実施例において、カプラ位置推定および追跡システム１６０は、画像１４３内でトレーラを識別して、ＲＯＩ４００であるバウンディングボックスによってトレーラ２００を画定するトレーラ識別アルゴリズムを含んでいてよい。

牽引車両１００が後方向Ｒにまたは前方向に移動するに連れて、画像１４３におけるトレーラ２００の見え方および寸法は変化する。したがって図４Ａ～４Ｃに示した前後方向の軸線Ｙに沿った前方向Ｆおよび後方向Ｒの運転移動中にカメラ１４２ａから受信される新たな画像１４３に基づき、画像追跡アルゴリズム１６２により、ＲＯＩ４００が更新される。いくつかの実施例では、位置合わせシステム１６０により、ＲＯＩ４００内の複数の特徴点が抽出され、これらの特徴点が追跡される。これらの特徴点の例には、トレーラ２００、カプラ２１２または牽引バー２１４のエッジ、コーナまたは小塊が含まれてよいが、これらに限定されない。

位置合わせシステム１６０には、ＲＯＩ４００内の対象体、例えばトレーラ２００（図５）のセミ・デンス／デンスの点群５００を生成する点群生成モジュール１６４が含まれている。点群は、３次元空間におけるデータ点の集合であり、より具体的には、点群には、対象体の外部表面における多くの点５０２が含まれている。図５を参照すると、カメラ１４２ａの姿勢（すなわち位置および方向）は、トレーラ２００に対して変化する。したがって牽引車両１００が移動する間にカメラの姿勢が変化するのに連れて、カメラ１４２ａは、点群マップ５００を生成するために、異なる時点にトレーラ２００の画像１４３を取り込む。例えばカメラ１４２ａにより、第１画像１４３が時点ｔ_０に取り込まれる。第１画像１４３は、ＲＯＩ４００を含み、このＲＯＩ４００それ自体は、トレーラ２００と、トレーラ２００に関連付けられた特徴点５０２（例えば２次元の特徴点）とを含む。牽引車両１００が移動するのに連れて、カメラの姿勢が変化する。それゆえに時点ｔ_１では、カメラにより、同様にＲＯＩ４００を含む第２画像１４３が取り込まれ、このＲＯＩ４００それ自体には、トレーラ２００と、トレーラ２００に関連付けられた特徴点５０２（例えば２次元の特徴点）とが含まれる。前に説明したように、画像追跡アルゴリズム１６２により、ＲＯＩ４００における特徴点５０２が追跡され、したがって第２画像１４３における特徴点５０２は、その見え方が、第１画像と比較して変化する。カメラ１４２ａは、点群生成モジュール１６４が、点群５００を生成するのに十分な特徴点５０２を有するまで画像１４３を取り込み続ける。

点群生成モジュール１６４は、点群５００の位置を特定してこれを生成するために１つ以上の技術を使用可能である。これらの技術のうちのいくつかには、ＶＯ（Visual Odometry）、ＳＬＡＭ（Simultaneous Localization and Mapping）およびＳｆＭ（Structure from Motion）が含まれるが、これらに限定されない。ＶＯ、ＳＬＡＭおよびＳｆＭフレームワークは、十分に確立された理論であり、牽引車両１００が、自己生成３次元点群マップにおいてリアルタイムに位置を特定できるようにする。ＶＯは、カメラ１４２ａから受信した画像１４３を解析することにより、トレーラ２００、カメラ１４２ａ、カプラ２１２または牽引バー２１４の位置および向きを特定する方法である。ＶＯ法は、画像特徴点５０２を抽出して、画像シーケンスにおいてこれらを追跡可能である。特徴点５０２の例には、トレーラ２００、カプラ２１２または牽引バー２１４のエッジ、コーナまたは小塊が含まれてよいが、これらに限定されない。ＶＯ法はまた、視覚入力として、画像シーケンスにおけるピクセル輝度も直接に使用可能である。ＳＬＡＭ法は、同時に１つ以上のターゲットを追跡しながら、未知の周囲環境のマップを構成または更新する。言い換えると、ＳＬＡＭ法は、牽引車両１００およびカメラ１４２ａの位置および向きを設定するために、外部情報のただ１つの供給源として、受信された画像１４３を使用し、同時にＲＯＩ４００における対象体の表現を構成する。ＳｆＭ法は、受信された画像１４３（すなわち２次元画像）に基づいて、ＲＯＩ４００における対象体の３次元構造を推定する。ＳｆＭ法は、カメラ１４２によって取り込まれる画像１４３のシーケンスに基づいて、カメラ１４２ａおよび牽引車両１００の姿勢を推定可能である。したがって点群生成モジュール１６４により、点群５００が生成され、上述の技術のうちの１つの実行に基づいてカメラの姿勢が特定される。

カプラ位置推定および追跡システム１６０には、カメラ平面６１０および道路平面６２０を特定するように構成されている平面特定モジュール１６６が含まれる。図６Ａおよび６Ｂを参照すると、いくかの実装形態において、平面特定モジュール１６６により、カメラ平面６１０および道路平面６２０が特定され、カメラ１４２ａは、このカメラ平面６１０に沿って移動する。カメラ平面６１０を特定するために、平面特定モジュール１６６は、図６Ａに示したようにカメラ１４２ａから受信した、カメラ１４２ａの少なくとも３つの前の３次元位置Ｐ_０、Ｐ_１、Ｐ_２をカメラデータ１４１として使用する。カメラデータ１４１は、固有パラメータ（例えば焦点距離、画像センサ形式と、主要点）および外因性パラメータ（例えば、３次元ワールド座標から３次元カメラ座標への座標系変換、言い換えると外因性パラメータにより、ワールド座標におけるカメラ中心の位置およびカメラの向きが特定される）とを含んでいてよい。さらにカメラデータ１４１は、（例えば車両の荷重時および無荷重時の）地面に対するカメラ１４２ａの最小／最大／平均の高さ、およびカメラ１４２ａと車両ヒッチボール１２２との間の長手方向の距離を含んでいてよい。平面特定モジュール１６６により、カメラ１４２ａの少なくとも３つの、前の３次元位置Ｐ_０、Ｐ_１、Ｐ_２の３つの点の３次元位置Ｐ_０、Ｐ_１、Ｐ_２に基づいてカメラ平面６１０が特定される。いつかの実施例では、カプラ位置推定および追跡システム１６０により、カメラ平面６１０に基づいて道路平面６２０が特定される。いくつかの実装形態では、カメラ平面６１０およびカメラデータ１４１に基づき、平面特定モジュール１６６によって道路平面６２０が特定される。というのは、道路平面６２０は、（カメラ情報１４１において供給される）地面からのカメラ１４２ａの高さによる、カメラ平面６１０のシフトだからである。この手順は、カメラ平面６１０を特定するために使用される３つの３次元点が一直線上にある場合には有益であり、この場合には、３次元点Ｐ_０、Ｐ_１、Ｐ_２によって与えられる直線に対して同一平面上にある無限個のカメラ平面６１０が存在する。

道路平面６２０を特定するために、平面特定モジュール１６６により、道路に関連付けられかつ取り込まれた２次元画像１４３から少なくとも３つの特徴点が抽出される。引き続いてカプラ位置推定および追跡システム１６０により、点群５００内でこれらの３つの特徴点の３次元位置が特定され、次にカプラ位置推定および追跡システム１６０により、これらの３つの特徴点に基づいて道路平面６２０が計算される。いくつかの実施例では、カプラ位置推定および追跡システム１６０により、道路平面６２０に基づいてカメラ平面６１０が特定される。いくかの実装形態では、道路平面６２０およびカメラ情報１４１に基づき、カプラ位置推定および追跡システム１６０により、カメラ平面が特定される。というのは、カメラ平面６１０は、（カメラ情報１４１によって供給される）地面からのカメラ１４２ａの高さによる、道路平面６２０のシフトだからである。

平面特定モジュール１６６は、牽引車両１００が後方向Ｒに自律的に移動するのに連れてリアルタイムに平面６１０、６２０を特定して更新可能であるか、または平面特定モジュール１６６により、道路が平坦であることが特定される場合、カプラ位置推定および追跡システム１６０は、平面６１０、６２０を１回だけ特定するのでよい。上述の方法は、カメラ平面６１０または道路平面６２０を特定するために３つの点を使用する。しかしながらいくつかの実施例では、平面特定モジュール１６６は、平面６１０、６２０を特定するために４つ以上の点に依拠してよい。この場合、平面６１０、６２０を特定するために、平面特定モジュール１６６により、最小二乗法、ＲＡＮＳＡＣ（Radom Sample Consensus）法、サポートベクタマシン（ＳＶＭ：Support Vector Machine）法、またはこれらのアルゴリズムの任意の変形形態が使用される。平面６１０、６２０を特定するために４つ以上の点を使用することにより、平面特定モジュール１６６は、異常値に対してよりロバストになる。

位置合わせシステム１６０には、点群５００をフィルタリングするフィルタリングモジュール１６８が含まれる。フィルタリングモジュール１６８により、Ｌ個のクラスタでクラスタリングアルゴリズムが計算される（ここでＬは整数である）。クラスタリングアルゴリズムにより、データ点（例えば点群５０２）はクラスタにグループ分けされる。例えば、クラスタリングアルゴリズムにより、生成モジュール１６６によって生成される点群５０２が複数のグループに分類され、それぞれの点は、最も近い平均値を有するクラスタに属する。クラスタリングアルゴリズムにより、それぞれのクラスタの中心または平均値と、それぞれのクラスタに属する点５０２とが識別される。クラスタの任意の２つの中心間の距離が、Ｄ（Ｄは、トレーラの前面の幅またはその近似値として選択可能である）より小さい場合、フィルタリングモジュール１６８は、Ｌ－１個のクラスタでクラスタリングアルゴリズムを実行する。クラスタの任意の２つの中心間のすべての距離がＤよりも大きい場合、または点群５００にただ１つのクラスタだけが存在する場合、フィルタリングモジュール１６８により、クラスタリングアルゴリズムの実行が停止される。

位置合わせシステム１６０には、トレーラ２００の前面２２０を識別する識別モジュール１６９が含まれる。というのはトレーラ２００の前面２２０は、車両１００に最も近いトレーラ面であり、ヒッチングのためのトレーラヒッチ２１０を支持するからである。識別モジュール１６９により、（フィルタリングモジュール１６８によって特定される）クラスタのそれぞれの中心の、カメラ平面６１０または道路平面６２０への投影が特定される。識別モジュール１６９により、カメラ１４２ａの中心により近い、投影された点が特定される。クラスタの中心が、カメラ平面６１０に投影される場合、識別モジュール１６９により、それぞれの投影された中心から、カメラ１４２ａの中心への距離が特定される。しかしながらクラスタの中心が、道路平面６２０に投影される場合、識別モジュール１６９により、道路平面６２０において、それぞれの投影された中心から、カメラ１４２ａの中心の投影への距離が特定される。

識別モジュール１６９により、カメラ１４２ａ（すなわちカメラの中心）に最も近い、クラスタ５０４の中心が特定されると、識別モジュール１６９により、カメラ１４２ａと最も近い距離を有する中心のクラスタ点群５０２に関連付けられた平面Ｐが計算される。識別モジュール１６９は、カメラ１４２ａに最も近い中心を有するクラスタ５０４に関連付けられた点群５０２に基づいて平面Ｐを特定するために、以下のアルゴリズム、すなわちＲＡＮＳＡＣ、最小二乗法、ＳＶＭまたはこれらの任意の変形形態のうちの１つを使用可能である。

引き続いて識別モジュール１６９により、トレーラ２００の幅が特定される。識別モジュール１６９により、カメラ１４２ａに最も近い中心を有するクラスタ５０４に関連付けられた点群５０２が、カメラ平面６１０（または道路平面６２０）に投影される。これらの投影された点を集合Ｍで表す。次に識別モジュール１６９により、集合Ｍの投影された点にフィットする、カメラ平面６１０または道路平面６２０内の１つの直線が計算される。識別モジュール１６９により、集合Ｍの投影される点にフィットする直線を特定するために、ＲＡＮＳＡＣ、最小二乗法、ＳＶＭまたはこれらの任意の変形形態のうちの１つが実行される。次に、識別モジュール１６９により、投影されたすべての点を含む、直線のセグメントを見つけるために、集合Ｍにおける点が直線に投影される。このセグメントにより、推定されるトレーラ幅が示される。

いくつかの実施例では、識別モジュール１６９により、前面平面Ｐと、カメラ平面６１０（または道路平面６２０）との間の交わりに基づいて直線が特定される。次に識別モジュール１６９により、投影されるすべての点を含む直線のセグメントを見つけるために、集合Ｍの点が直線に投影される。このセグメントにより、推定されるトレーラ幅が示される。

識別モジュール１６９により、位置合わせのための基準点２２２である、セグメントの中心点２２２が特定される。識別モジュール１６９により、車両１００を位置合わせする方向を示す、平面Ｐの法線Ｎが特定される。

再び図２を参照すると、車両コントローラ１５０により、３次元ワールド座標におけるトレーラ２００および基準点２２２の場合、前面２２０の法線方向Ｎに基づいてパス１７２を計画するパス計画システム１７０が起動される。パス計画システム１７０には、後方向に牽引車両１００を操縦することが含まれていてよい。

車両１００が、計画されたパスに沿って自律的に操縦するのに連れて、パス計画システム１７０は、センサデータを連続して受信するのに基づき、パスを連続して更新する。いくつかの実施例では、対象体検出システムにより、計画されたパス１７２に沿って１つ以上の対象体が識別され、１つ以上の対象体の位置に関連するデータがパス計画システム１７０に送信される。この場合、あらかじめ設定された操縦が実行される間にも、パス計画システム１７０により、１つ以上の対象体を避けるために、計画されたパス１７２が再計算される。いくつかの実施例では、パス計画システムにより、衝突の確率が特定され、この衝突の確率が、あらかじめ設定された閾値を上回る場合、パス計画システム１７０により、パスが調整され、これが運転支援システム１８０に送信される。

運転支援システム１８０には、パス追跡動作１８２が含まれる。パス追跡動作１８２により、計画されたパス１７２が受け取られ、運転システム１１０にコマンド１９０を送信する１つ以上の動作１８２が実行され、これにより、計画されたパスに沿って車両１００を自動運転させ、これにより、図１Ｂに示したようにヒッチングのために車両１００を位置合わせさせる。

パス追跡動作１８２、１８２ａ～ｃは、ブレーキング動作１８２ａ、加減速動作１８２ｂおよび操舵動作１８２ｃのような１つ以上の動作を含んでいてよいが、これらには限定されない。それぞれの動作１８２、１８２ａ～ｃは、後方への運転、特定の角度での方向転換、ブレーキング、加速、減速などのような行動を車両１００に取らせる。車両コントローラ１５０は、運転システム１１０を制御することにより、より具体的には運転システム１１０にコマンド１９０を出すことにより、道路表面にわたって任意の方向に車両１００を操縦可能である。

ブレーキング動作１８２ａは、計画されたパスに基づき、車両１００を停止させるかまたは車両１００を減速するために実行可能である。ブレーキング動作１８２ａは、車両１００を停止するかまたは車両１００の速度を下げるために、運転システム１１０、例えばブレーキシステム（図示せず）に信号またはコマンド１９０を送信する。

加減速動作１８２ｂは、計画されたパスに基づいて加速または減速することによって車両１００の速度を変更するために実行可能である。加減速動作１８２ｂは、減速のためにブレーキシステム１１４に、または加速のために加速システム１１６に信号またはコマンド１９０を送信する。

操舵動作１８２ｃは、計画されたパスに基づいて車両１００の方向を変更するために実行可能である。したがって操舵動作１８２ｃは、運転システム１１０に方向を変更させる操舵角を示す信号またはコマンド１９０を加速システム１３０に送信する。

位置合わせシステム１６０により、平坦な前面を有するトレーラ２００に対し、上述のように前面平面Ｐが特定される。しかしながら位置合わせシステム１６０はまた、平坦な前面２２０を有しないトレーラ２００にも使用可能である。この場合、位置合わせシステム１６０は、例えば、あらかじめ設定された形状の集合から、トレーラ前面２２０の形状を入力するように運転者に入力を求める。または別の複数の実施例において、位置合わせシステム１６０には、トレーラの前面の形状を特定する形状特定モジュールが含まれる。したがって識別モジュール１６９により、トレーラ前面２２０の形状に基づいてその計算が調整される。

位置合わせシステム１６０は、ＧＰＵ、グラフィックアクセラレータ、トレーニングまたはＦＰＧＡを具備した、またはこれらを具備しない標準のＣＰＵにおいてリアルタイムに動作するように設計される。

図８には、図１～７に示したシステムを使用して、牽引車両１００と、牽引車両１００の後ろに位置付けられたトレーラ２００とを位置合わせする方法８００の動作の例示的な構成が示されている。方法８００には、ブロック８０２において、データ処理ハードウェア１５２により、牽引車両の後方環境の点群マップ５００を特定することが含まれる。後方環境には、トレーラ２００、すなわちトレーラ２００の表現１３６が含まれる。方法８００には、ブロック８０４において、データ処理ハードウェア１５２により、点群マップ５００に基づいてトレーラ２００の前面平面Ｐを特定することが含まれる。方法８００には、ブロック８０６において、データ処理ハードウェア１５２により、前面平面Ｐの法線Ｎを特定することが含まれる（図２）。方法８００には、ブロック８０８において、データ処理ハードウェア１５２により、牽引車両１００からトレーラ２００へのパス１７２を特定し、これにより、牽引車両１００の前後方向の軸線Ｙが、前面平面Ｐの法線Ｎと位置合わせされるようにすることが含まれる。

いくつかの実現形態において、この方法には、牽引車両１００の後部に位置付けられたカメラ１４２ａから、かつデータ処理ハードウェア１５２と通信して１つ以上の画像１４３を受信することが含まれる。方法８００にはまた、１つ以上の画像１４３内のトレーラ表現１３６を含むＲＯＩ４００を識別することが含まれていてよい。トレーラ表現１３６は、牽引車両１００の後ろに位置付けられたトレーラ２００を表す。したがって牽引車両１００の後方環境の点群マップ５００の特定には、ＲＯＩ４００だけに関連付けられた点群マップ５００の特定が含まれる。

いくつかの実施例において、方法８００には、牽引車両１００が移動している間に、受信された画像１４３からリアカメラ１４２ａの少なくとも３つの３次元位置を特定することが含まれる。この方法にはまた、少なくとも３つの３次元位置に基づいてカメラ平面６１０を特定することが含まれていてよい。

点群マップに基づくトレーラの前面の特定には、以下が含まれていてよい。すなわち、点群マップ５００内の点５０２のクラスタ５０４を特定することと、クラスタ５０４毎にクラスタ５０４の中心を特定することとが含まれていてよい。方法８００にはまた、クラスタ５０４の中心をカメラ平面６１０に投影することが含まれていてよい。いくつかの実施例において方法８００には、以下が含まれる。すなわちカメラ１４２ａの中心に対して最短距離を有する中心に関連付けられたクラスタ５０４を特定することと、カメラ１４２ａの中心に対して最短距離を有する、クラスタ５０４の点５０２に基づいて前面平面Ｐを特定することとが含まれる。

いくつかの実施例において、方法８００には、カメラ１４２ａの中心に対して最短距離を有する中心に関連付けられたクラスタ５０４の点５０２をカメラ平面６１０に投影し、投影された点に関連付けられた１つの直線を特定することが含まれる。方法８００には、投影されたすべての点を含むセグメントを特定するために、投影された点を直線に投影することが含まれていてよい。法線に沿いかつセグメントの中心点２２２を通る直線が、位置合わせ方向を示す。

点群マップ５００の特定には、ＶＯ（Visual Odometry）アルゴリズム、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズム、およびＳｆＭ（Structure from Motion）アルゴリズムのうちの１つを実行することが含まれていてよい。

いくつかの実施例において、方法８００には、データ処理ハードウェア１５２と通信して運転システム１１０に命令１９０を送信することが含まれる。これらの命令１９０は、パス１７２に沿って後方向Ｒに牽引車両１００を自動運転させる。

ここで説明したシステムおよび技術のさまざまな実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（application specific integrated circuit）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはこれらの組み合わせで実現可能である。これらのさまざまな実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／またはインタープリト可能な１つ以上のコンピュータプログラムにおける実装形態を含むことができ、このプログラマブルプロセッサは、記憶システム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスからデータおよび命令を受信し、かつこれらにデータおよび命令を送信するために接続された特殊用途または一般用途のプログラマブルプロセッサであってよい。

（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）これらのコンピュータプログラムには、プログラマブルプロセッサ用の機械命令が含まれ、高水準手続き型および／またはオブジェクト指向プログラミング言語および／またはアセンブリ言語／機械語で実現可能である。ここで使用される「機械読み出し可能媒体」および「コンピュータ読み出し可能媒体」という用語は、機械読み出し可能信号として機械命令を受け取る機械読み出し媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを供給するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば磁気ディスク、光学ディスク、メモリ、ＰＬＤ（Programmable Logic Device））のことである。「機械読み出し可能信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを供給するために使用される任意の信号のことである。

本明細書で開示した複数の構造およびこれらの構造の等価物、またはこれらの１つ以上の組み合わせを含めた、本明細書で説明した対象事項および機能的な動作の実装形態は、デジタル電子回路、またはコンピュータソフトウェア、ファームウェアまたはハードウェアで実装可能である。さらに本明細書で説明した対象事項は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するためにコンピュータ読み出し可能媒体に符号化されるコンピュータプログラム命令の１つ以上のモジュールとして実装可能である。コンピュータ読み出し可能媒体は、機械読み出し可能記憶装置、機械読み出し可能記憶基体、メモリデバイス、機械読み出し可能伝播信号に影響を及ぼす組成物、またはこれらの１つ以上の組み合わせであってよい。「データ処理装置」、「コンピューティングデバイス」および「コンピューティングプロセッサ」という用語には、例としてプログラマブルプロセッサ、コンピュータまたはマルチプロセッサまたはマルチコンピュータを含む、データを処理するすべての装置、デバイスおよび機械が包含される。この装置は、ハードウェアに加えて、対象となるコンピュータプログラムに対する実行環境を形成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステムまたはこれらの１つ以上の組み合わせを構成するコードを含んでいてよい。伝播信号は、人工的に生成される信号、例えば、適切な受信装置への送信用に情報を符号化するために生成される、機械で生成される電気信号、光信号または電磁信号である。

同様に、動作は、図面において特定の順序で描画されているが、このことは、このような動作が、ここで示した特定の順序で、または順番に実行されるか、または所望の結果を達成するために、示されたすべての動作が実行されることを要求していると理解すべきではない。特定の状況では、マルチタスキングおよび並列処理が有利になることがある。さらに、上述の複数の実施形態においてさまざまなシステムコンポーネントが分離されていることは、すべての実施形態においてこのように分離されることを要求していると理解すべきではなく、上述のプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に一体で統合可能であるか、または複数のソフトウェア製品にパッケージング可能であると理解すべきである。

ここまで多くの実装形態を説明した。それにもかかわらず、本開示の精神および範囲を逸脱することなく、さまざまな変更を行い得ることを理解されたい。したがって別の実装形態も以下の特許請求の範囲内にある。

Claims

牽引車両と、前記牽引車両の後ろに位置付けられたトレーラとを位置合わせする方法であって、
前記牽引車両の後部に位置付けられたカメラから、かつデータ処理ハードウェアと通信して前記牽引車両の後方の画像を受信するステップと、
前記データ処理ハードウェアにより、前記トレーラが含まれる、前記牽引車両の後方環境の点群マップを受信した前記後方の画像に基づいて特定するステップと、
前記データ処理ハードウェアにより、前記牽引車両が移動している間に、受信された前記画像と前記カメラに対応する固有パラメータおよび外因性パラメータとに基づいて前記カメラの少なくとも３つの前の３次元位置を特定するステップと、
前記データ処理ハードウェアにより、少なくとも３つの前記３次元位置がカメラ平面上に位置する前記カメラ平面を特定するステップと、
前記データ処理ハードウェアにより、前記点群マップに基づいて前記トレーラの前面平面を特定するステップと、
前記データ処理ハードウェアにより、前記前面平面に基づいて前記前面平面の法線を特定するステップと、
前記牽引車両の前後方向の軸線と、前記前面平面の前記法線とが位置合わせされるように、前記前面平面の前記法線に基づいて前記データ処理ハードウェアにより、前記牽引車両から前記トレーラへのパスを特定するステップと、
前記データ処理ハードウェアと通信して運転システムに命令を送信するステップと、
を含み、
前記命令は、前記パスに沿って後方向に前記牽引車両を自動運転させ、
前記点群マップに基づいて前記トレーラの前記前面平面を特定するステップは、
前記点群マップ内の点のクラスタを特定するステップと、
クラスタ毎に前記クラスタの中心を特定するステップと、
前記クラスタの前記中心を前記カメラ平面に投影するステップと、
前記カメラの中心に対して最短距離を有する前記クラスタを特定するステップと、
前記カメラの中心に対して最短距離を有する、前記点のクラスタの複数の前記点が前記前面平面上に位置するように前記前面平面を特定するステップと、
を含み、
前記点群マップを特定するステップは、ＶＯアルゴリズム、ＳＬＡＭアルゴリズム、およびＳｆＭアルゴリズムのうちの１つを実行するステップを含む、
方法。
さらに、前記牽引車両の前記後方環境の前記点群マップを特定するステップに先立って、前記データ処理ハードウェアが、関心領域（ＲＯＩ）を選択指示する入力を受けて、１つ以上の前記画像内のトレーラ表現を含む前記関心領域を識別するステップを含み、
前記トレーラ表現は、前記牽引車両の後ろに位置付けられた前記トレーラを表し、
前記牽引車両の前記後方環境の前記点群マップを特定するステップは、前記ＲＯＩだけの点群マップを特定するステップを含む、
請求項１記載の方法。
さらに、前記前面平面を特定するステップの後に、
前記データ処理ハードウェアにより、前記カメラの前記中心に対して最短距離を有する前記クラスタの前記点を前記カメラ平面に投影するステップと、
前記データ処理ハードウェアにより、投影された前記点にフィットする１つの直線を特定するために、投影された前記点をラインフィッティングするステップと、
前記データ処理ハードウェアにより、投影された前記点を前記直線上に投影し、前記直線上に投影されたすべての投影された前記点を含む、前記直線のセグメントを特定するステップと、
を含み、
前記セグメントの中心点を通る直線が、前記法線を構成する、
請求項１または２記載の方法。
牽引車両と、前記牽引車両の後ろに位置付けられたトレーラとを位置合わせするシステムであって、
データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアと、
を有し、
前記メモリハードウェアには、前記データ処理ハードウェア上で実行される場合に、前記データ処理ハードウェアに動作を実行させる命令が格納されており、前記動作は、
前記牽引車両の後部に位置付けられたカメラから、かつ前記データ処理ハードウェアと通信して前記牽引車両の後方の画像を受信することと、
前記トレーラが含まれる、前記牽引車両の後方環境の点群マップを受信した前記後方の画像に基づいて特定することと、
前記牽引車両が移動している間に、受信された前記画像と前記カメラに対応する固有パラメータおよび外因性パラメータとに基づいて前記カメラの少なくとも３つの前の３次元位置を特定することと、
少なくとも３つの前記３次元位置がカメラ平面上に位置する前記カメラ平面を特定することと、
前記点群マップに基づいて前記トレーラの前面平面を特定することと、
前記前面平面に基づいて前記前面平面の法線を特定することと、
前記牽引車両の前後方向の軸線と、前記前面平面の前記法線とが位置合わせされるように、前記前面平面の前記法線に基づいて前記牽引車両から前記トレーラへのパスを特定することと、
前記データ処理ハードウェアと通信して運転システムに命令を送信することと、
を含み、
前記命令は、前記パスに沿って後方向に前記牽引車両を自動運転させ、
前記点群マップに基づいて前記トレーラの前記前面平面を特定することは、
前記点群マップ内の点のクラスタを特定することと、
クラスタ毎に前記クラスタの中心を特定することと、
前記クラスタの前記中心を前記カメラ平面に投影することと、
前記カメラの中心に対して最短距離を有する前記クラスタを特定することと、
前記カメラの中心に対して最短距離を有する、前記点のクラスタの複数の前記点が前記前面平面上に位置するように前記前面平面を特定することと、
を含み、
前記点群マップを特定することには、ＶＯアルゴリズム、ＳＬＡＭアルゴリズム、およびＳｆＭアルゴリズムのうちの１つを実行することを含む、
システム。
前記動作はさらに、前記牽引車両の前記後方環境の前記点群マップを特定することに先立って、前記データ処理ハードウェアが、関心領域（ＲＯＩ）を選択指示する入力を受けて、１つ以上の前記画像内のトレーラ表現を含む前記関心領域を識別することを含み、
前記トレーラ表現は、前記牽引車両の後ろに位置付けられた前記トレーラを表し、
前記牽引車両の前記後方環境の前記点群マップを特定することには、前記ＲＯＩだけの点群マップを特定することを含む、
請求項４記載のシステム。
前記動作はさらに、前記前面平面を特定することの後に、
前記カメラの前記中心に対して最短距離を有する前記クラスタの前記点を前記カメラ平面に投影することと、
投影された前記点にフィットする１つの直線を特定するために、投影された前記点をラインフィットすることと、
投影された前記点を前記直線上に投影し、前記直線上に投影されたすべての投影された前記点を含む、前記直線のセグメントを特定することと、
を含み、
前記セグメントの中心点を通る直線が、前記法線を構成する、
請求項４または５記載のシステム。