JP7136997B2 - ターゲット位置の選択による自動後退 - Google Patents

Description

本開示は、選択されたターゲット位置に向かって牽引車両を自動後退させるための方法および装置に関する。

背景技術
トレーラは、一般に、動力を有する牽引車両によって牽引される、動力を有しない車両である。トレーラは、ユーティリティトレーラ、ポップアップ式キャンパ、トラベルトレーラ、家畜トレーラ、平台型トレーラ、閉鎖型カーキャリアおよびボートトレーラなどであってよい。牽引車両は、自動車、クロスオーバ、トラック、バン、ＳＵＶ（sports-utility-vehicle）、ＲＶ（recreational vehicle）またはトレーラに連結されてトレーラを牽引するように構成された別の任意の車両であってよい。トレーラは、トレーラヒッチを使用して、動力を有する車両に連結可能である。受け手側のヒッチは、牽引車両に取り付けられ、連結を形成するためにトレーラヒッチに連結される。トレーラヒッチは、ボールおよびソケット、第五輪およびがん首、またはトレーラジャックであってよい。別の連結機構も使用可能である。いくつかの実施例では、トレーラと、動力を有する車両との間の機械的連結に加え、トレーラは、牽引車両に電気的に接続されている。したがってこの電気的な接続により、トレーラは、動力を有する車両の後方ライト回路から給電されることが可能であり、これにより、トレーラは、動力を有する車両のライトと同期するテールランプ、方向指示器およびブレーキライトを有することができる。

センサ技術における最近の進歩は、自動運転の改良に結び付いている。したがって、車両をトレーラにヒッチングするためにトレーラに向かって操縦可能な自動車両後退システムを提供することは望ましい。

概要
本開示の一態様により、牽引車両の後ろに位置付けられたトレーラに向かって牽引車両を自律操縦させる方法が提供される。この方法では、牽引車両の後部に位置付けられかつデータ処理ハードウェアと通信するカメラから、１つ以上の画像をデータ処理ハードウェアにおいて受信する。この方法では、１つ以上の画像内のトレーラ表現の第１ユーザ選択をデータ処理ハードスイッチングにおいて受信する。第１ユーザ選択は、トレーラ表現を取り囲むバウンディングボックスを含んでいてよい。この方法ではまた、トレーラ表現の第１ユーザ選択に関連付けられたトレーラに向かって後方向に牽引車両を自律操縦させる第１命令を、データ処理ハードウェアから、データ処理ハードウェアと通信する運転システムに送信する。この方法ではまた、１つ以上の画像内の、トレーラのトレーラカプラに関連付けられたカプラ表現の第２ユーザ選択をデータ処理ハードウェアにおいて受信する。第２ユーザ選択は、カプラ表現を取り囲むカプラバウンディングボックスを含んでいてよい。この方法では付加的に、カプラ表現の第２ユーザ選択に関連付けられたトレーラカプラに向かって後方向に牽引車両を自律操縦させる第２命令を、データ処理ハードウェアから運転システムに送信する。

本開示の複数の実装形態には、１つ以上の以下の選択的な特徴が含まれていてよい。いくつかの実装形態において、この方法では、トレーラ表現の第１ユーザ選択に関連付けられたトレーラに向かって後方向に牽引車両を自律操縦させるのに伴って、１つ以上の画像内でトレーラバウンディングボックスを追跡する。この方法ではまた、カプラ表現の第２ユーザ選択に関連付けられたトレーラカプラに向かって後方向に牽引車両を自律操縦させるのに伴って、１つ以上の画像内でカプラバウンディングボックスを追跡してもよい。いくかの実施例において、この方法では、データ処理ハードウェアと通信するセンサシステムからホイールティックセンサデータおよびステアリングホイール角度データを受信する。この方法では、ホイールティックセンサデータおよびステアリングホイール角度データに基づいて、車両位置を特定し、トレーラおよびカプラに対して相対的な牽引車両位置に基づいて、第１命令および／または第２命令をそれぞれ調整する。

いくつかの実装形態において、この方法では、牽引車両の牽引ボールの牽引ボール位置を特定する。後方向に牽引車両が自律操縦する間に、この方法では、牽引ボール位置と、牽引バウンディングボックスまたはカプラバウンディングボックスの中心との間の長手方向距離および横方向距離を特定する。ここでこの中心は、トレーラバウンディングボックスまたはカプラバウンディングボックスの底部の中心である。第１命令および第２命令は、長手方向距離および横方向距離を減少させる。

本開示の別の一態様により、牽引車両の後ろに位置付けられたトレーラに向かってこの牽引車両を自律操縦させるシステムが提供される。このシステムには、データ処理ハードウェアと、このデータ処理ハードウェアと通信するメモリハードウェアとが含まれている。このメモリハードウェアには、データ処理ハードウェア上で実行される場合に、このデータ処理ハードウェアに上述の方法を含む動作を実行させる命令が格納されている。

本開示の１つ以上の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴および利点は、説明および図面ならびに特許請求の範囲から明らかになろう。

牽引車両の後ろに位置付けられたトレーラから特定の距離にある例示的な牽引車両の概略平面図である。 図１の例示的な牽引車両の概略図である。 運転者によって選択されたトレーラに向かって後方向に車両を操縦する方法の例示的なフローチャートの概略図である。 画像内のトレーラバウンディングボックスの概略図である。 画像内のカプラバウンディングボックスの概略図である。 牽引車両の後ろに位置付けられたトレーラに向かって牽引車両が自律操縦するための動作の例示的な構成の概略図である。

種々異なる図において同様の参照符号は、同様の要素を示す。

詳細な説明
自動車、クロスオーバ、トラック、バン、ＳＵＶ（sports-utility-vehicle）およびＲＶ（recreational vehicle）のような、しかしこれらに限定されない牽引車両は、トレーラを牽引するように構成されていてよい。牽引車両は、トレーラヒッチによってトレーラに連結される。トレーラまでの手動による後退には、運転者の大きな努力が必要になることがある。運転者は、絶えず後方の車両カメラを監視して、車両の牽引ボールがトレーラのカプラの下に来るように車両を操舵しなければならない。したがって、車両の後方の周囲環境の画像から識別されかつユーザディスプレイのようなユーザインタフェースに表示される、運転者によって指定された位置、例えばトレーラに向かって自律的に後退することができる牽引車両を有することが望ましい。

図１～図６を参照すると、いくつかの実装形態において、牽引車両１００の運転者が望むのは、牽引車両１００の後ろに位置付けられたトレーラ２００を牽引することである。牽引車両１００は、選択されたトレーラ２００、２００ａ～ｃに関連付けられた運転者選択１４２の指示を受け取るように構成可能である。運転者選択１４２は、トレーラ表現１４６またはカプラ表現５０２の周りのバウンディングボックス１４４ａであってよい。いくつかの実施例において、運転者は牽引車両１００を位置決めして、トレーラ２００が、牽引車両１００の後ろにあるようにし、これにより、牽引車両１００は、選択されたトレーラ２００に向かって自律操縦可能になる。いくつかの実施例において、牽引車両１００は、選択されたトレーラ２００に向かって自律操縦し、トレーラ２００から、あらかじめ定められた第１距離だけ離れて停止し、これにより、トレーラカプラ２１２の表現５０２が、十分に接近し、例えばライン４００において、ユーザディスプレイ１４０に明瞭に見えるようになる。次に運転者は、ディスプレイ１４０においてカプラ表現の位置を選択することができ、この選択は、ズーム機能、例えばズームイン／アウトによって容易にすることが可能であり、これにより、カプラ表現の選択において高いレベルの精度が可能になる。カプラ表現５０２の選択を運転者が確認すると、牽引車両１００は、カプラ２１２に向かって後方向Ｒに自律操縦する。牽引車両１００は、例えば、カプラ２１２から数インチまたは数センチメートル以内のあらかじめ定められた第２距離で停止可能であり、これにより、運転者は、牽引車両１００とトレーラ２００とのヒッチングを手動で終えることができる。別の実施例では牽引車両１００は、トレーラ２００に自動的にヒッチングされる。

牽引車両１００は、例えば、ｘ、ｙおよびｚ成分を有する運転コマンドに基づき、道路表面にわたって牽引車両１００を操縦する運転システム１１０を含んでいてよい。図示したように運転システム１１０には、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃおよび左後輪１１２、１１２ｄが含まれる。運転システム１１０には、別の車輪構成も含まれていてよい。運転システム１１０には、それぞれの車輪１１２、１１２ａ～ｄに関連付けられたブレーキを含むブレーキシステム１１４と、牽引車両１００の速度および方向を調整するように構成されている加速システム１１６とが含まれていてもよい。さらに、運転システム１１０には、それぞれの車輪１１２、１１２ａ～ｄに関連付けられたタイヤと、タイヤ空気と、ばねと、ショックアブソーバと、牽引車両１００をその車輪１１２、１１２ａ～ｄに連結しかつ牽引車両１００と車輪１１２、１１２ａ～ｄとの間の相対運動を可能にする連結機構と含むサスペンションシステム１１８が含まれていてよい。サスペンションシステム１１８は、牽引車両１００の高さを調整するように構成可能であり、これにより、牽引車両ヒッチ１２０（例えば車両牽引ボール１２２）と、トレーラヒッチ２１０（例えばトレーラヒッチカプラ２１２およびトレーラヒッチバー２１４）とを位置合わせでき、これにより、牽引車両１００とトレーラ２００と間の自律連結が可能になる。

牽引車両１００は、牽引車両１００によって定められる互いに垂直な３つの軸、すなわち横方向軸Ｘ、前後方向軸Ｙおよび中央の垂直方向軸Ｚに対して相対的な運動のさまざまな組み合わせによって道路表面１０にわたって移動可能である。横方向軸Ｘは、牽引車両１００の右側と左側との間に延在している。前後方向軸Ｙに沿った前方への運転方向は、Ｆで示されており、前方移動とも称される。さらに、前後方向軸Ｙに沿った後尾または後方への運転方向はＲで示されており、後方移動とも称される。サスペンションシステム１１８により、牽引車両１００のサスペンションが調整される場合、牽引車両１００は、Ｘ軸および／またはＹ軸の周りに傾斜可能であるか、または中央の垂直方向軸Ｚに沿って移動可能である。

牽引車両１００は、ユーザインタフェース１３０を含んでいてよい。ユーザインタフェース１３０は、ディスプレイ１４０、入力メカニズムとして使用されるノブ１３２およびボタン１３４を含んでいてよい。いくつかの実施例において、ディスプレイ１４０にはノブ１３２およびボタン１３４が表示されていてよい。これに対し、別の複数の実施例では、ノブ１３２およびボタン１３４は、ノブとボタンとの組み合わせである。いくつかの実施例において、ユーザインタフェース１３０は、１つ以上の入力メカニズムまたはタッチスクリーンディスプレイ１４０を介して、運転者から１つ以上のユーザコマンドを受け取り、かつ／または１つ以上の通知を運転者に表示する。ユーザインタフェース１３０は、車両コントローラ１６０と通信し、この車両コントローラ１６０それ自体は、センサシステム１５０と通信する。いくつかの実施例では、ディスプレイ１４０により、牽引車両１００の周囲環境の画像１５１が表示され、これにより、１つ以上の動作の実行を開始する１つ以上のコマンドが（運転者から）ユーザインタフェース１３０によって受け取られることになる。いくつかの実施例では、ユーザディスプレイ１４０により、牽引車両１００の後方の周囲環境の画像１５１が表示される。この場合、運転者は、周囲環境を示す画像１５１内の位置であって、運転者が車両をそこに向かって自律操縦させたい位置（すなわちトレーラ２００）を選択可能である。いくつかの実施例では、ユーザディスプレイ１４０により、牽引車両１００の後ろに位置付けられたトレーラ２００の１つ以上の表現１４６が表示され、運転者は、運転者が、牽引車両１００をそれに向かって操縦させたいトレーラ２００の表現１４６を選択する。

牽引車両１００は、確実かつロバストな運転を行うためにセンサシステム１５０を含んでいてよい。センサシステム１５０は、牽引車両１００の周囲環境の認識を作成するために、個別にまたは互いに組み合わせて使用され得る異なるタイプの複数のセンサを含んでいてよく、この周囲環境の認識は、センサシステム１５０によって検出される対象体および障害物に基づいて、牽引車両１００が、運転するために、またインテリジェントな決定を行うに際して運転者を補助するために使用される。

センサシステム１５０は、牽引車両１００によって支持される１つ以上のカメラ１５２を含んでいてよい。いくつかの実装形態において、牽引車両１００には、牽引車両１００に対して後方の運転経路のビューを提供するために取り付けられているリアカメラ１５２が含まれる。リアカメラ１５２は、広角パノラマまたは半球画像を作成するために、大きな視覚的な歪みを形成する超広角レンズを含む魚眼レンズを含んでいてよい。魚眼カメラにより、極めて広い画角を有する画像が取り込まれる。さらに、魚眼カメラによって取り込まれる画像は、特徴的な凸状の非直線的な外観を有する。また牽引車両１００の後方の画像を取り込むために別の複数のタイプのカメラも使用可能である。上述のようにリアカメラ１５２によって取り込まれた画像１５１は、ディスプレイ１４０に表示され、画像１５１により、牽引車両１００の後ろに位置付けられた１つ以上のトレーラ２００、２００ａ～ｃの１つ以上のトレーラ表現１４６、１４６ａ～ｃを含む、牽引車両１００の後方の周囲環境が示される。

いくつかの実施例において、センサシステム１５０には、牽引車両１００の１つ以上のホイール１１２、１１２ａ～ｄに関連付けられた１つ以上のホイールエンコーダ１５４も含まれる。ホイールエンコーダ１５４は、ホイールの角度位置または運動をアナログまたはデジタル出力信号に変換する電気機械装置である。したがってホイールエンコーダ１５４により、ホイール１１２、１１２ａ～ｄが移動した速度および距離が特定される。センサシステム１５０には、ステアリングホイールの位置角度および回転速度のようなステアリングホイール角度データ１５７を測定するステアリングホイール角度センサ１５６も含まれていてよい。

センサシステム１５０には、車両運動、すなわち速度、角速度、位置などを検出する別の複数のセンサ１５８も含まれていてよい。これらの別のセンサ１５８には、（１つ以上の加速度計を使用して）車両の直線加速度および（１つ以上のジャイロスコープを使用して）回転速度を測定するように構成された慣性計測装置（ＩＭＵ：inertial measurement unit）が含まれていてよい。いくつかの実施例では、ＩＭＵにより、牽引車両１００の方位基準も特定される。したがってＩＭＵにより、牽引車両１００のピッチ、ロールおよびヨーが特定される。いくつかの実施例において、別の複数のセンサ１５８には、対象体（例えばトレーラ２００）の範囲、角度または速度を特定するように構成されたレーダセンサが含まれていてよい。レーダセンサ１５８により、無線信号が伝送され、伝送された信号の反射が戻るのに要する時間が測定される。レーダセンサにより、対象体との距離が、信号の速度と、往復時間の２分の１との積として特定される。レーダセンサは、牽引車両１００の速度も特定可能である。この速度は、第１時刻におけるレーダセンサ１５８から対象体への距離と、第２時刻におけるレーダセンサ１５８から対象体への距離とに基づいていてよい。したがってレーダセンサ１５８により、第１時刻と第２時刻との間の差分によって除算した、第１時刻における距離と、第２時刻における距離との間の差分に基づいて速度が特定可能である。別の複数のセンサ１５８には、ソナー、ＬＩＤＡＲ（Light Detection and Ranging、離れたターゲットの範囲および／または別の情報を求めるために散乱光の特性を測定する光リモートセンシングを必要とし得る）、ＬＡＤＡＲ（Laser Detection and Ranging）、超音波などが含まれてよいが、これらには限定されない。

車両コントローラ１６０には、コンピューティングデバイス（またはプロセッサ）１６２（例えば１つ以上のコンピューティングプロセッサを有する中央処理ユニット）が含まれており、これは、コンピューティングプロセッサ１６２上で実行可能な命令を格納可能な非一時的なメモリ１６４（例えばハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信する。いくつかの実施例では、車両コントローラ１６０により、ヒッチ支援システム１７０および運転支援システム１９０が実行される。

いくつかの実施例では、牽引車両１００を目的箇所に向かって自律運転させるために、ヒッチ支援システム１７０により、この目的箇所（例えば、選択されたトレーラ２００）が特定される。ヒッチ支援システム１７０は、カメラ１５２から画像１５１を受信し、かつ／または１つ以上のセンサ１５４～１５８からセンサデータ１５３を受信し、トレーラ２００の位置を特定する。この位置は、牽引車両１００を基準にして、例えば、長手方向距離Ｄ_Ｌｇ、横方向距離Ｄ_Ｌｔ、垂直方向距離Ｈ_Ｃａおよび／またはカメラ１５２と、トレーラ２００の正面またはトレーラカプラ２１２との間の角度として、ユーザインタフェース１３０を介して運転者によって識別される。さらに、いくつかの実施例では、ヒッチ支援システム１７０により、牽引車両１００とトレーラ２００との間の角度（図示せず）、すなわち車両ヒッチ１２０と、トレーラヒッチ２１０またはトレーラ２００の正面との間の角度も特定される。長手方向距離Ｄ_Ｌｇ、横方向距離Ｄ_Ｌｔおよび垂直方向距離Ｈ_Ｃａは、トレーラ２００に向かって牽引車両１００を後退させる間に運転者によって使用可能であるか、または牽引車両１００がトレーラ２００に向かって自律操縦している間に使用可能である。

図２および図３を参照すると、いくつかの実装形態において、ヒッチ支援システム１７０には、トレーラ追跡器１７２ａおよびカプラ追跡器１７２ｂを有する追跡器１７２が含まれている。トレーラ追跡器１７２ａは、牽引車両１００が、トレーラ２００に向かって後方向Ｒに自律操縦している間に、トレーラ２００、例えばトレーラ２００の正面２０２を追跡するように構成されており、カプラ追跡器１７２ｂは、トレーラカプラ２１２を追跡するように構成されている。

図３には、運転者によって選択されたトレーラ２００に向かって牽引車両１００に自律操縦させる、コントローラ１６０によって実行されるステップについてのフローチャート３００が示されている。ブロック３０２において、運転者は、ユーザインタフェース１３０によってヒッチ支援システム１７０の実行を開始する。ディスプレイ１４０は、牽引車両１００の後方ビューを含む、リアカメラ１５２から受信した画像１５１を表示する。運転者は、牽引車両１００の後ろに位置付けられた１つ以上のトレーラ２００、２００ａ～ｃから、トレーラ２００に関連付けられかつ選択されたトレーラ表現１４６ａの周りで、トレーラバウンディングボックス１４４ａを手動で入力するかまたは描画することができる。ブロック３０４では、ヒッチ支援システム１７０により、実ワールド座標においてまたはカメラ１５２に対して相対的に車両牽引ボール１２２の位置を特定する。別の複数の実施例では、ヒッチ支援システム１７０により、メモリハードウェア１６４から車両牽引ボール１２２の位置を取り出し可能である。ブロック３０６では、トレーラ追跡器１７２ａにより、選択されたトレーラバウンディングボックス１４４ａに基づいて、画像１５１内でのトレーラ表現１４６ａの位置を識別し、牽引車両１００が後方に移動する間にトレーラ２００（すなわちトレーラ２００の正面２０２）を追跡する。ブロック３０８では、運転者は、トレーラ表現についての自分の選択が完了したことをユーザインタフェース１３０によって指示するか、または運転者は、牽引車両１００をバックギアに入れ、これによって牽引車両１００に、トレーラバウンディングボックス１４４ａ内のトレーラ表現１４６ａに関連付けられたトレーラ２００に向かって、その自律操縦を開始させる。自律操縦の間、運動補正システム１８０により、トレーラ追跡器１７２ａによって供給されるデータに基づき、車両１００が、トレーラバウンディングボックス１４４ａに向かって操縦するように維持する補正ステアリング角度が特定されてこれが実現される。いくつの実施例では、トレーラ追跡器１７２ａにより、牽引車両１００の前後方向軸Ｙと、トレーラバウンディングボックス１４４ａの底辺の中心点であるバウンディングボックス中心１４５とが考慮される。トレーラ追跡器１７２ａおよび運動補正システム１８０により、牽引車両１００の前後方向軸Ｙと、トレーラ２００を含むバウンディングボックス中心点１４５とが位置合わせされる。いくつかの実装形態では、図４に示したように、トレーラ追跡器１７２ａにより、トレーラ２００からあらかじめ定めた距離に位置付けられたバウンディングボックスヒットライン４００が特定される。したがってブロック３１２では、牽引車両１００が、トレーラ２００に向かって後方向Ｒに自律操縦している間に、牽引車両１００がバウンディングボックスヒットライン４００に到達したか否かがトレーラ追跡器１７２ａによってチェックされる。トレーラ追跡器１７２ａにより、牽引車両１００が、バウンディングボックスヒットライン４００に到達したことが特定されると、トレーラ追跡器１７２ａは、ブロック３１４に示したように、牽引車両１００を停止するように運転者支援システム１９０および／または運転システム１１０に指示する。引き続いてブロック３１６において、ユーザインタフェース１３０が、ディスプレイ１４０によって運転者に求めるのは、図５Ａおよび図５Ｂに示したような画像１５１により、トレーラカプラ２１２のカプラ表現５０２の周りのカプラバウンディングボックス１４４ｂを入力することである。いくつかの実施例では、ブロック３１６において、牽引車両１００の位置がバウンディングボックスヒットライン４００にあることにより、画像１５１によってトレーラ２００およびカプラ２１２のさらに接近した画像が取り込まれる。付加的には運転者は、カプラ表現５０２の周りのより正確なカプラバウンディングボックス１４４ｂを提供するために、トレーラカプラ２１２の周りのバウンディングボックス１４４ｂを入力する前に画像１５１にズームインすることが可能である。

ブロック３１８では、カプラ追跡器１７２ｂにより、選択されたカプラバウンディングボックス１４４ｂに基づいて、画像１５１内のカプラ表現５０２の位置が識別される。ブロック３２０では、運転者は、カプラ表現５０２についての自分の選択が完了したことをユーザインタフェース１３０によって指示するか、または運転者は、牽引車両１００をバックギアに入れ、これにより、ブロック３２２において、牽引車両１００に、バウンディングボックス１４４ｂ内のカプラ表現５０２に関連付けられたカプラ２１２に向かってその自律操縦を継続させる。自律操縦の間、運動補正システム１８０により、車両１００が、選択されたカプラバウンディングボックス１４４ｂに関連付けられたカプラ２１２に向かって操縦するように維持する補正ステアリング角度が特定されてこれが実現される。カプラ追跡器１７２ｂおよび運動補正システム１８０により、牽引車両１００の前後方向軸Ｙと、カプラ２１２を含むカプラバウンディングボックス１４４ｂの底辺のボックス中心点１４５とが位置合わせされる。いくつかの実施例では、コントローラ１６０により、さらに、影に対するロバストネスを向上させるために、より詳しく言えば、カプラ２１２が日光の下にありかつ操縦の間に影に入る場合に、カプラ２１２を含む画像１５１が処理される。機能を改善してさらに原画像に取り入れて戻すために、カプラバウンディングボックス１４４ｂの周りで、例えば、変換（例えば、ベイヤー変換、ＣＬＡＨＥまたはアフィン変換）を実行する。このとき、結果的に得られる画像は、カプラ２１２を追跡するためにカプラ追跡器１７２ｂによって使用される。いくつかの実装形態では、図５Ｂに示したように、カプラ追跡器１７２ｂにより、画像１５１内の車両牽引ボール１２２が識別され、車両牽引ボール１２２の周りに牽引ボールバウンディングサークル５０４が生成される。ブロック３２４では、カプラ追跡器１７２ｂにより、バウンディングボックス１４４ｂが、バウンディングサークル５０４に到達するかまたはこれと重なるか否かが特定される。カプラ追跡器１７２ｂにより、バウンディングボックス１４４ｂがバウンディングサークル５０４に到達するかまたはこれと重なることが特定されると、トレーラ追跡器１７２ａは、ブロック３２６に示したように、牽引車両１００を停止するように運転支援システム１９０および／または運転システム１１０に指示する。

いくつかの実装形態では、ヒッチ支援システム１７０により、牽引車両１００を後方向Ｒに操縦する間に、追跡器１７２の、したがって運動補正システム１８０の精度を改善するために、追跡器１７２に加えて車両運動推定器１７４が実行される。車両運動推定器１７４は、ホイールエンコーダ１５４からホイールティックデータ１５５と、ステアリングホイール角度センサ１５６からステアリングホイール角度データ１５７とを受信して、車両位置、車両の向き、車速および車両角速度を特定する。追跡器１７２（すなわちトレーラ追跡器１７２ａおよびカプラ追跡器１７２ｂ）は、牽引車両１００が後方向Ｒに自律操縦するのに伴って、トレーラ２００またはトレーラカプラ２１２の追跡を改善するために、車両運動推定器１７４からのデータを使用可能である。いくつかの実施例において、追跡器出力データおよび車両運動推定器出力データは融合され、運動補正システム１８０は、融合されたこのデータに依拠して、トレーラ２００またはカプラ２１２に向かう車両操縦を決定する。

再び図２を参照すると、車両コントローラ１６０は、バウンディングボックス１４４、１４４ａ、１４４ｂに向かう自律操縦を車両１００に維持させる補正ステアリング角度を特定してこれを実現する運動補正システム１８０を実行する。牽引車両１００が、バウンディングボックス１４４に向かって自律操縦するのに伴い、運動補正システム１８０は、センサデータおよび追跡されたデータを連続して受信することに基づいて車両自律操縦を調整する。いくつかの実施例では、対象体検出システムにより、車両１００とトレーラ２００との間の１つ以上の対象体を識別し、１つ以上の対象体の位置に関連するデータを運動補正システム１８０に送信する。この場合、運動補正システム１８０により、１つ以上の対象体を回避するために車両自律操縦が調整される。いくつかの実施例では、運動補正システム１８０により、衝突の確率が特定され、衝突の確率が、あらかじめ定められた閾値を上回る場合、運動補正システム１８０により、車両自律運動操縦が調整され、これが運転支援システム１９０に送信される。

運動補正システム１８０によって車両自律運動操縦が特定されると、車両コントローラ１６０により、運転支援システム１９０が実行される。運転支援システム１９０それ自体には自律動作１９２が含まれる。自律動作１９２は、車両自律動作操縦を受信し、コマンド／命令１９１を運転システム１１０に送信する１つ以上の動作１９２ａ～ｃを実行して、車両自律運動操縦に基づいて車両１００に自律運転させ、これにより、バウンディングボックス１４４、１４４ａ、１４４ｂに向かって車両１００を自律運転させる。

自律動作１９２ａ～ｃは、ブレーキング動作１９２ａ、加減速動作１９２ｂ、ステアリング動作１９２ｃのような１つ以上の動作を含んでいてよいが、これらには限定されない。それぞれの動作１９２ａ～ｃは、後方への運転、特定の角度での方向転換、ブレーキング、加速、減速などのような行動を車両１００に取らせる。車両コントローラ１６０は、運転システム１１０を制御することによって、より具体的には運転システム１１０に信号、コマンドまたは命令１９１を出すことによって、道路表面にわたって任意の方向に車両１００を操縦可能である。

ブレーキング動作１９２ａは、車両自律操縦に基づき、車両１００を停止させるか、または車両１００を減速するために実行可能である。ブレーキング動作１９２ａは、牽引車両１００を停止するか、または牽引車両１００の速度を減じるために、運転システム１１０、例えばブレーキシステム（図示せず）に信号、コマンドまたは命令１９１を送信する。

加減速動作１９２ｂは、車両自律操縦に基づいて、加速または減速することにより、牽引車両１００の速度を変更するために実行可能である。加減速動作１９２ｂは、減速のためにブレーキシステム１１４に、または加速のために加速システム１１６に信号、コマンドまたは命令１９１を送信する。

ステアリング動作１９２ｃは、車両自律操縦に基づいて、牽引車両１００の方向を変更するために実行可能である。したがってステアリング動作１９２ｃは、運転システム１１０に方向を変更させるステアリングの角度を示す信号、コマンドまたは命令１９１を加速システム１１６に送信する。

上述のようにコントローラ１６０により、ヒッチ支援システム１７０、運動補正システム１８０および運転支援システム１９０がリアルタイムに実行される。したがって上記のシステムにより、限定された運転者入力しか必要としない自動化された方法が提供される。

図６には、図１～図５Ｂに示したシステムを使用して、選択されたトレーラ２００に向かって後方向Ｒに車両１００（例えば牽引車両）を自律操縦させる方法６００の動作の例示的な構成が示されている。方法６００では、ブロック６０２において、牽引車両１００の後部に位置付けられかつデータ処理ハードウェア１６２と通信するカメラ１５２から、１つ以上の画像をデータ処理ハードウェア１６２において受信する。方法６００では、ブロック６０４において、１つ以上の画像１５１内のトレーラ表現１４６の第１ユーザ選択（例えばトレーラバウンディングボックス１４４、１４４ａ）をデータ処理ハードウェア１６２において受信する。方法６００では、ブロック６０６において、トレーラ表現１４６の第１ユーザ選択１４４ａに関連付けられたトレーラ２００に向かって後方向Ｒに牽引車両１００を自律操縦させる第１命令１９１を、データ処理ハードウェア１６２から、データ処理ハードウェア１６２と通信する運転システム１１０に送信する。方法６００では、ブロック６０８において、１つ以上の画像１５１内のカプラ表現５０２の第２ユーザ選択（例えばカプラバウンディングボックス１４４、１４４ｂ）をデータ処理ハードウェア１６２において受信する。カプラ表現５０２は、トレーラ２００のトレーラカプラ２１２に関連付けられている。方法６００では、ブロック６１０において、カプラ表現５０２の第２ユーザ選択１４４ｂに関連付けられたトレーラカプラ２１２に向かって後方向Ｒに牽引車両１００を自律操縦させる第２命令１９１を、データ処理ハードウェア１６２から運転システム１１０に送信する。

いくつかの実装形態において、方法６００では、トレーラ表現の第１ユーザ選択に関連付けられたトレーラに向かって後方向に牽引車両が自律操縦するのに伴って、１つ以上の画像内のトレーラバウンディングボックス１４４ａを追跡する。方法６００ではまた、カプラ表現５０２の第２ユーザ選択１４４ｂに関連付けられたトレーラカプラ２１２に向かって後方向Ｒに牽引車両１００を自律操縦させるのに伴って、１つ以上の画像１５１内でカプラバウンディングボックス１４４ｂを追跡する。方法６００ではまた、１つ以上のホイールエンコーダ１５４からホイールティックセンサデータ１５５を、またステアリングホイール角度センサ１５６からステアリングホイール角度データ１５７を受信してもよい。方法６００では、ホイールティックセンサデータ１５５およびステアリングホイール角度データ１５７に基づいて、車両位置を特定し、トレーラおよびカプラに対して相対的な牽引車両位置に基づいて、第１命令および／または第２命令１９１をそれぞれ調整する。

いくつかの実装形態において、方法６００では、牽引車両１００の牽引ボール１２２の牽引ボール位置を特定する。後方向Ｒに牽引車両１００が自律操縦する間に、方法６００では、牽引ボールと、トレーラバウンディングボックス１４４ａまたはカプラバウンディングボックス１４４ｂの中心との間の長手方向距離Ｄ_Ｌｇおよび横方向距離Ｄ_Ｌｔを特定する。ここで中心１４５は、トレーラバウンディングボックス１４４ａまたはカプラバウンディングボックス１４４ｂの底部の中心である。いくつかの実施例では、第１および第２命令は、長手方向距離Ｄ_Ｌｇおよび横方向距離Ｄ_Ｌｔを減少させる。

ここで説明したシステムおよび技術のさまざまな実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（application specific integrated circuit）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはこれらの組み合わせで実現可能である。これらのさまざまな実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／またはインタープリト可能な１つ以上のコンピュータプログラムにおける実装形態を含むことができ、このプログラマブルプロセッサは、記憶システムおよび少なくとも１つの入力デバイスからデータおよび命令を受信し、また記憶システムおよび少なくとも１つの出力デバイスにデータおよび命令を送信するために接続される特殊用途または汎用のものであってよい。

（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）これらのコンピュータプログラムには、プログラマブルプロセッサ用の機械命令が含まれ、高水準手続き型および／またはオブジェクト指向プログラミング言語および／またはアセンブリ言語／機械語で実現可能である。ここで使用される「機械読み出し可能媒体」および「コンピュータ読み出し可能媒体」という用語は、機械読み出し可能信号として機械命令を受信する機械読み出し可能媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを供給するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば磁気ディスク、光ディスク、メモリ、ＰＬＤ（Programmable Logic Device））のことである。「機械読み出し可能信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを供給するために使用される任意の信号のことである。

本明細書で説明した対象事項および機能的な動作の実装形態は、本明細書で開示した複数の構造およびこれらの構造の等価物、またはこれらの１つ以上の組み合わせを含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェアまたはハードウェアで実現可能である。さらに本明細書で説明した対象事項は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するためにコンピュータ読み出し可能媒体に符号化されるコンピュータプログラム命令の１つ以上のモジュールとして実装可能である。コンピュータ読み出し可能媒体は、機械読み出し可能記憶装置、機械読み出し可能記憶基体、メモリデバイス、機械読み出し可能伝播信号に影響を及ぼす組成物、またはこれらの１つ以上の組み合わせであってよい。「データ処理装置」、「コンピューティングデバイス」および「コンピューティングプロセッサ」という用語には、例としてプログラマブルプロセッサ、コンピュータまたはマルチプロセッサまたはマルチコンピュータを含む、データを処理するすべての装置、デバイスおよび機械が包含される。装置は、ハードウェアに加えて、対象となるコンピュータプログラムに対する実行環境を作成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステムまたはこれらの１つ以上の組み合わせを構成するコードを含んでいてよい。伝播信号は、人工的に生成される信号、例えば、適切な受信装置への送信用に情報を符号化するために生成される、機械で生成される電気信号、光信号または電磁信号である。

同様に、動作は、図面において特定の順序で描画されているが、このことは、このような動作が、ここで示した特定の順序または順番に実行されるか、または所望の結果を達成するために、説明されたすべての動作が実行されることを要求していると理解すべきではない。特定の状況では、マルチタスキングおよび並列処理が有利になることがある。さらに、上述の複数の実施形態においてさまざまなシステムコンポーネントが分離されていることは、すべての実施形態においてこのように分離されることを要求していると理解すべきではなく、上述のプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に一体で統合可能であるか、または複数のソフトウェア製品にパッケージング可能であると理解すべきである。

ここまで多くの実装形態を説明した。それにもかかわらず、本開示の精神および範囲を逸脱することなく、さまざまな変更を行い得ることを理解されたい。したがって別の実装形態も以下の特許請求の範囲内にある。

Claims (12)

1. 牽引車両の後ろに位置付けられたトレーラに向かって前記牽引車両を自律操縦させる方法であって、前記方法は、
   前記牽引車両の後部に位置付けられかつデータ処理ハードウェアと通信するカメラから、１つ以上の画像を前記データ処理ハードウェアにおいて受信するステップと、
   １つ以上の前記画像内のトレーラ表現の第１ユーザ選択を前記データ処理ハードウェアにおいて受信するステップと、
   前記トレーラ表現の前記第１ユーザ選択に関連付けられた前記トレーラに向かって後方向に前記牽引車両を自律操縦させる第１命令を、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信する運転システムに送信するステップと、
   １つ以上の前記画像内の、前記トレーラのトレーラカプラに関連付けられたカプラ表現の第２ユーザ選択を前記データ処理ハードウェアにおいて受信するステップと、
   前記カプラ表現の前記第２ユーザ選択に関連付けられた前記トレーラカプラに向かって前記後方向に前記牽引車両を自律操縦させる第２命令を、前記データ処理ハードウェアから前記運転システムに送信するステップと、
   を含み、
   前記方法は、
   前記牽引車両の牽引ボールの牽引ボール位置を特定するステップと、
   前記後方向に前記牽引車両が自律操縦する間に、前記牽引ボール位置と、トレーラバウンディングボックスまたはカプラバウンディングボックスの中心との間の長手方向距離および横方向距離を特定するステップと、
   をさらに含み、
   前記中心は、前記トレーラバウンディングボックスまたは前記カプラバウンディングボックスの底部の中心である、
   方法。
2. 前記第１ユーザ選択には、前記トレーラ表現を取り囲むトレーラバウンディングボックスが含まれている、請求項１記載の方法。
3. 前記第２ユーザ選択には、前記カプラ表現を取り囲むカプラバウンディングボックスが含まれている、請求項１記載の方法。
4. 前記トレーラ表現の前記第１ユーザ選択に関連付けられた前記トレーラに向かって前記後方向に前記牽引車両が自律操縦するのに伴って、１つ以上の前記画像内で前記第１ユーザ選択を追跡するステップと、
   前記カプラ表現の前記第２ユーザ選択に関連付けられた前記トレーラカプラに向かって前記後方向に前記牽引車両が自律操縦するのに伴って、１つ以上の前記画像内で前記第２ユーザ選択を追跡するステップと、
   をさらに含む、請求項１記載の方法。
5. 前記データ処理ハードウェアと通信するセンサシステムからホイールティックセンサデータおよびステアリングホイール角度データを受信するステップと、
   前記ホイールティックセンサデータおよび前記ステアリングホイール角度データに基づいて牽引車両位置を特定するステップと、
   前記トレーラおよび前記トレーラカプラに対して相対的な前記牽引車両位置に基づいて、前記第１命令および／または前記第２命令をそれぞれ調整するステップと、
   をさらに含む、請求項４記載の方法。
6. 前記第１命令および前記第２命令は、前記長手方向距離および前記横方向距離を減少させる、請求項１記載の方法。
7. 牽引車両の後ろに位置付けられたトレーラに向かって前記牽引車両を自律操縦させるシステムであって、前記システムは、
   通信を行うデータ処理ハードウェアと、
   前記データ処理ハードウェアと通信するメモリハードウェアと、
   を有し、
   前記メモリハードウェアには、前記データ処理ハードウェア上で実行される場合に、前記データ処理ハードウェアに動作を実行させる命令が格納されており、前記動作は、
   前記牽引車両の後部に位置付けられかつ前記データ処理ハードウェアと通信するカメラから、１つ以上の画像を受信し、
   １つ以上の前記画像内のトレーラ表現の第１ユーザ選択を受信し、
   前記トレーラ表現の前記第１ユーザ選択に関連付けられた前記トレーラに向かって後方向に前記牽引車両を自律操縦させる第１命令を運転システムに送信し、
   １つ以上の前記画像内の、前記トレーラのトレーラカプラに関連付けられたカプラ表現の第２ユーザ選択を受信し、
   前記カプラ表現の前記第２ユーザ選択に関連付けられた前記トレーラカプラに向かって前記後方向に前記牽引車両を自律操縦させる第２命令を、前記運転システムに送信する、
   ことを含み、
   前記動作は、
   前記牽引車両の牽引ボールの牽引ボール位置を特定し、
   前記後方向に前記牽引車両が自律操縦する間に、前記牽引ボール位置と、トレーラバウンディングボックスまたはカプラバウンディングボックスの中心との間の長手方向距離および横方向距離を特定すること
   をさらに含み、前記中心は、前記トレーラバウンディングボックスまたは前記カプラバウンディングボックスの底部の中心である、
   システム。
8. 前記第１ユーザ選択には、前記トレーラ表現を取り囲むトレーラバウンディングボックスが含まれている、請求項７記載のシステム。
9. 前記第２ユーザ選択には、前記カプラ表現を取り囲むカプラバウンディングボックスが含まれている、請求項７記載のシステム。
10. 前記動作はさらに、
    前記トレーラ表現の前記第１ユーザ選択に関連付けられた前記トレーラに向かって前記後方向に前記牽引車両が自律操縦するのに伴って、１つ以上の前記画像内で前記第１ユーザ選択を追跡し、
    前記カプラ表現の前記第２ユーザ選択に関連付けられた前記トレーラカプラに向かって前記後方向に前記牽引車両が自律操縦するのに伴って、１つ以上の前記画像内で前記第２ユーザ選択を追跡する、
    ことを含む、請求項７記載のシステム。
11. 前記動作はさらに、
    前記データ処理ハードウェアと通信するセンサシステムからホイールティックセンサデータおよびステアリングホイール角度データを受信し、
    前記ホイールティックセンサデータおよび前記ステアリングホイール角度データに基づいて牽引車両位置を特定し、
    前記トレーラおよび前記トレーラカプラに対して相対的な前記牽引車両位置に基づいて、前記第１命令および／または前記第２命令をそれぞれ調整する、
    ことを含む、請求項１０記載のシステム。
12. 前記第１命令および前記第２命令は、前記長手方向距離および前記横方向距離を減少させる、請求項７記載のシステム。

Images