JP3224669U - 自動パンニングシステム - Google Patents

Abstract

【課題】より少ないコンピュータ能力しか必要とせず、自然で歪みのないパンニング操作が可能な、トレーラを取り付けた車両に適した自動パンニングシステムを提供する。【解決手段】自動パンニングシステムは、トレーラ４の視野による画像データをキャプチャするように適合された画像キャプチャ手段を備え、トレーラの少なくとも１つの細長要素１１ａ〜１１ｄを識別するために画像データを分析し、細長要素に基づいて画像データ内にベクトル２ａ〜２ｄを射影し、少なくとも１つの基準ベクトル２１を規定し、基準ベクトルおよび射影ベクトルの遮断点を識別するように構成される。【選択図】図１

Description

本考案（ｐｒｅｓｅｎｔ ｉｎｖｅｎｔｉｏｎ）は、一般に、車両内のリアビュー画像をパンするためのパンニングシステムに関する。

従来技術では、車両運転者のリアビュー視認性を向上させるための解決策を提供することが知られている。解決策は、異なる車両について知られており、その一例は、トレーラを有するトラックである。反射がリアビューを提示するために使用される従来のバックミラーおよびサイドミラーは、当該技術分野において長い間使用されており、例えば、ミラーが運転者によって手動で調整されることができるという特徴がある。ミラーを調整することに加えて、運転者は、ミラーに対して動き回ることによってミラーの視野を動かす可能性を有する。これは、運転者が頭を動かすことによって行われることが多く、その結果、車両の後方領域の異なる部分が見えるようになる。

１つまたは複数のカメラを、補完物としてまたは従来のバックミラーの代わりに配置することがよく知られている。カメラは、車両に対してリアビューを示すように適合されており、そのような解決策は、当該技術分野では、以前からリアビューカメラおよび電子バックミラーの双方に利用されてきた。

電子バックミラーおよびリバースカメラの場合、従来技術は、さらに、画像がパンされることを可能にするシステムを提示する。パンニングとは、従来のバックミラーシステムにおいてユーザがミラーに対して頭を動かすことによって達成するのと同様に、カメラまたは画像が調整されて車両の後方部分の異なる部分を示すことができることを意味する。しかしながら、従来技術のシステムは、特にトレーラを牽引する車両にとって複数の欠点を含む。トレーラを取り付けた車両が曲がると、トレーラがバックミラーの視界を遮り、トレーラがどのように動くのかを運転者が見ることを困難にする。これは、従来のミラーシステムおよびカメラを利用する従来のリアビューシステムの双方に存在する問題である。

上述したように、カメラなどの装置からの画像キャプチャに基づくバックミラー、サイドミラー、およびリアビューカメラの問題は、ミラーに対するユーザの視野角が、カメラから表示される画像に影響を及ぼさないことである。従来の反射ミラーでは、運転者は、頭を動かして視野を制御することができる。ディスプレイシステムでは、ユーザの頭の角度がディスプレイの角度に影響しないため、これは不可能である。同じ視野を達成するために、表示された画像は、従来のミラーよりもはるかに多くの周辺領域を常に表示する必要があるか、またはパンされる必要がある。より多くの情報を表示する解決策は、いくつかの実施形態においては有益であり得るが、同時に、操作者がより小さな物体を区別することを困難にする画像の解像度をもたらす。

したがって、パンニングシステムは、優れた代替手段であり、パンニングを実行する多くの方法がある。１つの解決策は、画像キャプチャ装置によって記録された画像内のオブジェクト認識を使用し、画像データ内の特定のオブジェクトの位置を記憶し、識別されたオブジェクトがユーザに表示されるパンされた画像データ内の同じ相対位置に常にあることを確かめることによって画像をパンすることである。

パンニングは、画像キャプチャ手段の角度を物理的に動かすことによっても、またはユーザに表示されるよりも大きい領域の画像データを常にキャプチャする画像キャプチャ手段を有することによっても達成されることができる。後者は、代わりに最も有用な情報を表示するために画像データを正しい部分に切り取る。

画像をパンする操作は、パン操作がどのように行われるかに関して複数の問題を提示する。優れたユーザ体験を提供し、従来のミラーを置き換えるために、画像データが一貫した結果を有する自然な方法でパンされることが重要である。従来技術に存在する１つの選択肢は、従来のバックミラーを調整するのと同様の方法でユーザがパン操作を手動で制御することができることである。これは、車両の操縦にさらなる作業を追加し、その結果、ユーザにとって使用が困難で不便な解決策をもたらす。

自動パンニングは、本考案者（ｉｎｖｅｎｔｏｒ）らによって実現されるように異なる方法で実行されることができる。しかしながら、考案者によって評価されたほとんどの解決策は、手動パンニングと同様の欠点を抱えている。例えば、トレーラなどの牽引されるオブジェクトの特定の特徴を画像内で認識することによってパンニングを行うことが可能である。認識されたオブジェクトは、ロゴ、インジケータ、または牽引されるオブジェクトのどこかにある画像内で識別可能な任意の他の形態のオブジェクトとすることができる。動作中にキャプチャ画像を分析することによって、画像内の認識されたオブジェクトの相対位置が識別されることができる。オブジェクトの相対位置に基づいて、認識されたオブジェクトを常に同じ相対位置に維持しながら画像をパンすることによってパン操作が制御されることができる。この解決策は、従来技術の問題のいくつかを解決するが、特に画像のパンニングがどのように機能するかに関して複数の欠点を有する。画像のパンニングは、トレーラのいかなる特定の場所に位置する点にも依存せず、異なる牽引オブジェクトが牽引オブジェクトの長さおよび高さに沿って異なる場所に配置されることができる。これは、パンニングの回転軸が、牽引オブジェクトが実際にどのように動くかに対応しない可能性があり、それによってユーザに不自然で歪んだパンニング体験を提供するという解決策を提供する。
さらにまた、そのような解決策は、異なる時間に異なる結果を提示する可能性があり、車両操作者に混乱を引き起こす。

必要な処理能力に関連して画像内のオブジェクトを位置付けることに依存する解決策にはさらなる欠点がある。そのような操作をリアルタイムで実行することは、操作を実行する装置からの大きな計算能力を必要とし、システムにおける遅延の危険性がある。

したがって、本解決策の１つの目的は、一貫した結果をユーザに提示する自然で歪みのないパンニング操作を提供することである。

本解決策の別の目的は、より少ないコンピュータ能力しか必要としない解決策を提供することである。

本解決策の別の目的は、従来のサイドミラーよりもユーザにとってより良い概観を可能にするサイドミラーを提供することである。

本解決策の別の目的は、交通への注意を損なうことなく有用な情報を運転者に表示することである。

したがって、この解決策は、トレーラを取り付けた車両に適した自動パンニングシステムに関し、前記自動パンニングシステムは、トレーラの視野による画像データをキャプチャするように適合された画像キャプチャ手段を備える。自動パンニングシステムは、トレーラの少なくとも１つの細長要素を識別するために画像データを分析し、前記細長要素に基づいて画像データ内にベクトルを射影し、少なくとも１つの基準ベクトルを規定し、基準ベクトルおよび前記射影ベクトルの遮断点を識別するように適合される。

本明細書における自動パンニングシステムは、サイドミラー（当該技術分野ではフェンダーミラー、ドアミラー、またはウィングミラーとも呼ばれる）からのデータに対応する画像データのパンニングに関するものであるが、バックミラーにおいてまたはバックカメラに関連して当業者によって理解されるように実装されることもできる。

トレーラの下端またはトレーラにおける印刷物の細長部分などの細長要素を識別することによって、前述したようなシステムでパンニングを実行するときに必要とされるのと同じ方法で画像を常に分析することなく計算を実行することができる。細長要素は、遮断点をもたらす規定された基準ベクトルと比較されることができるベクトルを射影するために使用される。これは、画像データをパンするためだけではなく計算がオブジェクトを常に分析する代わりに射影ベクトルと基準ベクトルとの間の遮断を見つけることを目的とすることから遮断点がトレーラの長さに関して一貫性のある点を提供するために有利である。

遮断点は、車両に取り付けられているトレーラのサイズ、形状、形態、および特性にかかわらず、パン操作を一貫性があって正確にするトレーラの終点のすぐ近くの点に対応する。

前述したように、パンニングシステムが画像をパンニングするために使用する点に関連してトレーラの回転軸がどこに位置しているかに応じて自動パンニングが異なって機能することは従来技術の解決策の問題である。本明細書でさらに説明するように、オブジェクト認識に基づいて単にオブジェクトを識別する代わりにトレーラの後端の位置を計算することによって、この問題を解決することが可能である。

一実施形態によれば、射影ベクトルは、識別された細長要素に沿って一定のオフセットで射影されることができる。

一実施形態によれば、射影ベクトルは、細長要素の接線である。

一実施形態によれば、パンニング速度は、より滑らかな体験を提供するように調整される。

より滑らかなパンニングは、パンニングが実行される速度を調整することによって達成されることができ、これは、より自然な体験が達成されるという効果を有する。

トレーラを取り付けた車両に適した自動パンニングシステムの一実施形態によれば、前記自動パンニングシステムは、トレーラの視野による画像データをキャプチャするように構成された画像キャプチャ手段を備える。自動パンニングシステムは、トレーラの少なくとも１つの細長要素を識別するために画像データを分析し、前記細長要素に基づいて画像データ内にベクトルを射影し、少なくとも１つの水平基準を規定し、水平基準および前記射影ベクトルの遮断点を識別するように構成される。

本解決策の１つの利点は、基準ベクトルの形態の水平基準が画像データ内に規定されることができるということである。一実施形態では、水平基準は、基準ベクトルを射影するために識別されて使用されることができる、地平線または任意の他の略平坦なオブジェクトなど、背景で利用可能な情報に基づいている。

一実施形態によれば、自動パンニングシステムは、さらに、前記識別された遮断点がキャプチャ画像データ内のトレーラの後端の位置に対応するように水平基準を規定するように構成される。

本解決策の１つの利点は、トレーラの後端がベクトル間の遮断点を介して識別されることができるということである。この解決策は、向上された自動パンニングを可能にする。

一実施形態によれば、自動パンニングシステムは、さらに、識別された遮断点に基づいてキャプチャ画像データをパンするように構成される。

一実施形態によれば、自動パンニングシステムは、さらに、リアルタイムで、パンされたキャプチャ画像データを車両の操作者に提示するように構成される。

一実施形態によれば、識別された細長要素は、トレーラの長手方向下端縁、トレーラの長手方向上端縁、トレーラの垂直後端縁、およびトレーラ側の印刷要素のうちのいずれか１つから選択される。

一実施形態によれば、基準ベクトルは、キャプチャ画像データの背景内の少なくとも１つの目立った点に基づいて決定される。

一実施形態では、基準ベクトルは、画像データの背景内のエッジ検出に基づいて計算される。

一実施形態によれば、車両のユーザには示されない連続的なパンニングが実行され、背景内の固定されたオブジェクトならびに地平線から、垂直方向に変化しないオブジェクトに関する情報を作成する。そのようなオブジェクトに基づいて、垂直方向に変化しないパンニングを形成するために基準ベクトルが規定される。

一実施形態によれば、基準ベクトルは、水平基準ベクトルである。

一実施形態によれば、自動パンニングシステムは、さらに、ディスプレイ、メモリ、およびプロセッサユニットを備える。

一実施形態によれば、画像キャプチャ手段は、トレーラを牽引する車両の上部に配置される。

一実施形態によれば、画像キャプチャ手段は、トレーラの高さの少なくとも８０％に対応する高さに配置される。

一実施形態によれば、画像キャプチャ手段は、通常はバックミラーが配置されるのと同じスポットに配置される。

一実施形態によれば、画像キャプチャ手段は、サイドミラーとともに配置される。

一実施形態によれば、画像キャプチャ手段は、サイドミラーの代わりに配置される。

一実施形態によれば、画像キャプチャ手段は、通常サイドミラーが配置されるのと同じスポットに配置される。

一実施形態によれば、システムは、さらに、遮断点からトレーラの反対側にあるさらなる遮断点を識別し、さらなる遮断点がトレーラの物理的特性、トレーラの以前の位置、および遮断点のうちの少なくとも１つに基づく可能な位置にあるかどうかを規定するように構成される。

実施形態を利用することによって遮断点が画像データを分析することによってトレーラの両側で識別されることが１つの利点である。画像データは、各側でトレーラの少なくとも１つの細長要素を識別するために分析される。各側において、細長要素に基づいてベクトルが画像データに射影される。システム、さらに、各側について少なくとも１つの基準ベクトルを規定し、各側についての基準ベクトルおよび射影ベクトルが交差する遮断点を識別するように適合される。これは、遮断点がどのように移動するかを分析することによって、すなわち、遮断点が可能であるか否かを分析することによって、トレーラの動きに関して予想外または不合理な読み取り値があるかどうかを判定するために使用されることができる。それにより、エラーの数を低減してパンニングをより正確にするために解決策が使用されることができる。

一実施形態によれば、さらなる遮断点がエラー結果を除去するために使用される。

一実施形態によれば、トレーラ位置に関する情報は、少なくとも１つの遮断点から計算される。

一実施形態によれば、トレーラ位置は、メモリに記録され、自動パンニングシステムがトレーラの最新の位置を知ることを可能にする。

自動パンニングシステムがトレーラの最新位置を知ることが本解決策による１つの利点である。一実施形態では、システムの再起動時、例えば車両の始動時に、トレーラの初期位置としてトレーラの最新位置が使用される。

一実施形態によれば、自動パンニングシステムは、少なくとも１つの遮断点に基づいて、トレーラが自然なおよび／または予測可能な方法で動いているかどうかを分析するように構成される。

関連性のない結果またはエラーの結果が解決策からフィルタリングされて、より優れたパンニング体験を作成できることが１つの利点である。

一実施形態によれば、自動パンニングシステムは、さらに、トレーラの動きを予測するために車輪の速度および角度の関数として車両速度を計算するように適合される。

一実施形態によれば、自動パンニングシステムは、画像キャプチャ手段を使用してトレーラの角度を推定するために画像データを分析し、トレーラの長さ、トレーラのヒッチオフセット、車両の車軸間の距離、車両の速度、および車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するように適合され、自動パンニングシステムは、さらに、将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するように適合される。

一実施形態によれば、自動パンニングシステムは、画像キャプチャ手段を使用してトレーラの角度を推定するために画像データを分析し、トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、および車両の速度を含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するように構成され、自動パンニングシステムは、さらに、将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するように構成される。

一実施形態によれば、トレーラが取り付けられた車両に適した自動パンニングシステムであって、前記自動パンニングシステムが、トレーラの視野による画像データをキャプチャするように適合された画像キャプチャ手段を備え、自動パンニングシステムが、画像キャプチャ手段を使用してトレーラの角度を推定するために画像データを分析し、トレーラの長さ、トレーラのヒッチオフセット、車両の車軸間の距離、車両の速度、および車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するように構成され、自動パンニングシステムが、さらに、将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するように適合される、ことを特徴とする自動パンニングシステムが提供される。

一実施形態によれば、トレーラが取り付けられた車両に適した自動パンニングシステムであって、前記自動パンニングシステムが、トレーラの視野による画像データをキャプチャするように適合された画像キャプチャ手段を備え、自動パンニングシステムが、画像キャプチャ手段を使用してトレーラの角度を推定するために画像データを分析し、トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、および車両の速度を含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測し、自動パンニングシステムが、さらに、将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するように構成される、ことを特徴とする自動パンニングシステムが提供される。

一実施形態によれば、自動パンニングシステムは、さらに、トレーラの少なくとも１つの細長要素を識別し、前記細長要素に基づいて画像データ内にベクトルを射影し、少なくとも１つの基準ベクトルを規定し、基準ベクトルおよび前記射影ベクトルの遮断点を識別するように適合される。

一実施形態によれば、自動パンニングシステムは、さらに、トレーラの予測トレーラ角度にその中心を有する仮想円錐を計算するように適合される。

一実施形態によれば、自動パンニングシステムは、仮想円錐を計算し、導関数計算パラメータに基づいて円錐の幅を判定するように適合される。

一実施形態によれば、自動パンニングシステムは、さらに、仮想円錐の外側の遮断点を破棄するように適合される。

トレーラを取り付けた車両内に配置されるように構成された自動パンニングシステムにおける一態様によれば、前記自動パンニングシステムは、車両に取り付けられたトレーラを含む画像データをキャプチャするように適合され、本方法は、
−画像データをキャプチャするステップと、
−トレーラの少なくとも１つの細長要素を識別するために画像データを分析するステップと、
−少なくとも１つの水平基準を規定するステップと、
−識別された細長要素のベクトルを射影するステップと、
−細長要素に基づく射影ベクトルと水平基準線との間の遮断点を識別するステップとを備える。

一実施形態によれば、水平基準は、前記遮断点がキャプチャ画像データ内のトレーラの後端の位置に対応するように規定される。

自動パンニングシステムにおける一実施形態によれば、以下のステップが実行される。
すなわち、
−遮断点に基づいて前記キャプチャ画像データをパンするステップが実行される。

一実施形態によれば、細長要素は、トレーラの長手方向下端縁、トレーラの長手方向上端縁、トレーラの垂直後端縁、およびトレーラ側の印刷要素のうちのいずれか１つから選択される。

一実施形態によれば、水平基準は、水平基準線である。

一実施形態によれば、水平基準は、キャプチャ画像データの背景内の少なくとも１つの目立った点に基づいて決定される。

一実施形態によれば、水平基準は、水平ベクトルである。

一実施形態によれば、解決策は、さらに、
−車両の速度を判定するステップと、
−画像データをキャプチャして分析するための処理時間を判定するステップと、
−前記車両の速度に基づいて処理時間閾値を判定するステップと、
−前記閾値を超えた場合、
−車両センサデータに基づいてキャプチャ画像データをパンするステップとを備える。

本解決策の１つの利点は、異なる速度、異なる移動方向（後進または前進）などの異なる移動モードについて、一実施形態における自動パンニングシステムが異なるアルゴリズムを使用して画像をパンすることである。これは、低速ではうまく機能するが高速では滑らかな体験を形成するには遅すぎる可能性がある解決策が、迅速ではあるが正確ではない解決策と組み合わせることができるという効果を有する。これらの解決法は、例えば車両の移動方向に関連した前方方向への高速移動においてより良い精度を提示する。

一実施形態によれば、本方法は、さらに、
−画像キャプチャ手段を使用してトレーラの角度を推定し、トレーラの長さ、トレーラのヒッチオフセット、車両の車軸間の距離、車両の速度、および車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するステップと、
−将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するステップとを備える。

一実施形態によれば、本方法は、さらに、
−画像キャプチャ手段を使用してトレーラの角度を推定し、トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、および車両の速度を含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するステップと、
−将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するステップとを備える。

一実施形態によれば、トレーラを取り付けた車両内に配置されるように適合された自動パンニングシステムにおける方法であって、前記自動パンニングシステムが、車両に取り付けられたトレーラの視野による画像データをキャプチャするように構成され、本方法が、
−画像データをキャプチャするステップと、
−画像キャプチャ手段を使用してトレーラの角度を推定し、トレーラの長さ、トレーラのヒッチオフセット、車両の車軸間の距離、車両の速度、および車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するステップと、
−将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するステップとを備える、方法が提供される。

一実施形態によれば、トレーラを取り付けた車両内に配置されるように適合された自動パンニングシステムにおける方法であって、前記自動パンニングシステムが、車両に取り付けられたトレーラの視野による画像データをキャプチャするように構成され、本方法が、
−画像データをキャプチャするステップと、
−画像キャプチャ手段を使用してトレーラの角度を推定し、トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、および車両の速度を含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するステップと、
−将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するステップとを備える、方法が提供される。

一実施形態によれば、本方法は、さらに、
−トレーラの少なくとも１つの細長要素を識別するために画像データを分析するステップと、
−少なくとも１つの水平基準を規定するステップと、
−識別された細長要素のベクトルを射影するステップと、
−細長要素に基づく射影ベクトルと水平基準線との間の遮断点を識別するステップとを備える。

一実施形態によれば、本方法は、さらに、
−トレーラの予測トレーラ角度にその中心を有する仮想円錐を計算するステップを備える。

一実施形態によれば、本方法は、さらに、
−導関数計算パラメータに基づいて判定された円錐の幅を計算するステップを備える。

一実施形態によれば、本方法は、さらに、以下のステップを備える。

−仮想円錐の外側の遮断点を破棄するステップ。

本考案（ｉｎｖｅｎｔｉｏｎ）は、添付の図面を参照して例としてここで説明される。

複数の可能なベクトルが射影されたトレーラの概略図を示している。

射影ベクトルと基準ベクトルとの間の遮断点が検出された自動パンニングシステムの一実施形態を示している。

パンされた画像データが識別された遮断点に基づいている、画像データおよびパンされた画像データの一実施形態を示している。

パンされた画像データが識別された遮断点に基づいている、画像データおよびパンされた画像データの別の実施形態を示している。

複数の可能なベクトルが射影されたトレーラの別の概略図を示している。

トレーラの両側からの画像データがパンニングに使用される画像データの一実施形態を示している。

以下において、解決策の異なる実施形態の詳細な説明が添付の図面を参照して開示される。本明細書におけるすべての例は、一般的な説明の一部として見なされるべきであり、したがって、一般的な用語の任意の方法で組み合わせることが可能である。様々な実施形態および態様の個々の特徴は、そのような組み合わせまたは交換が自動パンニングシステムの全体的な機能と明らかに矛盾しない限り、組み合わせまたは交換することができる。

簡単に言えば、解決策は、トレーラを有する車両のリアビューシステムにおける自動パンニングを向上させるための自動パンニングシステムに関する。システムは、トレーラの細長要素に基づく射影ベクトルと例えば地平線に基づく基準ベクトルとの間の遮断点を見つけることに焦点をおく。

図１は、車両（図示せず）の後方で牽引されるように適合されたトレーラ４の概略図を示している。トレーラは、後向きカメラ（図示せず）などの画像キャプチャ手段がキャプチャすることが可能である多数の細長要素１１ａ、１１ｂ、１１ｃ、１１ｄを備える。一実施形態では、後向きカメラは、トレーラ４の視野による画像データの良好な視界をキャプチャするために、トレーラを牽引する車両の高さの上部に配置される。細長要素１１ａ、１１ｂ、１１ｃ、１１ｄは、トレーラエッジなどの任意の形態の細長要素とすることができる。トレーラ端縁は、基準ベクトル２１と組み合わせて、トレーラ４がどれだけの長さであるか、またはトレーラ４の端部がどこに現在位置しているのかをシステムが識別することを可能にする方向にベクトルを射影するために使用されることができる。

図１は、さらに、トレーラ４の周囲の外側に延びるベクトル２ａ、２ｂ、２ｃ、２ｄを射影するためにどのように異なる細長要素１１ａ、１１ｂ、１１ｃ、１１ｄが使用されることができるかを示している。ベクトル２ａ、２ｂ、２ｃ、２ｄは、基準ベクトル２１との遮断点を判定するために使用されることができる。一実施形態におけるベクトル２ａ、２ｂ、２ｃ、２ｄのそれぞれは、ベクトル間の遮断点を識別するための基準ベクトル２１として使用可能であることにさらに留意すべきである。

図１に示すように、トレーラ４は、さらに、キャプチャ画像データ内の視野の一部である可視面１２ａを含む。

図２は、ここでは可視面１２ａの視野として示されているトレーラ４の視野によるキャプチャ画像データの概略図を示している。図２に示す実施形態では、基準ベクトル２１は、遮断点２２において射影ベクトル２ａと交差する水平基準ベクトル２１として画像データ内に規定されている。遮断点２２は、トレーラが終了する位置のすぐ近くにあり、それにより、一実施形態では、関連する画像データをパンするための良好な点を提供する。

図３は、パン操作が既に行われており、ユーザが例えばトレーラ４を牽引している車両の運転者領域に配置された画面上でパンされた画像データ１０を見る自動パンニングシステムにおけるキャプチャ画像データ１を示している。図３に示すようにパンされた画像データ１０からわかるように、トレーラ４の可視面１２ａは、左側に位置し、ユーザは、トレーラ４の近くに位置する他のオブジェクト９９を見ることができる。射影ベクトル２ａ、基準ベクトル２１、および遮断点２２は、説明の目的のためだけに示されており、一実施形態では、パンされた画像データ１０には示されていない。図３は、さらに、遮断点２２の概念、およびトレーラ４が牽引車両に対して曲がることに起因して遮断点２２が移動するときにパンされた画像データ１０が画像データ１内でどのように移動するかを示している。

図４は、図３に示すようなトレーラの下端縁の代わりにトレーラ側の細長要素１１ｄが識別されている別の実施形態を示している。それにより、図４は、射影ベクトル２ｄと基準ベクトル２１との間で遮断点２２が識別された別の実施形態を示している。

図５は、トレーラ４が前の実施形態よりも低いトレーラである自動パンニングシステムの別の実施形態を示している。本明細書に示されているトレーラは単なる例であり、任意の形態のトレーラがシステムとともに使用されることができる。それにより、図５は、同様の射影ベクトル２ａ、２ｂ、２ｃが他の種類のトレーラ４について射影されることができるという従来技術に対する１つの利点を示している。

図６は、遮断点２２が識別され、トレーラの反対側にあるさらなる遮断点２２ｂが識別される自動パンニングシステムの別の実施形態を示している。一実施形態では、さらなる遮断点２２ｂは、遮断点２２とは別の遮断点である。遮断点２２と組み合わされたさらなる遮断点２２ｂは、物理的に可能ではないであろうトレーラの動きなどの不合理な結果があるかどうかを判定するために使用される。一例は、トレーラが右に曲がっていることを遮断点２２が示し、トレーラが左に曲がることをさらなる遮断点２２ｂが示す状況である。一実施形態では、遮断点２２、２２ｂは、データ点と見なすことができ、自動パンニングシステムは、経時的に遮断点２２、２２ｂを表す複数のデータ点を収集する。後続のデータ点が物理的に不可能なまたは任意の他の方法で不合理な結果を提示する場合、システムは、そのような結果をフィルタリングしてパンニング体験をより良くすることができる。

図６は、さらに、パンニングシステムがさらなる遮断点２２ｂを使用して、外乱、信号エラー、または誤った結果を生み出す任意の他の形態の不要な情報によって影響を受けた結果をフィルタリングする実施形態を示している。そのような結果は、例えばシステムまたは画像データに干渉がある場合に起こり得る。典型的な例は、反射または画像データ内に見える別のオブジェクトであり得る。それにより、さらなる遮断点２２による解決策は、パンニングシステムによって使用されるアルゴリズムの精度を高める。

トレーラの両側を使用すること、すなわち、一方側からの検出されたトレーラ角度を他方側の検出と組み合わせて使用することによって、両側についての読み取り値の信頼性および正確性を向上させることができる。一実施形態では、両側からのデータのタイムスタンプを比較することによって精度をさらに向上させることができ、データは、遮断点２２およびさらなる遮断点２２ｂを表す異なるデータ点とすることができる。

一実施形態では、旋回中にトレーラが一方側に離れて移動するとき、画像遮断点２２または２２ｂは、画像データから外に移動したために存在しない可能性があることに留意されたい。同様に、遮断点２２の位置およびさらなる遮断点２２ｂの位置が比較されて、両側からの結果が他方側からの結果と両立すると判定することができる。例えば、一方側でトレーラの大部分がキャプチャ画像データ内で見えるようになるように遮断点２２が移動する場合、他方側ではトレーラのより少ない部分が見えるようになる。

一実施形態では、トレーラの以前の角度ならびにステアリングホイール、あるいはホイールの角度、および車両の速度を追跡することによる同様の解決策は、トレーラの角度のいくつかの変化が排除可能であることを可能にする。特に直進するときは、トレーラを車両とより一直線にするトレーラの動きのみが許容されるものとする。より高度な実装は、トレーラの長さ、トレーラのヒッチオフセット、車両の車軸間の距離、車両速度、および車両のステアリングホイール角度などの特性を使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測することを含む。画像キャプチャ手段および計算された導関数を使用してトレーラの角度を推定することによって、将来のトレーラ角度が予測されることができる。それゆえに、許容される角度の、計算された円錐、すなわち画像キャプチャ手段から後方に延びる仮想円錐の外側の検出された角度は、破棄されることができる。

一実施形態によれば、自動パンニングシステムは、さらに、計算された円錐の外側の遮断点を破棄するように適合される。一実施形態によれば、自動パンニングシステムは、ベクトル２ｂ、２ｃ、２ｄが基準ベクトル２１として使用されるときに計算円錐の外側の遮断点を破棄するように適合される。結果として、自動パンニングシステムは、例えば画像キャプチャ手段によってキャプチャされたトレーラの影から誤って識別された細長要素または線によって生成された誤った遮断点に基づいてキャプチャ画像をパンすることを回避する。効果として、操作者／運転者によって見られるような画像は飛びにくくなり、すなわち、トレーラが時折操作者によって見られるキャプチャ画像の外側にあることがあるために不快で安全ではない不規則なまたは不安定なパンニング移動を回避する。

一実施形態によれば、トレーラ角度は、車両の運転室に対するトレーラの角度を指す。

一実施形態によれば、ヒッチオフセットは、後輪とトレーラのヒッチポイントとの間の距離である。

一実施形態によれば、計算された円錐は、予測された位置、すなわち、一実施形態によれば、トレーラの予測されたトレーラ角度にその中心を有する。一実施形態によれば、円錐幅は、その計算に使用されるパラメータによって決定される。一実施形態によれば、パラメータは、導関数計算パラメータによって定義される。一実施形態によれば、パラメータは、導関数計算パラメータのうちの少なくとも１つによって定義される。一実施形態によれば、導関数計算パラメータは、順次計算または決定されることができる。円錐の幅を決定するために、パラメータの偏差が使用されて、個々にまたはまとめてパラメータの偏差に関する統計モデルに基づいてトレーラが移動した可能性がある最長および最短距離を計算することができる。一実施形態によれば、導関数計算パラメータは、自動パンニングシステム１に予め設定されることによって予め定義されてもよい。一実施形態によれば、円錐の終点または円錐の幅は、以前に識別された細長要素または遮断点と比較した偏差がなおも予め定義された閾値の範囲内の現在の最大偏差である自動パンニングシステムによって識別される細長要素または遮断点によって定義される。一実施形態によれば、閾値は、遮断点の移動速度についての制限を定義する。一実施形態によれば、高速は、誤った画像データを示すことができる。

一実施形態によれば、トレーラ４が取り付けられた車両に適した自動パンニングシステムであって、前記自動パンニングシステムが、トレーラ４の視野による画像データ１をキャプチャするように適合された画像キャプチャ手段を備え、自動パンニングシステムが、画像キャプチャ手段を使用してトレーラの角度を推定するために画像データ１を分析し、トレーラの長さ、トレーラのヒッチオフセット、車両の車軸間の距離、車両の速度、および車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、トレーラの回転導関数、特にトレーラの角度の導関数を予測するように構成され、自動パンニングシステムが、さらに、将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するように構成される、自動パンニングシステムが提供される。
一実施形態によれば、導関数計算パラメータは、トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、ならびに車両の速度を含む。一実施形態によれば、自動パンニングシステムは、トレーラの角度を推定するために画像データ１を分析するように適合され、それにより、推定は、基準ベクトル２１およびベクトル２ａ、２ｂの遮断点２２におけるベクトル２１、２ｂ、２ｃと基準ベクトル２１との間の角度を推定することを備えるかまたは推定することによって行われる。

一実施形態によれば、トレーラの動きを推定するために、すなわち、トレーラの回転導関数を予測するために、トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、および車両の速度が使用される。一実施形態によれば、さらに、車両の速度および車輪の角度は、トレーラの角度を予測するために連続的に測定される。
一実施形態によれば、トレーラに固有の固定距離は、計算が実行される前に設定されることができる。一実施形態によれば、固定距離は、速度および車輪角度および／またはステアリングホイール角度が、例えばトレーラ角度がゼロであるトレーラと運転室との位置合わせなどの既知の状態に到達するように制御され、既知の速度および車輪角度および／またはステアリングホイール角度を使用してトレーラを移動し、したがって既知の速度および車輪角度および／またはステアリングホイール角度ならびに画像キャプチャ手段を使用して識別されるトレーラの角度を使用して車両の固定距離を計算するようにさらに制御される開始シーケンスを使用して推定されることができる。特に、車両が数秒間直進していた場合、トレーラの位置は、車両の真後ろにあることがわかる。あるいは、例えば環状交差点において十分な時間運転している間、前輪の操舵角および／またはステアリングホイール角度が一定に保たれていた場合、トレーラの位置または角度がわかる。後続の旋回では、操舵角度および速度が測定されて、前記旋回におけるトレーラの測定された回転を使用して、未知のパラメータ、車輪距離およびヒッチオフセットについての正確な計算を提供することができる。これは、後の旋回において異なる速度および角度で繰り返され、これまで未知のパラメータを正確に判定することができる。一実施形態によれば、計算は、速度および車輪角度および／またはステアリングホイール角度の制御の精度に関連する精度で実行される。一実施形態によれば、自動パンニングシステムは、トレーラ４の少なくとも１つの細長要素１１ａ、１１ｂ、１１ｃ、１１ｄを識別し、前記細長要素１１ａ、１１ｂ、１１ｃ、１１ｄに基づいて画像データ１内のベクトル２ａ、２ｂ、２ｃを射影し、少なくとも１つの基準ベクトル２１を規定し、基準ベクトル２１および前記射影ベクトル２ａ、２ｂの遮断点２２を識別するように構成された自動パンニングシステムによってまたはそれに基づいて、画像データ１を分析してトレーラの角度を推定するように適合される。

一実施形態によれば、画像データ内の間違ったまたは誤った線または細長要素にロックオンする危険性、すなわち、トレーラの誤った細長要素に基づいて画像データ１内のベクトルを射影するとき、または基準ベクトル２１を規定するときが解消される。一実施形態によれば、動いている車両の場合、誤った線または細長要素は持続せず、自動パンニングシステムは、最後に線または細長要素を検出してからの時間を監視し、もはや孤立した要素または細長要素を検出することができなくなった場合には、１秒などの一定時間後に線または細長要素のロックを解除するように適合される。実際には、これは、システムがトレーラの線または細長要素を効率的にロックオンしながら、誤った線または細長要素がシステムを完全にロックダウンするのを防止することを可能にする。一実施形態によれば、システムは、さらに、停止時のトレーラの位置を覚えてシステムをより正確に起動することができる。

Claims (31)

1. トレーラ（１０）を取り付けた車両に適した自動パンニングシステムであって、前記自動パンニングシステムが、トレーラ（４）の視野による画像データ（１）をキャプチャするように適合された画像キャプチャ手段を備え、
   前記自動パンニングシステムが、トレーラ（４）の少なくとも１つの細長要素（１１ａ、１１ｂ、１１ｃ、１１ｄ）を識別するために画像データ（１）を分析し、前記細長要素（１１ａ、１１ｂ、１１ｃ、１１ｄ）に基づいて画像データ（１）内にベクトル（２ａ、２ｂ、２ｃ）を射影し、少なくとも１つの基準ベクトル（２１）を規定し、前記基準ベクトル（２１）および前記射影ベクトル（２ａ、２ｂ）の遮断点（２２）を識別するように適合される、ことを特徴とする自動パンニングシステム。
2. 自動パンニングシステムが、さらに、前記識別された遮断点（２２）が前記キャプチャ画像データ（１）内の前記トレーラの後端の位置に対応するように前記基準ベクトル（２１）を規定するように適合される、請求項１に記載の自動パンニングシステム。
3. 前記自動パンニングシステムが、さらに、前記識別された遮断点（２２）に基づいて前記キャプチャ画像データ（１）をパンするように適合される、請求項１または２のいずれか一項に記載の自動パンニングシステム。
4. 前記自動パンニングシステムが、さらに、リアルタイムで、前記パンされたキャプチャ画像データ（１０）を前記車両の操作者に提示するように適合される、請求項３に記載の自動パンニングシステム。
5. 前記識別された細長要素が、前記トレーラの長手方向下端縁（１１ａ）、前記トレーラの長手方向上端縁（１１ｃ）、前記トレーラの垂直後端縁（１１ｂ）、およびトレーラの印刷要素（１１ｄ）のうちのいずれか１つから選択される、請求項１から４のいずれか一項に記載の自動パンニングシステム。
6. 前記基準ベクトル（２１）が、前記キャプチャ画像データ（１）の背景内の少なくとも１つの目立った点に基づいて決定される、請求項１から５のいずれか一項に記載の自動パンニングシステム。
7. 前記基準ベクトル（２１）が水平基準ベクトルである、請求項１から６のいずれか一項に記載の自動パンニングシステム。
8. 前記自動パンニングシステムが、さらに、ディスプレイ、メモリ、およびプロセッサユニットを備える、請求項１から７のいずれか一項に記載の自動パンニングシステム。
9. 前記システムが、さらに、前記遮断点（２２）から前記トレーラ（１０）の反対側にあるさらなる遮断点（２２ｂ）を識別し、さらなる前記遮断点（２２ｂ）が、前記トレーラの物理的特性、前記トレーラの以前の位置、および前記遮断点（２２）のうちの少なくとも１つに基づく可能な位置にあるかどうかを規定するように適合される、請求項１から８のいずれか一項に記載の自動パンニングシステム。
10. 前記自動パンニングシステムが、さらに、トレーラの動きを予測するために前記車輪の速度および角度の関数として車両速度を計算するように適合される、請求項１から９のいずれか一項に記載の自動パンニングシステム。
11. 前記自動パンニングシステムが、前記画像キャプチャ手段を使用して前記トレーラの角度を推定するために画像データ（１）を分析し、前記トレーラの長さ、前記トレーラのヒッチオフセット、前記車両の車軸間の距離、前記車両の速度、および前記車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するように構成され、前記自動パンニングシステムが、さらに、将来のトレーラ角度を予測するために前記トレーラの角度および計算された導関数を使用するように適合される、請求項１から１０のいずれか一項に記載の自動パンニングシステム。
12. 前記自動パンニングシステムが、前記画像キャプチャ手段を使用して前記トレーラの角度を推定するために前記画像データ（１）を分析し、前記トレーラの車輪間の距離、前記車輪と前記ヒッチポイントとの間の距離、前記前輪の前記操舵角および／または前記ステアリングホイール角度、および前記車両の速度を含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するように適合され、自動パンニングシステムが、さらに、将来のトレーラ角度を予測するために前記トレーラの角度および前記計算された導関数を使用するように適合される、請求項１から１０のいずれか一項に記載の自動パンニングシステム。
13. トレーラ（４）が取り付けられた車両に適した自動パンニングシステムであって、前記自動パンニングシステムが、トレーラ（４）の視野による画像データ（１）をキャプチャするように適合された画像キャプチャ手段を備え、
    自動パンニングシステムが、前記画像キャプチャ手段を使用して前記トレーラの角度を推定するために前記画像データ（１）を分析し、前記トレーラの長さ、前記トレーラのヒッチオフセット、前記車両の車軸間の距離、前記車両の速度、および前記車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するように構成され、前記自動パンニングシステムが、さらに、将来のトレーラ角度を予測するために前記トレーラの角度および前記計算された導関数を使用するように適合される、ことを特徴とする自動パンニングシステム。
14. トレーラ（４）が取り付けられた車両に適した自動パンニングシステムであって、前記自動パンニングシステムが、前記トレーラ（４）の視野による画像データ（１）をキャプチャするように適合された画像キャプチャ手段を備え、
    前記自動パンニングシステムが、前記画像キャプチャ手段を使用して前記トレーラの角度を推定するために前記画像データ（１）を分析し、前記トレーラの車輪間の距離、前記車輪とヒッチポイントとの間の距離、前輪の操舵角および／またはステアリングホイール角度、および前記車両の速度を含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測し、前記自動パンニングシステムが、さらに、将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するように構成される、ことを特徴とする自動パンニングシステム。
15. 前記自動パンニングシステムが、さらに、前記トレーラ（４）の少なくとも１つの細長要素（１１ａ、１１ｂ、１１ｃ、１１ｄ）を識別し、前記細長要素（１１ａ、１１ｂ、１１ｃ、１１ｄ）に基づいて前記画像データ（１）内のベクトル（２ａ、２ｂ、２ｃ）を射影し、少なくとも１つの基準ベクトル（２１）を規定し、前記基準ベクトル（２１）および前記射影ベクトル（２ａ、２ｂ）の遮断点（２２）を識別するように適合される、請求項１３から１４のいずれか一項に記載の自動パンニングシステム。
16. 前記自動パンニングシステムが、さらに、前記トレーラの前記予測されたトレーラ角度にその中心を有する仮想円錐を計算するように適合される、請求項１１から１５のいずれか一項に記載の自動パンニングシステム。
17. 前記自動パンニングシステムが、さらに、前記仮想円錐の外側の遮断点を破棄するように適合される、請求項１６に記載の自動パンニングシステム。
18. トレーラ（４）を取り付けた車両内に配置されるように構成された自動パンニングシステムにおける方法であって、前記自動パンニングシステムが、車両に取り付けられた前記トレーラ（４）の視野による画像データ（１）をキャプチャするように適合され、方法が、
    −前記画像データをキャプチャするステップと、
    −前記トレーラの少なくとも１つの細長要素を識別するために前記画像データを分析するステップと、
    −少なくとも１つの水平基準を規定するステップと、
    −識別された細長要素のベクトルを射影するステップと、
    −前記細長要素に基づく前記射影ベクトルと前記水平基準線との間の遮断点を識別するステップとを備える、方法。
19. 前記水平基準が、前記遮断点が前記キャプチャ画像データ内の前記トレーラの後端の位置に対応するように規定される、請求項１８に記載の方法。
20. さらに、
    −前記遮断点（２２）に基づいて前記キャプチャ画像データ（１）をパンするステップを備える、請求項１８または１９のいずれか一項に記載の方法。
21. 前記識別された細長要素が、前記トレーラの長手方向下端縁（１１ａ）、前記トレーラの長手方向上端縁（１１ｃ）、前記トレーラの垂直後端縁（１１ｂ）、および前記トレーラの印刷要素（１１ｄ）のうちのいずれか１つから選択される、請求項１８から２０のいずれか一項に記載の方法。
22. 前記基準ベクトル（２１）が水平基準ベクトルである、請求項１８から２１のいずれか一項に記載の方法。
23. 前記水平基準が、前記キャプチャ画像データの背景内の少なくとも１つの目立った点に基づいて決定される、請求項１８から２１のいずれか一項に記載の方法。
24. さらに、
    −車両の速度を判定するステップと、
    −請求項１８に記載の前記ステップについての処理時間を判定するステップと、
    −前記車両の速度に基づいて処理時間閾値を判定するステップと、
    −前記閾値を超えた場合、
    −車両センサデータに基づいて前記キャプチャ画像データをパンするステップとを備える、請求項１８から２３のいずれか一項に記載の方法。
25. さらに、
    −前記画像キャプチャ手段を使用して前記トレーラの角度を推定し、前記トレーラの長さ、前記トレーラのヒッチオフセット、前記車両の車軸間の距離、前記車両の速度、および前記車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するステップと、
    −将来のトレーラ角度を予測するために前記トレーラの角度および計算された導関数を使用するステップとを備える、請求項１８から２４のいずれか一項に記載の方法。
26. さらに、
    −前記画像キャプチャ手段を使用して前記トレーラの角度を推定し、前記トレーラの車輪間の距離、前記車輪と前記ヒッチポイントとの間の距離、前記前輪の操舵角および／またはステアリングホイール角度、および前記車両の速度を含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するステップと、
    −将来のトレーラ角度を予測するために前記トレーラの角度および計算された導関数を使用するステップとを備える、請求項１８から２４のいずれか一項に記載の方法。
27. トレーラ（４）を取り付けた車両内に配置されるように適合された自動パンニングシステムにおける方法であって、前記自動パンニングシステムが、前記車両に取り付けられたトレーラ（４）の視野による画像データ（１）をキャプチャするように構成され、方法が、
    −画像データをキャプチャするステップと、
    −前記画像キャプチャ手段を使用してトレーラの角度を推定し、前記トレーラの長さ、前記トレーラのヒッチオフセット、前記車両の車軸間の距離、前記車両の速度、および前記車両のステアリングホイール角度のうちの少なくとも１つを含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するステップと、
    −将来のトレーラ角度を予測するために前記トレーラの角度および計算された導関数を使用するステップとを備える、方法。
28. トレーラ（４）を取り付けた車両内に配置されるように適合された自動パンニングシステムにおける方法であって、前記自動パンニングシステムが、前記車両に取り付けられた前記トレーラ（４）の視野による画像データ（１）をキャプチャするように構成され、方法が、
    −画像データをキャプチャするステップと、
    −前記画像キャプチャ手段を使用して前記トレーラの角度を推定し、前記トレーラの車輪間の距離、車輪とヒッチポイントとの間の距離、前記前輪の操舵角および／またはステアリングホイール角度、および前記車両の速度を含む導関数計算パラメータを使用して、前記トレーラの回転導関数、特に前記トレーラの角度の導関数を予測するステップと、
    −将来のトレーラ角度を予測するためにトレーラの角度および計算された導関数を使用するステップとを備える、方法。
29. さらに、
    −前記トレーラの少なくとも１つの細長要素を識別するために前記画像データを分析するステップと、
    −少なくとも１つの水平基準を規定するステップと、
    −識別された細長要素のベクトルを射影するステップと、
    −前記細長要素に基づく前記射影ベクトルと前記水平基準線との間の遮断点を識別するステップとを備える、請求項２７から２８のいずれか一項に記載の方法。
30. さらに、
    −前記トレーラの前記予測トレーラ角度にその中心を有する仮想円錐を計算するステップを備える、請求項２５から２９のいずれか一項に記載の方法。
31. さらに、
    −前記仮想円錐の外側の遮断点を破棄するステップを備える、請求項３０に記載の方法。

Images