JP2023514846A - 車両トレーラ角度算出方法およびシステム - Google Patents

Abstract

【課題】トレーラのヨー角を高ロバストネスと高正確度で計算する方法を提供する。【解決手段】本発明は、複数の撮影された画像に含まれる少なくとも１つの特徴（Ｆ１、Ｆ２）に基づいて、訂正情報を用いて、牽引車両（１）の前後方向軸（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定する方法に関する。

Description

本発明は、一般に、車両支援システムの分野に関する。特に、本発明は、牽引車両と連結されているトレーラのヨー角を車両のカメラにより提供される画像情報に基づいて計算する方法およびシステムに関する。

牽引車両に対するトレーラの角度を車両のカメラにより提供される画像情報に基づいて計算する方法は既知である。

特に、トレーラのピボット点の位置を考慮に入れずにトレーラヨー角の信頼性高い近似を提供する方法が知られている。その一方、この方法のヨー角近似の正確度は、特にヨー角が大きい場合に低い。

本発明の実施形態の課題は、トレーラのヨー角を高ロバストネスと高正確度で計算する方法を提供することである。本課題は、独立請求項の特徴により解決される。好ましい実施形態は従属請求項に記載されている。明示的に記載されていないが、本発明の実施形態は互いに自由に組み合わせ可能である。

１つの態様によると、本発明は、牽引車両の前後方向軸に対するトレーラのヨー角を決定する方法に関する。牽引車両は牽引棒を有する。この牽引棒に基づいて、トレーラを車両と連結することができる。本方法は以下の方法を備える。

まず、カメラを用いてトレーラの少なくとも第１および第２画像が撮影される。第１および第２画像は、車両に対するトレーラの方向が少なくとも２つの画像上において異なるように撮影される。

この画像の撮影後、トレーラの少なくとも第１特徴が決定される。この第１特徴は第１および第２画像上において可視である必要がある。

この決定された第１特徴に基づいて、第１角度推定が計算される。第１角度推定は、牽引車両のカメラの位置に対する、第１画像上の第１特徴と第２画像上の第１特徴との間の水平面におけるピボット角度を特徴付ける。言い換えれば、第１角度推定は、第１画像上の第１特徴の位置とこのカメラの位置との間に延在する第１線と、第２画像上の第１特徴の位置とこのカメラの位置との間に延在する第２線との間で限定されるピボット角度に関する。このピボット角度は車両からトレーラに向かって開口している。

以下において、少なくとも２つの画像上で検出された少なくとも１つの特徴に基づく少なくとも１つの角度推定を用いる方法は、「基礎アルゴリズム」と称される。

「第１／第２画像上の第１特徴の位置」の記載は、画像特徴の２Ｄ画像座標またはそれに対応する光線（例えば、３Ｄ単位ベクトルまたは方位角／仰角として示される）に関する。２Ｄ画像座標は、カメラ較正情報を用いて光線へと変換されてよい。

さらに、１つまたは複数の角度係数が提供される。この１つまたは複数の角度係数がこの第１角度推定についてのスケール化情報を提供する。従って、言い換えれば、この角度係数に基づいて、角度推定を修正することができ、これにより正確度の欠如を緩和することができる。

最後に、この第１角度推定に基づいておよびこの１つまたは複数の角度係数に基づいてトレーラのヨー角が計算される。

本方法が有利であるのは、ヨー角の計算のために２つ以上の画像を用いかつ少なくとも１つのトレーラ特徴を用いるため、トレーラ特徴の検出が高ノイズを有するか画質が劣悪である場合でさえも、ヨー角決定の結果が非常に信頼性高くかつロバストであるからである。この１つまたは複数の角度係数を用いるため、角度推定をスケール化することができ、これにより正確度を向上させることができる。

１つの形態によると、トレーラの少なくとも第１および第２特徴が決定される。この第１特徴は、第２特徴とは異なるトレーラの位置に配置される。例えば、第１特徴はトレーラの第１位置における明らかな第１特徴であってよく、第２特徴は第２位置における明らかな第２特徴であってよい。さらに、少なくとも第２角度推定が計算される。第２角度推定は、牽引車両のカメラの位置に対する、第１画像上の第２特徴と第２画像上の第２特徴との間の水平面におけるピボット角度を特徴付ける。言い換えれば、第２角度推定は、第１画像上の第２特徴の位置とこのカメラの位置との間に延在する第１線と、第２画像上の第２特徴の位置とこのカメラの位置との間に延在する第２線との間で限定されるピボット角度に関する。このピボット角度は車両からトレーラに向かって開口している。

トレーラの２つ以上の特徴を用いることにより、高い信頼性を有する結果を得ることができるのは、ノイズおよびミスマッチの影響を低減することができるからである。

１つの形態によると、この１つまたは複数の角度係数は、幾何情報に基づいて構築される。この幾何情報はカメラと牽引棒との間の距離と、カメラとトレーラの１つまたは複数の特徴との間の距離とを考慮に入れてよい。これにより、車両特徴（特にカメラと牽引棒との間の局所関係）間および車両とトレーラとの間の未知の幾何関係に起因する正確度の欠如を緩和することができる。

１つの形態によると、角度係数は、カメラと牽引棒との間の距離をカメラとトレーラの特徴との間の距離で除することにより構築される。特徴がカメラから遠ざかるほど、係数はゼロに近づく。

１つの形態によると、角度係数は、カメラと牽引棒との間の距離をカメラとトレーラの１つまたは複数の特徴との間の距離で除することにより構築される。これら距離について商を計算することにより、ヨー角決定の正確度をさらに向上することができる。

１つの形態によると、角度係数は、車両それぞれについて調整されている単一の係数である。この角度係数は、特定の車両特徴（特にカメラと牽引棒との間の局所関係）について予め定められてよく、具体的なトレーラを考慮に入れることなく用いられる。従って、言い換えれば、この単一の係数は「１つが全てのトレーラにフィットする」係数であってよい。これにより、演算コストを抑えつつ正確度の向上を達成することができる。単一の係数は、各角度推定に適用されるか、少なくとも２つの角度推定に基づいて構築される中央値または平均値に適用されてよい。従って、言い換えれば、少なくとも１つの角度推定がこの角度係数に基づいて直接的にスケール化されるか、複数の角度推定の平均値または中央値が計算され、この平均値または中央値がこの単一の角度係数によりスケール化されるかの何れかである。

１つの形態によると、この角度係数はトレーラそれぞれについて動的に適合される。従って、言い換えれば、角度係数は「１つが全てのトレーラにフィットする」係数として固定されておらず、どのトレーラが現在用いられているかに応じて動的に適合される。これにより、ヨー角決定の正確度がさらに向上する。

１つの形態によると、この角度係数の動的な適合は、ヨー角基準情報を決定し、この２つ以上の角度推定をこの基準アルゴリズムにより提供されるヨー角基準情報と比較することにより角度係数を適合する基準アルゴリズムを用いることにより行われる。基準アルゴリズムは、少なくともある状況において、基礎アルゴリズムにより提供される少なくとも１つの角度推定よりも正確であり、この１つまたは複数の角度係数を動的に構築するために用いられるヨー角基準情報を提供してよい。従って、言い換えれば、基礎アルゴリズムの結果は、この基準アルゴリズムにより提供される角度推定をスケール化するために用いられる。

１つの形態によると、基準アルゴリズムは以下のステップを行うように構成される。
－カメラと第１画像上の決定された第１特徴との間の光線が展開され、この光線は水平面上に投影され、これにより第１投影特徴位置が得られる。同様に、カメラと第２画像上の決定された第１特徴との間の光線が展開され、この光線はこの水平面上に投影され、これにより第２投影特徴位置が得られる。
－この決定された第１特徴に基づいて、第１直交二等分線が第１投影特徴位置の位置と第２投影特徴位置の位置との間に構築される。より詳細には、第１直交二等分線は、第１投影特徴位置の位置と第２投影特徴位置の位置とを結ぶ線の中点を通って直交する直線であってよい。
－第１直交二等分線の構築後、基準軸またはさらなる直交二等分線との第１直交二等分線の第１交点が決定される。
－最後に、第１基準角度推定に基づいてヨー角基準情報が提供され、この第１基準角度推定は、第１投影特徴位置からこの第１交点まで延在する第１線と第２投影特徴位置からこの第１交点まで延在する第２線との間のこの水平面における角度に関する。

「第１画像上の第１特徴の位置」の記載は、画像特徴の２Ｄ画像座標またはそれに対応する光線（例えば、３Ｄ単位ベクトルまたは方位角／仰角として示される）に関する。２Ｄ画像座標は、カメラ較正情報を用いて光線へと変換されてよい。

この第１基準角度推定は牽引車両からトレーラに向かって開口していてよい。

１つの形態によると、異なるヨー角に関する複数のヨー角基準情報はこの基準アルゴリズムに基づいて展開され、角度係数はこの複数のヨー角基準情報の平均値を展開することにより決定される。他の統計的方法も用いられてよく、例えば、外れ値を除外するために分散が用いられてよい。これにより、基準アルゴリズムのノイズの影響を緩和することができる。

１つの形態によると、第１または第２画像において、車両に対するトレーラのヨー角はゼロである。これにより、この画像を「ゼロポーズ画像」として、つまり車両の前後方向軸とトレーラの前後方向軸との厳密な位置合わせの基準として用いることができる。その一方、他のヨー角が既知である限り、この別のヨー角も基準値として用いることができる。

１つの形態によると、基礎アルゴリズムにおいて、第１角度推定を計算することは、カメラのこの位置と第１および第２画像におけるこの第１特徴との間の光線を決定することを備える。この光線は、このカメラ位置とこの第１特徴との間に延在する直線に関する。この光線に基づいて、現在のピボット角度を、例えば幾何的方法に基づいて、演算コストを抑えつつ決定することができる。

１つの形態によると、特に基礎アルゴリズムにおいて、この第１特徴の位置を光線に変換するためにカメラ較正情報が用いられる。例えば、カメラ較正情報を用いてカメラ位置の情報を有することで、画像上のある特徴の位置を、カメラの位置に応じてまたはそれに相関付けて位置情報に変換することができる。

１つの形態によると、この第１特徴の位置を画像の局所領域から車両または車両のカメラの位置の局所領域へと変換するために、カメラ較正情報が用いられる。例えば、カメラ較正情報を用いてカメラ位置の情報を有することで、画像上のある特徴の位置を、車両に含まれているか取り付けられているカメラの位置に応じてまたはそれに相関付けて位置情報に変換することができる。

１つの形態によると、ヨー角を計算するために、この第１特徴に加えて、トレーラの少なくとも１つのさらなる特徴が用いられる。２以上の特徴を用いることで、さらなる角度推定が得られ、これによりヨー角決定のロバストネスと信頼性がさらに向上する。

１つの形態によると、ヨー角は、少なくとも２つの角度推定に基づいて中央値を構築することにより計算される。これにより、非常に安定したヨー角決定を得ることができる。

他の形態によると、ヨー角は、少なくとも２つの角度推定の平均値を構築することによりまたはこの角度推定に適用される統計的方法を用いることにより計算される。

１つの形態によると、ヨー角基準情報を提供するために、少なくとも２つの異なるトレーラ特徴に基づく少なくとも２つの基準角度推定が構築され、ヨー角基準情報が、少なくとも２つの基準角度推定に基づいて中央値を構築することにより計算される。これにより、ヨー角基準情報の非常に安定した決定を得ることができる。

他の形態によると、ヨー角基準情報は、少なくとも２つの角度推定の平均値を構築することによりまたはこの角度推定に適用される統計的方法を用いることにより計算される。

１つの形態によると、本方法は、角度窓を決定するステップをさらに備える。この角度窓は、このヨー角の周りに上方境界と下方境界とを備えてよい。さらに、１セットの特徴が決定され、このセットの特徴内のこの特徴によりこの角度窓内に位置する角度推定が得られる。この決定されたセットの特徴、好ましくはこのセットの特徴に含まれる特徴のみが以降のヨー角計算に用いられる。従って、言い換えれば、以前のヨー角決定の情報を用いることにより、決定されたヨー角に非常に近い角度推定（つまり角度窓内）となるトレーラの２以上の特徴を決定し、決定されたヨー角から著しく逸脱する角度推定（つまり角度窓外）となるような特徴は追跡されない。これにより、角度推定の演算の複雑さと正確度を著しく低減することができる。

１つの形態によると、基準アルゴリズムにおいて、カメラと車両の牽引棒とが、垂直方向に方向付けられた平面であって、牽引車両の前後方向軸を含む平面に配置されている場合、基準軸は牽引車両の前後方向軸である。

別の形態によると、基準アルゴリズムにおいて、カメラおよび／または牽引棒が牽引車両の前後方向軸に対して横方向オフセットを有する場合、基準軸はカメラと牽引棒との間に延在する直線である。これにより、カメラと牽引棒との間の横方向オフセットを補償することができる。

１つの形態によると、カメラは、車両のリアビューカメラである。リアビューカメラに基づいて、技術的コストを抑えてトレーラの画像を撮影することができる。

別の形態によると、角度係数は、各特徴に関して独立して、その特徴について基準アルゴリズムに基づき、その特徴について基礎アルゴリズムに基づいて計算されてよい。係数はトレーラ角度とは独立しているため、基準アルゴリズムがその時点で正確でないか利用不可能である（数学的不安定、例えば低ヨー角におけるゼロ除算に起因する）場合でさえも、角度係数が異なるトレーラ角度で計算された場合でさえも、基礎アルゴリズムをスケール化するために角度係数を依然として用いることができる。

この場合、各画像特徴は、角度係数により基礎角度推定をスケール化して正確な角度推定を生成する。各特徴からのヨー角推定に基づいて推定トレーラヨー角を出力するために、平均値、中央値または他の統計的計測を用いることができる。

さらなる態様によると、牽引車両の前後方向軸に対するトレーラのヨー角を決定するシステムが開示される。本システムは、トレーラの画像を撮影するカメラと、この撮影された画像を処理する処理エンティティと、を備える。本システムは、
－カメラを用いてトレーラの少なくとも第１および第２画像を撮影するステップにおいて、車両に対するトレーラの方向が少なくとも２つの画像上において異なる、ステップと、
－第１および第２画像上において可視のトレーラの少なくとも第１特徴を決定するステップと、
－第１角度推定を計算するステップにおいて、第１角度推定が、牽引車両のカメラの位置に対する、第１画像上の第１特徴と第２画像上の第１特徴との間の水平面におけるピボット角度を特徴付ける、ステップと、
－１つまたは複数の角度係数を提供するステップにおいて、この１つまたは複数の角度係数がこの第１角度推定についてのスケール化情報を提供する、ステップと、
－この第１角度推定に基づいておよびこの１つまたは複数の角度係数に基づいてヨー角を計算するステップと、を実行するようにさらに構成される。

本方法の１つの形態として記載された上記特徴の何れも、本発明に係るシステムにおけるシステム特徴としても適用可能である。

さらに別の形態によると、上記形態の何れか１つによるシステムを備える車両が開示される。

本開示で用いられる「車両」の用語は、乗用車、貨物自動車、バス、列車または任意の他の船舶に関してよい。

本開示で用いられる「ヨー角」の用語は、車用の前後方向軸とトレーラの前後方向軸との間のピボット角度に関してよい。

本開示で用いられる「中央値」の用語は、データサンプルまたは確率分布の上半分と下半分を分ける値に関してよい。

本発明で用いられる「本質的に」または「略」の語は、厳密な値に対する＋／－１０％、好ましくは＋／－５％の偏差ならびに／または関数および／もしくは交通法規に関して重要ではない変化の形式を意味する。

その具体的な特徴と有利な点とを含む本発明の様々な態様は、以下の詳細な説明と添付の図面から容易に理解されるだろう。

図１は、トレーラを牽引する車両の例示的な上面図を示す。 図２は、トレーラと牽引車両との間の異なるピボット角度でカメラ画像により捕捉された第１および第２特徴に基づく角度推定を概略的に示す。 図３は、基準アルゴリズムによる、トレーラと牽引車両との間の異なるピボット角度でカメラ画像により捕捉された第１特徴に基づく基準角度推定を概略的に示す。 図４は、この基準アルゴリズムによる、トレーラと牽引車両との間の異なるピボット角度でカメラ画像により捕捉された第１および第２特徴に基づく基準角度推定を概略的に示す。 図５は、牽引車の前後方向軸に対するトレーラのヨー角を決定する方法のステップを示す概略的なブロック図を示す。

以下、例示的な実施形態が示される図面を参照して本発明をより完全に説明する。図中の実施形態は好ましい実施形態に関する一方、実施形態に関連して説明される全ての要素および特徴は、適切である限り、特に以下において説明される任意の他の実施形態に関連する、本明細中において説明される任意の他の実施形態および特徴とも組み合わせて用いられてよい。その一方、本発明は、本明細書に記載されている実施形態に限定されると見なされるべきではない。以下の説明を通して、同様の参照符号は、該当する場合、同様の要素、部材、アイテムまたは特徴を示すために用いられている。

明細書、特許請求の範囲、実施形態および／または図面により開示されている本発明の特徴は、別個とその組み合わせの両方において、その様々な形態において本発明を実現する材料であってよい。

図１は、トレーラ２を牽引する車両１の上面図を示す。車両１は、車両１の中心を通る前後方向軸ＬＡＶを備える。同様に、トレーラ２は、トレーラ２の中心を通る前後方向軸ＬＡＴを備える。トレーラ２は、牽引棒４を備えるトレーラヒッチを用いて車両１と連結されている。

いくつかの走行状況において、車両１の前後方向軸ＬＡＶおよびトレーラ２の前後方向軸ＬＡＴは平行に配置されていない場合があり、互いに一致しない場合があるが、これらの軸はヨー角ＹＡを限定できる。言い換えれば、ヨー角ＹＡは、車両１の前後方向軸ＬＡＶに対するトレーラ２の前後方向軸ＬＡＴの角度のずれを定義している。ヨー角ＹＡは、トレーラ２の前後方向軸ＬＡＴと車両１の前後方向軸ＬＡＶとを含む水平方向平面において測定されてよい。

ヨー角ＹＡは、とりわけ、例えばトレーラ支援システムにおいて有利である。

ヨー角ＹＡを決定するために、トレーラ２の少なくとも一部の複数の画像がカメラ３を用いて撮影される。カメラ３は、例えば、車両１のリアビューカメラであってよく、リアビューカメラは後退時に車両１の周辺の画像を撮影するために用いられてもよい。撮影画像の１つは、牽引車両１に対するトレーラ２の既知の角度配置を示してよい。この画像は、ヨー角ＹＡを算出するための基準として用いられてよい。この、牽引車両１に対するトレーラ２の既知の角度配置において、ヨー角ＹＡは０°であってよく、他の任意の角度値であってもよい。

図２は、トレーラ２の第１および第２特徴Ｆ１、Ｆ２の角度関係を説明する概略図であって、この特徴Ｆ１、Ｆ２が車両１の固定点に対して異なる時点および異なる角度位置で識別されている、概略図を示す。

カメラ３は、車両１に対するトレーラ２の角度位置が異なっている、異なる時点における２つ以上の画像を撮影してよい。例えば、画像系列が撮影されてよい。この画像系列は３つ以上、特に、６つ以上の画像を含んでよい。

本例において、第２画像は、ヨー角ＹＡ＝０°における、車両に対するトレーラ２の方向を示してよい。その一方、他の実施形態において、ヨー角ＹＡは、既知のものであって、現在のヨー角を決定するために用いることができる他の任意の基準ヨー角であってもよい。

カメラ３により撮影された画像において、複数の異なる特徴は識別可能であってよい。図２において、車両１のカメラ３の位置または基準軸に対して異なる角度位置で識別されている特徴Ｆ１、Ｆ２が示されている。第１特徴Ｆ１は正方形で示され、第２特徴は三角形により示されている。３つ以上の特徴と３つ以上の画像をヨー角推定のために用いることができることは言及に値する。また、ヨー角推定のために１つのみの特徴を用いることも可能である。

このようにして、第１および第２特徴Ｆ１、Ｆ２の上方ペア（特徴Ｆ１、Ｆ２をカメラ３と結ぶ実線の光線に関連）が第１画像において識別されてよく、第１および第２特徴Ｆ１、Ｆ２の下方ペア（特徴Ｆ１、Ｆ２をカメラ３と結ぶ破線の光線に関連）が異なる時点で第２画像において識別されてよい。

トレーラ２の特徴は、特徴検出およびマッチングのアルゴリズムを用いて位置特定およびマッチングされてよい。例えば、ハリスのコーナー検出法、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、高速化ロバスト特徴（ＳＵＲＦ）アルゴリズム、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）アルゴリズム、バイナリロバスト独立基本特徴（ＢＲＩＥＦ）アルゴリズム、方向付きＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）アルゴリズムまたは他の好適な特徴検出およびマッチングのアルゴリズムを用いてよい。

特徴検出およびマッチングのアルゴリズムはトレーラ上にあるかまたはトレーラ上にはない画像特徴を検出してよい。トレーラ特徴を非トレーラ特徴からセグメント化するために、複数の様々な方法が用いられてよい。例えば、直線前進走行の場合、トレーラ特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラ特徴からセグメント化されてよい。代替的に、背景特徴のモーションは車両の既知のモーションを用いて経時的にモデル化されてよい。これは、速度と操舵に関するＣＡＮデータから抽出されてよい。この場合、基本行列のエピポーラ拘束にフィットしない特徴をトレーラ特徴として考慮してよい。

角度推定α１、α２を求めるために、特徴Ｆ１、Ｆ２をカメラ３と結ぶ光線Ｒが用いられる。撮影画像の特徴Ｆ１、Ｆ２をカメラ３の位置と関連付けるために、カメラ３の較正情報を用いて、画像座標における特徴の位置をカメラの空間領域へと変換してよく、これにより、それぞれの特徴Ｆ１、Ｆ２の位置をこのカメラ位置と結ぶ光線Ｒを提供することが可能になる。言い換えれば、カメラ位置と特徴位置とを関連付けるために、画像上の特徴の位置は、カメラ３の較正情報に基づいて、車両１の局所領域、それぞれ車両１のカメラの局所領域において変換される。

カメラ位置と第１および第２画像における１つまたは複数の特徴との間の光線Ｒを決定した後、第１特徴Ｆ１および第２特徴Ｆ２のピボット角度が決定される。図２において、α１は２つの撮影画像間の第１特徴Ｆ１のピボット角度の角度推定を示し、α２は２つの撮影画像間の第２特徴Ｆ２のピボット角度の角度推定を示す。実施形態において、トレーラの１つのみまたは３つ以上の特徴が決定され、複数の画像にわたって追跡される。さらに、好ましくは、ヨー角推定の結果を向上させるために、３つ以上の画像が異なる時点で撮影される。

上述のように、撮影画像のうちの１つは、車両１に対するトレーラ２の角度位置が既知である基準画像となってよい。車両１に対するトレーラ２のこの角度構成において、ヨー角ＹＡは０°であってよく、他の任意の角度値であってもよい。従って、この少なくとも１つの角度推定α１、α２に基づいて、ヨー角ＹＡは算出されてよい。図２を再び参照すると、例えば、破線で示される光線Ｒの角度構成が既知であってよいのは、この光線Ｒを参照して画像を撮影する場合、トレーラ２は車両１に対して既知の基準方向を有するからである。

上記方法は非常にロバストであり、つまり画質が劣悪な場合でも角度推定を提供するが、角度推定の正確度は低い。多くの場合、少なくとも１つの角度推定α１、α２が実際のヨー角ＹＡよりも低いようであった。

正確度を向上させるため、本方法は１つまたは複数の角度係数を用い、これに基づいて角度推定がスケール化または修正されることにより、実際のヨー角に非常に近い角度推定が提供される。

角度係数は、車両１とトレーラ２との間の幾何状況を特徴付ける幾何情報に基づいて構築されてよい。より詳細には、角度係数は１セットの距離情報に基づいて計算されてよく、この１セットの距離情報は、カメラ３と車両１の牽引棒４との間の距離と、車両１のカメラ３とトレーラ２の少なくとも１つの特徴Ｆ１、Ｆ２との間の距離とを含む。特に、角度係数は、カメラ３と牽引棒４との間の距離と、車両１のカメラ３とトレーラ２のある特徴Ｆ１、Ｆ２との間の距離との除法（例えば、第１距離／第２距離）により計算されてよい。

角度推定をスケール化する１つまたは複数の角度係数を用いるための様々な可能性が複数存在する。

第１に、それぞれの車両１について単一の角度係数が予め構築されてよい。角度係数は、牽引棒４に対するカメラ３の距離を考慮に入れてよい。この単一の角度係数は、車両１の保存装置に保存されてよく、または車両１のソフトウェアにおいて堅固に実装されてもよい。

２つ以上の角度推定α１、α２を計算した後、この角度推定α１、α２に基づいて平均値を計算してよい。この平均値は、例えば、この展開された角度推定α１、α２の中央値であってよい。別の実施形態において、ヨー角ＹＡは展開された角度推定α１、α２の算術平均を計算することにより決定されてよい。さらなる別の実施形態において、ヨー角ＹＡはこの角度推定α１、α２に基づく確率過程、例えばＲＡＮＳＡＣアルゴリズム（ＲＡＮＳＡＣ、ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）または最小二乗アルゴリズムを用いて決定されてよい。

１つまたは複数の角度係数を提供する第２の可能性は、基準アルゴリズムに基づいて１つまたは複数の角度係数を動的に構築することである。特に、特定のトレーラ２について単一の角度係数が構築されてよく、または各角度係数がトレーラ２のある特徴Ｆ１、Ｆ２と関連付けられている複数の角度係数が構築されてよい。よって、言い換えれば、角度係数はトレーラ単位または特徴単位で動的に構築されてよい。

角度係数のこの動的な構築は上述のような角度推定α１、α２を用いるものであり、つまり、ある特徴について、第１画像上の特徴Ｆ１、Ｆ２と第２画像上の同一の特徴Ｆ１、Ｆ２との間のピボット角度が決定される。

単一の角度推定α１、α２または複数の角度推定α１、α２の平均値もしくは中央値を実際のヨー角ＹＡへとスケール化する角度係数を決定するために、単一の角度推定α１、α２または複数の角度推定α１、α２の平均値もしくは中央値は基準アルゴリズムの結果と比較され、これにより、基礎アルゴリズムの角度推定よりも正確度が高いヨー角基準情報が得られ、角度係数は、角度推定がヨー角基準情報と同等または本質的であるように選択される。特に、基準方法は、トレーラ２がその周りをピボットする牽引棒４の位置を考慮するように構成されてよい。

以下、図３に基づいて例示的な基準方法が開示される。図２と同様に、図３もまた、トレーラ２が牽引車両１とは異なるヨー角ＹＡを有する異なる時点におけるトレーラ２の第１および第２特徴Ｆ１、Ｆ２の角度関係を説明する概略図を示す。

角度係数が同一のトレーラ位置、それぞれトレーラヨー角に基づいて構築されることを確実にするために、基準アルゴリズムは、角度推定を計算するためにも用いられる同一の画像を用いることは言及に値する。

この基準アルゴリズムに基づく基準ヨー角の決定は、図３においてより詳細に示される。

図２と同様に図３においても、第１特徴Ｆ１に基づいて構築される第１投影特徴位置ＰＦＰ１ａ（第１投影特徴位置ＰＦＰ１ａをカメラ３と結ぶ実線の光線に関連）が第１画像において識別され、第２特徴Ｆ２に基づいて構築される第２投影特徴位置ＰＦＰ１ｂ（第２投影特徴位置ＰＦＰ１ｂをカメラ３と結ぶ実線の光線に関連）が異なる時点で第２画像において識別される。

この基準アルゴリズムに基づく基準ヨー角の決定は、図３においてより詳細に示される。この第１および第２画像間の第１および第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂの位置の変化は、少なくとも１つの基準角度推定β１を決定するために用いられる。

それぞれの画像における特徴識別後、第１および第２画像の第１特徴Ｆ１は共通の水平面に投影される。より詳細には、カメラ３と第１画像上の決定された第１特徴Ｆ１との間の光線が水平面上に投影されることにより、第１投影特徴位置ＰＦＰ１ａが得られる。さらに、カメラ３と第２画像上の決定された第１特徴Ｆ１との間の光線が同一の水平面上に投影されることにより、第２投影特徴位置ＰＦＰ１ｂが得られる。この投影は垂直方向に行われることにより、光線の仰角のみを変化させるのであって、方位角は変化させないことは言及に値する。

第１および第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂを決定した後、第１直交二等分線Ｂ１が、この第１および第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂに基づいて構築される。図３に示されるように、第１直交二等分線Ｂ１は、第１および第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂを結ぶ線に直交する線である。さらに、第１直交二等分線Ｂ１は、この連結線の中点を通る。この第１直交二等分線Ｂ１は、本実施形態においては車両の前後方向軸ＬＡＶである基準軸と交差する。（ＩＰ１により示される）第１直交二等分線Ｂ１と基準軸とのこの交点により回転点が得られ、この回転点の周りにトレーラは回転する。より詳細には、この交点により牽引棒４の位置が得られる。

この第１直交二等分線Ｂ１に基づいて、第１基準角度推定β１が計算される。この第１基準角度推定β１は、第１投影特徴位置ＰＦＰ１ａと、第１直交二等分線Ｂ１と基準軸との交点と、を結ぶ第１線Ｌ１と、第２投影特徴位置ＰＦＰ１ｂと、第１直交二等分線Ｂ１と基準軸との交点と、を結ぶ第２線Ｌ２との間に設けられる角度である。交点は、牽引棒４の位置を示してよい。より詳細には、第１基準角度推定β１は、水平面上に投影された第１画像における第１特徴Ｆ１の位置とこの水平面上に投影された第２画像における第１特徴Ｆ１の位置との間で、（牽引棒４の位置である）この第１交点ＩＰ１の周りの、水平面におけるトレーラ２のピボット角を特徴付ける。

第１基準角度推定β１は、トレーラ２のその現在の回転点の周りのヨー角ＹＡを表す。

図４は、ヨー角基準情報を構築するために異なる時点（トレーラ２が牽引車両１に対する異なるヨー角ＹＡを有する時点）において捕捉されたトレーラ２の第１および第２特徴Ｆ１、Ｆ２を用いる、図３と同様の実施形態を示す。特徴配置は図２の記載と同様である。

カメラ３により撮影された画像上において、複数の異なる特徴が識別可能である。図４に示されるように、この特徴は、車両１のカメラ３の位置に対して異なる角度位置において識別されている。第１特徴は正方形で示され、第２特徴は三角形により示されている。

図４において、第１および第２特徴Ｆ１、Ｆ２の上方ペア（ＰＦＰ１ａ、ＰＦＰ２ａにより示され、特徴をカメラ３と結ぶ実線の光線に関連）が第１画像において識別され、第１および第２特徴Ｆ１、Ｆ２の下方ペア（ＰＦＰ１ｂ、ＰＦＰ２ｂにより示され、特徴をカメラ３と結ぶ破線の光線に関連）が異なる時点で第２画像において識別されている。

ヨー角基準情報の決定は図３の実施形態と同様に行われる。主な相違点は、２つの基準角推定β１、β２が構築され、ヨー角基準情報がこの２つの基準角推定β１、β２に基づいて展開されることである。より詳細には、第１直交二等分線Ｂ１を構築し、第１基準角推定β１を得ることは、図３に関して上述したように行われる。

さらに、第２基準角推定β２は、第３投影特徴位置ＰＦＰ２ａと第４投影特徴位置ＰＦＰ２ｂとを構築し、第２交点ＩＰ２を得るために第２直交二等分線Ｂ２を構築し、第３投影特徴位置ＰＦＰ２ａおよび第４投影特徴位置ＰＦＰ２ｂをこの第２交点ＩＰ２と結ぶことにより得られる。この第３投影特徴位置ＰＦＰ２ａは、第１画像における第２特徴Ｆ２をこの水平面上に投影することにより得られ、第４投影特徴位置ＰＦＰ２ｂは、第２画像における第２特徴Ｆ２をこの水平面上に投影することにより得られる。第２交点ＩＰ２は、第２直交二等分線Ｂ２が基準軸、本実施形態においては車両の前後方向軸ＬＡＶと交差する点であってよい。第２基準角度推定β２は、第３投影特徴位置ＰＦＰ２ａと交点ＩＰ２とを結ぶ第１線Ｌ１と、第４投影特徴位置ＰＦＰ２ｂと交点ＩＰ２とを結ぶ第２線Ｌ２との間の角度である。

本実施形態において、基準軸が牽引車両１の前後方向軸ＬＡＶであるのは、カメラ３および牽引棒４が車両１のこの前後方向軸ＬＡＶ上に位置しているからである。他の実施形態において、カメラ３または牽引棒４が車両１の前後方向軸ＬＡＶに対して横方向オフセットを有する場合または車両１の前後方向軸ＬＡＶに対するカメラ３と牽引棒４の横方向オフセットが異なる場合、基準軸はカメラ３と牽引棒４を結ぶ直線により形成されてもよい。

理想的な条件下において、第１基準角度推定β１および第２基準角度推定β２は等しい（β１＝β２）ものであり、ヨー角ＹＡを示すものである。その一方、ノイズとミスマッチに起因して、第１および第２基準角度推定β１、β２の値は異なる場合がある。

トレーラ２の３つ以上の特徴が決定され、複数の画像にわたって追跡できることは言及に値する。さらに、好ましくは、ヨー角基準情報の結果を向上させるために、３つ以上の画像が異なる時点で撮影される。これにより、ヨー角基準情報決定の質を向上させるために３つ以上の基準角度推定β１、β２を構築することができる。

異なる値を有する第１および第２基準角度推定β１、β２に基づいてヨー角基準情報を決定するために、統計的計測を用いてよい。第１実施形態において、３つ以上の基準角度推定β１、β２の中央値を用いてヨー角基準情報を決定してよい。他の実施形態において、統計的方法を用いて３つ以上の基準角度推定β１、β２に基づいてヨー角基準情報を決定してよい。統計的方法は、例えばＲＡＮＳＡＣアルゴリズム（ＲＡＮＳＡＣ、ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）または最小二乗アルゴリズムであってよい。

角度係数をスケール化／適合するために用いることができる上記基準アルゴリズムは、方法の一例に過ぎないことは言及に値する。その一方、角度係数をスケール化／適合するために、他の基準アルゴリズムも用いられてよい。

この少なくとも１つの基準角度推定β１、β２に基づいて、ヨー角基準情報は展開されてよく、ヨー角基準情報に基づいて、角度係数の値は、角度推定α１、α２がヨー角基準情報に合わされるように選択されてよい。

上記基準方法に備わっている可能性があるノイズを除去するために、トレーラ２の異なるヨー角に関して複数の基準角度係数が展開されてよい。基準角度係数はヨー角の値に依存しない場合がある。従って、複数の角度係数を平均化することにより、例えば、移動平均または指数移動平均により、ノイズの影響を緩和することができる。

第３の例として、複数の角度係数が構築されてよく、各角度係数はトレーラ２のある特徴Ｆ１、Ｆ２に対応する。従って、言い換えれば、トレーラの全ての特徴Ｆ１、Ｆ２について単一の角度係数が用いられるのではなく、第１特徴Ｆ１については第１角度係数が用いられてよく、第２特徴Ｆ２については第２角度係数が用いられてよい。

この複数の角度係数は上記基準アルゴリズムを用いて動的に構築されてよい。

一例によると、角度推定α１、α２と角度係数とに基づいてヨー角ＹＡを決定するために以下の式が用いられてよい。

上記式を再構成して、角度推定α１、基準角度推定β１、基準角度推定β１に基づいて得られたヨー角基準情報それぞれを用いて、角度係数を求めることができる。

基準角度推定β１、ヨー角基準情報それぞれが、例えばノイズが多い特徴マッチングに起因して利用不可能な場合、以前に計算された角度係数を用いて正確な角度推定を生成するために、ノイズが多い特徴マッチングに対してロバストな角度推定α１が用いられてよい。

上記式は一例にすぎず、本開示はこの式の使用に限定されないことは言及に値する。従って、角度推定α１、α２と角度係数とに基づいてヨー角ＹＡを計算するために、他の式も用いられてよい。

理想的な条件下において、複数の角度推定α１、α２を構築する場合、第１角度推定α１および第２角度推定α２は等しい（α１＝α２）ものである。その一方、ノイズとミスマッチに起因して、第１および第２角度推定α１、α２の値は異なる場合がある。ヨー角決定の質を向上させるために３つ以上の角度推定を構築することができることは言及に値する。

異なる値を有する第１および第２角度推定α１、α２に基づいてヨー角ＹＡを決定するために、統計的計測を用いてよい。第１実施形態において、２つ以上の角度推定α１、α２の中央値を用いてヨー角ＹＡを決定してよい。他の実施形態において、統計的方法を用いて２つ以上の角度推定α１、α２に基づいてヨー角ＹＡを決定してよい。統計的方法は、例えばＲＡＮＳＡＣアルゴリズム（ＲＡＮＳＡＣ、ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）または最小二乗アルゴリズムであってよい。

撮影画像上の全ての可視の特徴がヨー角ＹＡの計算に好適であるわけではないようであった。演算の複雑さとロバストネスを小さくするために、そのような特徴が選択され、ヨー角ＹＡを決定するためにさらに用いられ、これにより、実際のヨー角に非常に近いピボット角度α１、α２が得られる。特徴選択のために、これらの特徴のみがそれ以降の画像において追跡され、これにより、実際のヨー角の周りの一定の窓におけるピボット角度α１、α２が得られる。例えば、窓は上方境界と下方境界により定義されてよく、この上方および下方境界はこの実際のヨー角の周りの角度窓を定義する。例えば、窓は２°～１０°、特に３°～５°の距離にわたって広がってよい。最後の２以上のヨー角決定ステップにおいてこの窓内のピボット角度を導いた全ての特徴は、次の撮影画像中においてさらに追跡される。

複数の画像について特定のトレーラ特徴を追跡する場合、トレーラ２の動きに起因して、この特徴のサンプルは円形のセグメントに配置されてよい。この円形のセグメントの中心は牽引棒４の位置を示す。従って、複数の画像にわたる特定のトレーラ特徴を追跡することにより、牽引棒４の位置を導出することができる。

ノイズを緩和するために、牽引棒４の位置の決定は、複数の画像にわたる期間に追跡される複数のトレーラ特徴を考慮に入れてよい。各トレーラ特徴は所定の中心推定を有する円形のセグメントに対応してよい。この複数の中心推定についての統計的方法を適用することにより、牽引棒４の実際の位置を展開することができる。統計的方法は、例えばＲＡＮＳＡＣアルゴリズムまたは最小二乗アルゴリズムであってよい。

図５は、牽引車１の前後方向軸ＬＡＶに対するトレーラ２のヨー角ＹＡを決定する方法の方法ステップを示す概略的なブロック図を示す。

第１ステップとして、トレーラの第１および第２画像が撮影される（Ｓ１０）。

画像撮影後、第１および第２画像上において可視のトレーラの少なくとも１つの特徴が決定される（Ｓ１１）。

この少なくとも１つの特徴の決定後、少なくとも第１角度推定が計算される（Ｓ１２）。

さらに、１つまたは複数の角度係数が提供されてよい（Ｓ１３）。この１つまたは複数の角度係数は、この少なくとも１つの角度推定についてのスケール化情報を提供する。

最後に、ヨー角が、第１角度推定に基づいておよびこの角度推定について訂正情報を提供する１つまたは複数の角度係数に基づいて計算される（Ｓ１４）。

なお、明細書と図面は提案される発明の原理を例示するに過ぎない。当業者であれば、明示的に本開示において説明または図示されていなくても、本発明の原理を具現化する様々な構成を実施できるだろう。

１ 車両
２ トレーラ
３ カメラ
４ 牽引棒
α１ 第１角度推定
α２ 第２角度推定
β１ 第１基準角度推定
β２ 第２基準角度推定
Ｂ１ 第１直交二等分線
Ｂ２ 第２直交二等分線
ＰＦＰ１ａ 第１画像における第１特徴の投影特徴位置
ＰＦＰ１ｂ 第２画像における第１特徴の投影特徴位置
ＰＦＰ２ａ 第１画像における第２特徴の投影特徴位置
ＰＦＰ２ｂ 第２画像における第２特徴の投影特徴位置
Ｆ１ 第１特徴
Ｆ２ 第２特徴
ＩＰ１ 第１交点
ＩＰ２ 第２交点
ＬＡＴ トレーラの前後方向軸
ＬＡＶ 車両の前後方向軸
Ｒ 光線
ＹＡ ヨー角

Claims (15)

1. 牽引棒（４）を有する牽引車両（１）の前後方向軸（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定する方法であって、
   －カメラ（３）を用いて前記トレーラ（２）の少なくとも第１および第２画像を撮影するステップにおいて、前記車両（１）に対する前記トレーラ（２）の方向が前記少なくとも２つの画像上において異なる、ステップ（Ｓ１０）と、
   －第１および第２画像上において可視の前記トレーラ（２）の少なくとも第１特徴（Ｆ１）を決定するステップ（Ｓ１１）と、
   －第１角度推定（α１）を計算するステップにおいて、前記第１角度推定（α１）が、前記牽引車両（１）の前記カメラ（３）の位置に対する、前記第１画像上の前記第１特徴（Ｆ１）と前記第２画像上の前記第１特徴（Ｆ１）との間の水平面におけるピボット角度を特徴付ける、ステップ（Ｓ１２）と、
   －１つまたは複数の角度係数を提供するステップにおいて、前記１つまたは複数の角度係数が前記第１角度推定（α１）についてのスケール化情報を提供する、ステップ（Ｓ１３）と、
   －前記第１角度推定（α１）に基づいておよび前記１つまたは複数の角度係数に基づいて前記ヨー角（ＹＡ）を計算するステップ（Ｓ１４）と、を備える方法。
2. 前記１つまたは複数の角度係数は、幾何情報に基づいて構築され、前記幾何情報はカメラ（３）と牽引棒（４）との間の距離と、カメラ（３）と前記トレーラ（２）の１つまたは複数の特徴（Ｆ１、Ｆ２）との間の距離とを考慮に入れる、請求項１に記載の方法。
3. 前記１つまたは複数の角度係数は、カメラ（３）と牽引棒（４）との間の距離をカメラ（３）と前記トレーラ（２）の１つまたは複数の特徴（Ｆ１、Ｆ２）との間の距離で除することにより構築される、請求項１または２に記載の方法。
4. 前記角度係数は、前記車両それぞれについて調整されている単一の係数である、請求項１～３の何れか１項に記載の方法。
5. 前記単一の係数は、少なくとも１つの角度推定（α１、α２）に適用されるか、少なくとも２つの角度推定（α１、α２）に基づいて構築される中央値または平均値に適用される、請求項４に記載の方法。
6. 前記角度係数はトレーラ（２）それぞれについて動的に適合される、請求項１～３の何れか１項に記載の方法。
7. 前記角度係数の動的な適合は、ヨー角（ＹＡ）を決定し、前記少なくとも１つの角度推定（α１、α２）を基準アルゴリズムにより提供されるヨー角基準情報と比較することにより前記角度係数を適合する前記基準アルゴリズムを用いることにより行われる、請求項６に記載の方法。
8. 前記基準アルゴリズムは、
   －前記カメラ（３）と前記第１画像上の決定された第１特徴との間の光線を水平面上に投影し、これにより第１投影特徴位置（ＰＦＰ１ａ）が得られ、前記カメラ（３）と前記第２画像上の決定された第１特徴との間の光線を前記水平面上に投影し、これにより第２投影特徴位置（ＰＦＰ１ｂ）が得られ、
   －前記第１投影特徴位置（ＰＦＰ１ａ）の位置と前記第２投影特徴位置（ＰＦＰ１ｂ）の位置との間の第１直交二等分線（Ｂ１）を構築し、
   －基準軸またはさらなる直交二等分線との第１直交二等分線（Ｂ１）の第１交点（ＩＰ１）を決定し、
   －第１基準角度推定（β１）に基づいてヨー角基準情報を提供し、前記第１基準角度推定（β１）は、第１投影特徴位置（ＰＦＰ１ａ）から前記第１交点（ＩＰ１）まで延在する第１線と第２投影特徴位置（ＰＦＰ１ｂ）から前記第１交点（ＩＰ１）まで延在する第２線との間の前記水平面における角度に関するように構成される、請求項７に記載の方法。
9. 異なるヨー角に関する複数のヨー角基準情報は前記基準アルゴリズムに基づいて展開され、前記角度係数は前記複数のヨー角基準情報の平均値を展開することにより決定される、請求項７または８に記載の方法。
10. 各特徴当たりに、様々な角度係数が提供されるか構築される、請求項１～３および６～９の何れか１項に記載の方法。
11. 各角度係数は、前記角度係数に対応する、カメラ（３）と牽引棒（４）との間の距離と、カメラ（３）と前記トレーラ（２）の前記それぞれの特徴（Ｆ１、Ｆ２）との間の距離との関係を考慮に入れることにより構築される、請求項１０に記載の方法。
12. 第１角度推定（α１）を計算するステップは、前記カメラ（３）の位置と第１および第２画像における前記少なくとも１つの特徴（Ｆ１、Ｆ２）との間の光線（Ｒ）を決定することを備える、請求項１～１１の何れか１項に記載の方法。
13. 前記光線（Ｒ）を決定するために、前記少なくとも１つの特徴（Ｆ１、Ｆ２）の位置を前記画像の局所領域から前記車両（１）の局所領域へと変換するために、カメラ較正情報が用いられる、請求項１２に記載の方法。
14. 前記ヨー角（ＹＡ）を計算するために、前記第１特徴（Ｆ１）に加えて、前記トレーラ（２）の１つまたは複数のさらなる特徴が用いられる、請求項１～１３の何れか１項に記載の方法。
15. 牽引車両（１）の前後方向軸（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定するシステムであって、前記トレーラ（２）の画像を撮影するカメラ（３）と、前記撮影された画像を処理する処理エンティティと、を備え、
    －カメラ（３）を用いて前記トレーラ（２）の少なくとも第１および第２画像を撮影するステップにおいて、前記車両（１）に対する前記トレーラ（２）の方向が前記少なくとも２つの画像上において異なる、ステップ（Ｓ１０）と、
    －第１および第２画像上において可視の前記トレーラ（２）の少なくとも第１特徴（Ｆ１）を決定するステップ（Ｓ１１）と、
    －第１角度推定（α１）を計算するステップにおいて、前記第１角度推定（α１）が、前記牽引車両（１）の前記カメラ（３）の位置に対する、前記第１画像上の前記第１特徴（Ｆ１）と前記第２画像上の前記第１特徴（Ｆ１）との間の水平面におけるピボット角度を特徴付ける、ステップ（Ｓ１２）と、
    －１つまたは複数の角度係数を提供するステップにおいて、前記１つまたは複数の角度係数が前記第１角度推定（α１）についてのスケール化情報を提供する、ステップ（Ｓ１４）と、
    －前記第１角度推定（α１）に基づいておよび前記１つまたは複数の角度係数に基づいて前記ヨー角（ＹＡ）を計算するステップ（Ｓ１５）と、を実行するようにさらに構成されるシステム。

Images