JPWO2021197652A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021197652A5
JPWO2021197652A5 JP2022549861A JP2022549861A JPWO2021197652A5 JP WO2021197652 A5 JPWO2021197652 A5 JP WO2021197652A5 JP 2022549861 A JP2022549861 A JP 2022549861A JP 2022549861 A JP2022549861 A JP 2022549861A JP WO2021197652 A5 JPWO2021197652 A5 JP WO2021197652A5
Authority
JP
Japan
Prior art keywords
angle
trailer
feature
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022549861A
Other languages
Japanese (ja)
Other versions
JP7480324B2 (en
JP2023514846A (en
Publication date
Priority claimed from EP20167183.1A external-priority patent/EP3889903A1/en
Application filed filed Critical
Publication of JP2023514846A publication Critical patent/JP2023514846A/en
Publication of JPWO2021197652A5 publication Critical patent/JPWO2021197652A5/ja
Application granted granted Critical
Publication of JP7480324B2 publication Critical patent/JP7480324B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、一般に、車両支援システムの分野に関する。特に、本発明は、牽引車両と連結されているトレーラのヨー角を車両のカメラにより提供される画像情報に基づいて計算する方法及びシステムに関する。 FIELD OF THE INVENTION The present invention relates generally to the field of vehicle assistance systems. In particular, the present invention relates to a method and system for calculating the yaw angle of a trailer coupled to a towing vehicle based on image information provided by a camera on the vehicle.

牽引車両に対するトレーラの角度を車両のカメラにより提供される画像情報に基づいて計算する方法は既知である。 Methods are known for calculating the angle of a trailer relative to a towing vehicle based on image information provided by a camera on the vehicle.

特に、トレーラの旋回点の場所を考慮に入れずにトレーラヨー角の信頼性高い近似を提供する方法が知られている。その一方、この方法のヨー角近似の正確度は、特にヨー角が大きい場合に低い。 In particular, methods are known which provide a reliable approximation of the trailer yaw angle without taking into account the location of the trailer's turning point. On the other hand, the accuracy of the yaw angle approximation of this method is low, especially when the yaw angle is large.

本発明の実施形態の課題は、トレーラのヨー角を高ロバストネスと高正確度で計算する方法を提供することである。本課題は、独立請求項の特徴により解決される。好ましい実施形態は従属請求項に記載されている。明示的に記載されていないが、本発明の実施形態は互いに自由に組み合わせ可能である。 It is an object of embodiments of the invention to provide a method for calculating the yaw angle of a trailer with high robustness and high accuracy. This problem is solved by the features of the independent claims. Preferred embodiments are described in the dependent claims. Although not explicitly described, embodiments of the invention can be freely combined with each other.

観点によると、本発明は、牽引車両の前後方向軸に対するトレーラのヨー角を決定する方法に関する。牽引車両はトウボールを備える。このトウボールに基づいて、トレーラを車両と連結できる。本方法は以下の方法を備える。 According to one aspect , the present invention relates to a method for determining the yaw angle of a trailer relative to the longitudinal axis of a towing vehicle. The towing vehicle is equipped with a tow ball . Based on this towball , the trailer can be connected to the vehicle. The method includes the following methods.

まず、カメラを使ってトレーラの少なくとも第1及び第2画像が撮影される。第1及び第2画像は、車両に対するトレーラの方向が少なくとも2つの画像上において異なるように撮影される。 First, at least first and second images of the trailer are captured using a camera. The first and second images are taken such that the orientation of the trailer relative to the vehicle is different on at least the two images.

前述の画像の撮影後、トレーラの少なくとも第1特徴が決定される。この第1特徴は第1及び第2画像上において可視である必要がある。 After taking said images, at least a first characteristic of the trailer is determined. This first feature needs to be visible on the first and second images.

この決定された第1特徴に基づいて、第1角度推定が計算される。第1角度推定は、牽引車両のカメラの位置に対する、第1画像上の第1特徴と第2画像上の第1特徴との間の水平面における旋回角度を特徴付ける。言い換えれば、第1角度推定は、第1画像上の第1特徴の位置とこのカメラの位置との間に延在する第1線と、第2画像上の第1特徴の位置とこのカメラの位置との間に延在する第2線との間で限定される旋回角度についてである。この旋回角度は車両からトレーラに向かって開口している。 A first angle estimate is calculated based on the determined first feature. The first angle estimate characterizes a turning angle in a horizontal plane between a first feature on the first image and a first feature on the second image with respect to the position of the camera of the towing vehicle. In other words, the first angle estimation is based on a first line extending between the position of the first feature on the first image and the position of this camera, and the position of the first feature on the second image and the position of this camera. It is about a turning angle defined between the position and a second line extending between the positions. This turning angle is open from the vehicle toward the trailer.

以下において、少なくとも2つの画像上で検出された少なくとも1つの特徴に基づく少なくとも1つの角度推定を使う方法は、「基礎アルゴリズム」として参照されるIn the following, the method using at least one angle estimation based on at least one feature detected on at least two images will be referred to as "basic algorithm".

「第1画像(又は第2画像)上の第1特徴の位置」の記載は、その画像特徴の2D画像座標又はそれに対応する光線(例えば、3D単位ベクトルもしくは方位角又は仰角として示される)についてである。2D画像座標は、カメラ較正情報を使って光線へと変換されてよい。 The description of "the position of the first feature on the first image (or second image) " refers to the 2D image coordinates of the feature in that image or its corresponding ray (e.g., expressed as a 3D unit vector or azimuth or elevation angle) It's about . 2D image coordinates may be converted to rays using camera calibration information.

さらに、1つ又はそれより多い角度係数が提供される。この1つ又はそれより多い角度係数がこの第1角度推定についてのスケール情報を提供する。従って、言い換えれば、この角度係数に基づいて、正確性の欠如を緩和するために角度推定を修正可能である。 Additionally, one or more angular coefficients are provided. The one or more angle coefficients provide scale information for the first angle estimate. Thus, in other words, based on this angle factor, the angle estimate can be modified to alleviate the lack of accuracy .

最後に、この第1角度推定に基づいてかつこの1つ又はそれより多い角度係数に基づいてトレーラのヨー角が計算される。 Finally, a yaw angle of the trailer is calculated based on the first angle estimate and based on the one or more angle coefficients.

本方法が有利であるのは、ヨー角の計算に画像又はそれより多い画像を使いかつ少なくとも1つのトレーラ特徴を使うので、トレーラ特徴の検出が高ノイズの悪影響を受けているかもしくは画質が劣悪である場合でも、ヨー角決定の結果が非常に信頼性高くかつロバストであるからである。この1つ又はそれより多い角度係数を使うので正確性を向上するため角度推定をスケールできる。 The advantage of this method is that it uses two or more images and at least one trailer feature to calculate the yaw angle, so the detection of trailer features is affected by high noise or image quality. This is because the results of the yaw angle determination are very reliable and robust even in poor cases. Using this one or more angle coefficients allows the angle estimate to be scaled to improve accuracy .

1実施形態によると、トレーラの少なくとも第1及び第2特徴が決定される。この第1特徴は、第2特徴とは異なるトレーラの位置に配置される。例えば、第1特徴はトレーラの第1場所で明らかな第1特徴であってよく、第2特徴は第2場所で明らかな第2特徴であってよい。さらに、少なくとも第2角度推定が計算される。第2角度推定は、牽引車両のカメラの位置に対する、第1画像上の第2特徴と第2画像上の第2特徴との間の水平面における旋回角度を特徴付ける。言い換えれば、第2角度推定は、第1画像上の第2特徴の位置とこのカメラの位置との間に延在する第1線と、第2画像上の第2特徴の位置とこのカメラの位置との間に延在する第2線との間で限定される旋回角度に関する。この旋回角度は車両からトレーラに向かって開口している。 According to one embodiment , at least first and second characteristics of the trailer are determined. This first feature is located at a different location on the trailer than the second feature. For example, the first feature may be a first feature apparent at a first location on the trailer, and the second feature may be a second feature apparent at a second location . Additionally, at least a second angle estimate is calculated. The second angle estimate characterizes the turning angle in the horizontal plane between the second feature on the first image and the second feature on the second image with respect to the position of the camera of the towing vehicle. In other words, the second angle estimation is based on a first line extending between the position of the second feature on the first image and the position of this camera, and the position of the second feature on the second image and the position of this camera. and a second line extending between the two positions. This turning angle is open from the vehicle toward the trailer.

トレーラの2つ又はそれより多い特徴を使うことにより、ノイズ及び不一致の影響を低減できるので、高信頼性を持つ結果を得られるBy using two or more features of the trailer, the effects of noise and discrepancies can be reduced, resulting in highly reliable results .

1実施形態によると、この1つ又はそれより多い角度係数は、幾何情報に基づいて設定される。この幾何情報はカメラとトウボールとの間の距離と、カメラとトレーラの1つ又はそれより多い特徴との間の距離とを考慮に入れてよい。これにより、車両特徴(特にカメラとトウボールとの間の局所関係)間及び車両とトレーラとの間の未知の幾何関係に起因する正確度の欠如を緩和できるAccording to one embodiment , the one or more angular coefficients are set based on geometric information. This geometric information may take into account the distance between the camera and the towball and the distance between the camera and one or more features of the trailer. This can alleviate the lack of accuracy due to unknown geometric relationships between vehicle features (particularly the local relationship between the camera and the towball ) and between the vehicle and the trailer.

1実施形態によると、角度係数は、カメラとトウボールとの間の距離をカメラとトレーラの特徴との間の距離で除したものである。特徴がカメラから遠ざかるほど、係数はゼロに近づく。 According to one embodiment , the angle factor is the distance between the camera and the towball divided by the distance between the camera and the trailer feature. The farther a feature is from the camera, the closer the coefficient approaches zero.

1実施形態によると、1つ又はそれより多い角度係数は、カメラとトウボールとの間の距離をカメラとトレーラの1つ又はそれより多い特徴との間の距離で除して計算される。これら距離商を計算することにより、ヨー角決定の正確度をさらに向上できるAccording to one embodiment , the one or more angular factors are calculated by dividing the distance between the camera and the towball by the distance between the camera and one or more features of the trailer. By calculating the quotient of these distances, the accuracy of yaw angle determination can be further improved.

1実施形態によると、角度係数は、車両それぞれについて調整されている単一の係数である。この角度係数は、特定の車両特徴(特にカメラとトウボールとの間の局所関係)について予め定められてよく、具体的なトレーラを考慮に入れることなく使われる。従って、言い換えれば、この単一の係数は「1つが全てのトレーラに当てはめる」係数であってよい。これにより、演算コストを抑えつつ正確度の向上を達成できる。単一の係数は、各角度推定に適用されるか、少なくとも2つの角度推定に基づいて設定される中央値又は平均値に適用されてよい。従って、言い換えれば、少なくとも1つの角度推定がこの角度係数に基づいて直接的にスケールされるか、複数の角度推定の平均値又は中央値が計算され、この平均値又は中央値がこの単一の角度係数によりスケールされるかの何れかである。 According to one embodiment , the angle coefficient is a single coefficient that is adjusted for each vehicle. This angle factor may be predetermined for specific vehicle characteristics (particularly the local relationship between camera and towball ) and is used without taking the specific trailer into account. Thus, in other words, this single coefficient may be a "one fits all" coefficient. This makes it possible to improve accuracy while reducing calculation costs. A single factor may be applied to each angle estimate or to a median or average value set based on at least two angle estimates. Thus, in other words, at least one angle estimate is directly scaled based on this angle coefficient, or the mean or median of multiple angle estimates is calculated, and this mean or median is scaled directly based on this angle coefficient. Either scaled by the angular factor.

1実施形態によると、この角度係数はトレーラそれぞれについて動的に適合される。従って、言い換えれば、角度係数は「1つが全てのトレーラに当てはめる」係数として固定されていないが、どのトレーラが現在用いられているかに応じて動的に適合される。これにより、ヨー角決定の正確度がさらに向上する。 According to one embodiment , this angle factor is adapted dynamically for each trailer. Thus, in other words, the angle factor is not fixed as a "one fits all" factor, but is adapted dynamically depending on which trailer is currently in use. This further improves the accuracy of yaw angle determination.

1実施形態によると、この角度係数の動的な適合は、ヨー角基準情報を決定し、この2つ又はそれより多い角度推定をこの基準アルゴリズムにより提供されるヨー角基準情報と比較することにより角度係数を適合する基準アルゴリズムを使うことにより行われる。基準アルゴリズムは、少なくともある状況において、基礎アルゴリズムにより提供される少なくとも1つの角度推定よりも正確であり、この1つ又はそれより多い角度係数を動的に設定するために使われるヨー角基準情報を提供してよい。従って、言い換えれば、基礎アルゴリズムの結果は、この基準アルゴリズムにより提供される角度推定をスケールするために使われるAccording to one embodiment , this dynamic adaptation of the angle coefficients includes determining yaw angle reference information and comparing the two or more angle estimates with the yaw angle reference information provided by the reference algorithm. This is done by using a reference algorithm that fits the angular coefficients. The reference algorithm provides yaw angle reference information that is, at least in some circumstances, more accurate than the at least one angle estimate provided by the base algorithm and that is used to dynamically set the one or more angle coefficients. You may provide it. Thus, in other words, the results of the base algorithm are used to scale the angle estimates provided by this reference algorithm.

1実施形態によると、基準アルゴリズムは以下のステップを行うように構成される。
‐カメラと第1画像上の決定された第1特徴との間の光線が展開され、この光線は水平面上に投影され、これにより第1投影特徴位置の場所が得られる。同様に、カメラと第2画像上の決定された第1特徴との間の光線が展開され、この光線はこの水平面上に投影され、これにより第2投影特徴位置の場所が得られる。
‐この決定された第1特徴に基づいて、第1直交二等分線が第1投影特徴位置の場所と第2投影特徴位置の場所との間に設定される。より詳細には、第1直交二等分線は、第1投影特徴位置の位置と第2投影特徴位置の位置とを結ぶ線の中点を通って直交する直線であってよい。
‐第1直交二等分線の設定後、基準軸線又はさらなる直交二等分線との第1直交二等分線の第1交点が決定される。
‐最後に、第1基準角度推定に基づいてヨー角基準情報が提供され、この第1基準角度推定は、第1投影特徴位置からこの第1交点まで延在する第1線と第2投影特徴位置からこの第1交点まで延在する第2線との間のこの水平面における角度に関する。
According to one embodiment , the reference algorithm is configured to perform the following steps.
- a ray between the camera and the determined first feature on the first image is developed and this ray is projected onto a horizontal plane, thereby obtaining the location of the first projected feature position; Similarly, a ray between the camera and the determined first feature on the second image is developed and projected onto this horizontal plane, thereby obtaining the location of the second projected feature position.
- Based on this determined first feature, a first orthogonal bisector is established between the location of the first projected feature location and the location of the second projected feature location. More specifically, the first orthogonal bisector may be a straight line that passes orthogonally through the midpoint of the line connecting the position of the first projected feature position and the position of the second projected feature position.
- After setting the first orthogonal bisector, a first point of intersection of the first orthogonal bisector with the reference axis or a further orthogonal bisector is determined.
- Finally, yaw angle reference information is provided based on a first reference angle estimate, which first reference angle estimate is based on a first line extending from the first projected feature position to this first intersection point and a second projected feature; It relates to the angle in this horizontal plane between the position and a second line extending from this first point of intersection.

「第1画像上の第1特徴の位置」の記載は、画像特徴の2D画像座標又はそれに対応する光線(例えば、3D単位ベクトルもしくは方位角又は仰角として示される)についてである。2D画像座標は、カメラ較正情報を使って光線へと変換されてよい。 The description of "position of the first feature on the first image" is in terms of 2D image coordinates of the image feature or its corresponding ray (e.g., expressed as a 3D unit vector or azimuth or elevation). 2D image coordinates may be converted to rays using camera calibration information.

この第1基準角度推定は牽引車両からトレーラに向かって開口していてよい。 This first reference angle estimation may open from the towing vehicle toward the trailer.

1実施形態によると、異なるヨー角に関する複数のヨー角基準情報はこの基準アルゴリズムに基づいて展開され、角度係数はこの複数のヨー角基準情報の平均値を展開することにより決定される。他の統計的方法も使ってよく、例えば、外れ値を除外するために分散を使ってよい。これにより、基準アルゴリズムのノイズの影響を緩和できるAccording to one embodiment , a plurality of yaw angle reference information for different yaw angles are developed based on this reference algorithm, and the angle coefficient is determined by developing an average value of the plurality of yaw angle reference information. Other statistical methods may also be used , for example, variance may be used to exclude outliers. This makes it possible to reduce the influence of noise in the reference algorithm.

1実施形態によると、第1又は第2画像において、車両に対するトレーラのヨー角はゼロである。これにより、この画像を「ゼロポーズ画像」として、つまり車両の前後方向軸とトレーラの前後方向軸との厳密な位置合わせの基準として使えるしかしながら、他のヨー角がわかっている限り、別のヨー角も基準値として使ってよいAccording to one embodiment , in the first or second image the yaw angle of the trailer with respect to the vehicle is zero. Thereby, this image can be used as a "zero pose image", that is, as a reference for exact alignment between the longitudinal axis of the vehicle and the longitudinal axis of the trailer. However , other yaw angles may also be used as reference values , as long as they are known .

1実施形態によると、基礎アルゴリズムにおいて、第1角度推定を計算することは、カメラのこの位置と第1及び第2画像におけるこの第1特徴との間の光線を決定することを備える。この光線は、このカメラ位置とこの第1特徴との間に延在する直線についてである。この光線に基づいて、現在の旋回角度を、例えば幾何的方法に基づいて、演算コストを抑えつつ決定できるAccording to one embodiment , in the basic algorithm, calculating the first angle estimate comprises determining a ray between this position of the camera and this first feature in the first and second images. This ray is about a straight line extending between the camera position and the first feature. Based on this ray, the current turning angle can be determined, for example based on a geometric method, with low computational costs.

1実施形態によると、特に基礎アルゴリズムにおいて、この第1特徴の位置を光線に変換するにカメラ較正情報が使われる。例えば、カメラ較正情報を使ってカメラ位置の情報を持つことで、画像上のある特徴の位置を、カメラの位置に応じて又はそれに相関させ場所の情報に変換できるAccording to one embodiment , camera calibration information is used to convert the position of this first feature into a ray, especially in the base algorithm. For example, by having camera position information using camera calibration information, the position of a certain feature on an image can be converted into location information depending on or correlated to the camera position.

1実施形態によると、この第1特徴の位置を画像のローカルドメインから車両又は車両のカメラの位置のローカルドメインへと変換するために、カメラ較正情報が使われる。例えば、カメラ較正情報を使ってカメラ位置の情報を有することで、画像上のある特徴の位置を、車両に含まれているか取り付けられているカメラの位置に応じて又はそれに相関付けて場所の情報に変換できるAccording to one embodiment , camera calibration information is used to transform the location of this first feature from the local domain of the image to the local domain of the location of the vehicle or vehicle camera. For example, by having camera position information using camera calibration information, the position of a certain feature on an image can be determined according to or correlated to the position of a camera included in or attached to the vehicle . It can be converted to .

1実施形態によると、ヨー角を計算するために、この第1特徴に加えて、トレーラの少なくとも1つのさらなる特徴が使われる。2つ又はそれより多い特徴を使うことで、さらなる角度推定が得られ、これによりヨー角決定のロバストネスと信頼性がさらに向上する。 According to one embodiment , in addition to this first feature, at least one further feature of the trailer is used to calculate the yaw angle. By using two or more features, additional angle estimates can be obtained, which further improves the robustness and reliability of the yaw angle determination.

1実施形態によると、ヨー角は、少なくとも2つの角度推定に基づいて中央値を設定することにより計算される。これにより、非常に安定したヨー角決定を得られるAccording to one embodiment , the yaw angle is calculated by setting a median value based on at least two angle estimates. This results in a very stable yaw angle determination.

他の実施形態によると、ヨー角は、少なくとも2つの角度推定の平均値を設定することにより又はこの角度推定に適用される統計的方法を使うことにより計算される。 According to other embodiments , the yaw angle is calculated by setting an average value of at least two angle estimates or by using statistical methods applied to this angle estimate.

1実施形態によると、ヨー角基準情報を提供するに、少なくとも2つの異なるトレーラ特徴に基づく少なくとも2つの基準角度推定が設定され、ヨー角基準情報が、少なくとも2つの基準角度推定に基づいて中央値を設定することにより計算される。これにより、ヨー角基準情報の非常に安定した決定を得られるAccording to one embodiment , at least two reference angle estimates based on at least two different trailer characteristics are configured to provide the yaw angle reference information, and the yaw angle reference information is based on the at least two reference angle estimates. Calculated by setting the median value. This results in a very stable determination of the yaw angle reference information.

他の実施形態によると、ヨー角基準情報は、少なくとも2つの角度推定の平均値を設定することにより又はこの角度推定に適用される統計的方法を使うことにより計算される。 According to other embodiments , the yaw angle reference information is calculated by setting an average value of at least two angle estimates or by using statistical methods applied to this angle estimate.

1実施形態によると、本方法は、角度窓を決定するステップをさらに備える。この角度窓は、このヨー角の周りに上方境界と下方境界とを備えてよい。さらに、1セットの特徴が決定され、このセットの特徴内のこの特徴によりこの角度窓内に位置する角度推定が得られる。この決定されたセットの特徴、好ましくはこのセットの特徴に含まれる特徴のみが以降のヨー角計算に使われる。従って、言い換えれば、以前のヨー角決定の情報を使うことにより、決定されたヨー角に非常に近い角度推定(つまり角度窓内)となるトレーラの2つ又はそれより多い特徴を決定し、決定されたヨー角から著しく逸脱する角度推定(つまり角度窓外)となるような特徴は追跡されない。これにより、角度推定の演算の複雑さと正確度を著しく低減できるAccording to one embodiment , the method further comprises determining an angular window. The angle window may have an upper boundary and a lower boundary around the yaw angle. Furthermore, a set of features is determined, and this feature within the set of features provides an angle estimate that lies within this angle window. This determined set of features, preferably only the features included in this set of features , are used for subsequent yaw angle calculations. Thus, in other words, by using the information of the previous yaw angle determination, two or more features of the trailer that result in an angle estimate very close to the determined yaw angle (i.e. within the angle window) are determined and determined. Features that result in angle estimates that deviate significantly from the calculated yaw angle (i.e., outside the angle window) are not tracked. This can significantly reduce the complexity and accuracy of angle estimation calculations.

1実施形態によると、基準アルゴリズムにおいて、カメラと車両のトウボールとが、垂直方向に方向付けられた平面であって、牽引車両の前後方向軸を含む平面に配置されている場合、基準軸は牽引車両の前後方向軸である。 According to one embodiment , in the reference algorithm, if the camera and the tow ball of the vehicle are located in a vertically oriented plane that includes the longitudinal axis of the towing vehicle, the reference axis The line is the longitudinal axis of the towing vehicle.

別の実施形態によると、基準アルゴリズムにおいて、カメラとトウボールとの少なくとも一方が牽引車両の前後方向軸に対して横方向のずれ(オフセット)を有する場合、基準軸はカメラとトウボールとの間に延在する直線である。これにより、カメラとトウボールとの間の横方向オフセットを補償できるAccording to another embodiment , in the reference algorithm, if at least one of the camera and the towball has a lateral offset with respect to the longitudinal axis of the towing vehicle, the reference axis is determined between the camera and the towball . It is a straight line extending between. This makes it possible to compensate for lateral offsets between the camera and the towball .

1実施形態によると、カメラは、車両のリアビューカメラである。リアビューカメラに基づいて、技術的コストを抑えてトレーラの画像を撮影できるAccording to one embodiment , the camera is a rear view camera of the vehicle. Based on a rear-view camera, images of the trailer can be captured with low technical costs.

別の実施形態によると、角度係数は、各特徴に関して独立して、その特徴について基準アルゴリズムに基づき、その特徴について基礎アルゴリズムに基づいて計算されてよい。(角度)係数はトレーラ角度とは独立しているため、基準アルゴリズムがその時点で正確でないか利用不可能である(数学的不安定、例えば低ヨー角におけるゼロ除算に起因する)場合でさえも、角度係数が異なるトレーラ角度で計算された場合でさえも、基礎アルゴリズムを変える(スケールする)ために角度係数を依然として使ってよいAccording to another embodiment , the angle coefficient may be calculated independently for each feature based on a reference algorithm for that feature and based on a base algorithm for that feature. The (angle) factor is independent of the trailer angle, so even if the reference algorithm is not accurate or available at the time (due to mathematical instability, e.g. division by zero at low yaw angles) , even if the angle coefficients are calculated at different trailer angles, the angle coefficients may still be used to scale the underlying algorithm.

この場合、各画像特徴は、角度係数により基礎角度推定をスケールして正確な角度推定を生成する。各特徴からのヨー角推定に基づいて推定トレーラヨー角を出力するために、平均値、中央値又は他の統計的計測を使ってよいIn this case, each image feature scales the base angle estimate by an angle factor to produce an accurate angle estimate. An average, median, or other statistical measure may be used to output an estimated trailer yaw angle based on the yaw angle estimate from each feature.

さらなる観点によると、牽引車両の前後方向軸に対するトレーラのヨー角を決定するシステムが開示される。本システムは、トレーラの画像を撮影するカメラと、この撮影された画像を処理する処理実体と、を備える。本システムは、
‐カメラを使うトレーラの少なくとも第1及び第2画像を撮影するステップにおいて、車両に対するトレーラの方向が少なくとも2つの画像上において異なる、ステップと、
‐第1及び第2画像上において可視のトレーラの少なくとも第1特徴を決定するステップと、
‐第1角度推定を計算するステップにおいて、第1角度推定が、牽引車両のカメラの位置に対する、第1画像上の第1特徴と第2画像上の第1特徴との間の水平面における旋回角度を特徴付ける、ステップと、
‐1つ又はそれより多い角度係数を提供するステップにおいて、この1つ又はそれより多い角度係数がこの第1角度推定についてのスケール情報を提供する、ステップと、
‐この第1角度推定に基づいて及びこの1つ又はそれより多い角度係数に基づいてヨー角を計算するステップと、を実行するようにさらに構成される。
According to a further aspect , a system for determining a yaw angle of a trailer relative to a longitudinal axis of a towing vehicle is disclosed. The system includes a camera that captures images of the trailer, and a processing entity that processes the captured images. This system is
- taking at least first and second images of the trailer using a camera, the orientation of the trailer relative to the vehicle being different on the at least two images;
- determining at least a first feature of the trailer visible on the first and second images;
- calculating a first angle estimate, wherein the first angle estimate is a turning angle in the horizontal plane between the first feature on the first image and the first feature on the second image with respect to the position of the camera of the towing vehicle; Characterizing the steps and
- providing one or more angle coefficients, the one or more angle coefficients providing scale information for this first angle estimate;
- calculating a yaw angle based on this first angle estimate and based on this one or more angle coefficients.

本方法の1実施形態として記載された上記特徴の何れも、本発明に係るシステムにおけるシステム特徴としても適用可能である。 Any of the features described above as an embodiment of the method can also be applied as system features in the system according to the invention.

さらに別の実施形態によると、上記実施形態の何れか1つによるシステムを備える車両が開示される。 According to yet another embodiment , a vehicle is disclosed that includes a system according to any one of the above embodiments .

本開示で使われる用語「車両」は、乗用車、貨物自動車、バス、列車又は任意の他の船舶を意味してよい。 The term "vehicle" as used in this disclosure may mean a passenger car, lorry, bus, train or any other watercraft.

本開示で使われる用語「ヨー角」は、車用の前後方向軸とトレーラの前後方向軸との間の旋回角度に関してよい。 The term "yaw angle" as used in this disclosure may refer to the turning angle between the longitudinal axis of the vehicle and the longitudinal axis of the trailer.

本開示で使われる「中央値」の用語は、データサンプル又は確率分布の上半分と下半分を分ける値を意味してよい。 The term "median" as used in this disclosure may refer to the value that separates the upper and lower halves of a data sample or probability distribution.

本発明で使われる用語「本質的に」又は「略」は、
厳密な値に対する+/-10%、好ましくは+/-5%の逸脱意味することと、
関数交通法規との少なくとも一方に重要ではない変化の形での逸脱を意味すること
との少なくとも一方を意味する。
The term “essentially” or “substantially” as used in the present invention means
means a deviation of +/-10%, preferably +/-5%, from the exact value;
to mean a deviation in the form of an insignificant change in the function and/or the traffic law;
means at least one of the following .

その具体的な特徴と有利な点とを含む本発明の様々な観点は、以下の詳細な説明と添付の図面から容易に理解されるだろう。 Various aspects of the present invention, including its specific features and advantages, will be readily understood from the following detailed description and accompanying drawings.

図1は、トレーラを牽引する車両の例示的な上面図を示す。FIG. 1 shows an exemplary top view of a vehicle towing a trailer. 図2は、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第1及び第2特徴に基づく角度推定を概略的に示す。FIG. 2 schematically shows angle estimation based on first and second features captured by camera images at different turning angles between the trailer and the towing vehicle. 図3は、基準アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第1特徴に基づく基準角度推定を概略的に示す。FIG. 3 schematically shows a reference angle estimation based on a first feature captured by a camera image at different turning angles between a trailer and a towing vehicle according to a reference algorithm. 図4は、この基準アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第1及び第2特徴に基づく基準角度推定を概略的に示す。FIG. 4 schematically shows a reference angle estimation based on first and second features captured by camera images at different turning angles between the trailer and the towing vehicle according to this reference algorithm. 図5は、牽引車の前後方向軸に対するトレーラのヨー角を決定する方法のステップを示す概略的なブロック図を示す。FIG. 5 shows a schematic block diagram illustrating the steps of a method for determining the yaw angle of the trailer relative to the longitudinal axis of the towing vehicle.

以下、例示的な実施形態が示される図面を参照して本発明をより完全に説明する。図中の実施形態は好ましい実施形態に関する一方、実施形態に関連して説明される全ての要素及び特徴は、適切である限り、特に以下において説明される任意の他の実施形態に関連する、本明細中において説明される任意の他の実施形態及び特徴とも組み合わせて使用されてよい。その一方、本発明は、本明細書に記載されている実施形態に限定されると見なされるべきではない。以下の説明を通して、同様の参照符号は、該当する場合、同様の要素、部材、アイテム又は特徴を示すのに使われているThe invention will now be described more fully with reference to the drawings, in which exemplary embodiments are shown. While the embodiments in the figures relate to preferred embodiments, all elements and features described in connection with the embodiments may, to the extent appropriate, be incorporated herein by reference, particularly in relation to any other embodiments described below. It may also be used in combination with any other embodiments and features described herein. On the other hand, the invention should not be considered limited to the embodiments described herein. Throughout the following description, like reference numerals are used , where appropriate, to indicate similar elements, members, items or features.

明細書、特許請求の範囲、実施形態、図面の少なくともいずれかにより開示されている本発明の特徴は、別個とその組み合わせの両方において、その様々な実施形態において本発明を実現する材料であってよい。 The features of the invention disclosed in the description, the claims, the embodiments and/or the drawings, both separately and in combination, are materials for realizing the invention in its various embodiments. It's fine.

図1は、トレーラ2を牽引する車両1の上面図を示す。車両1は、車両1の中心を通る前後方向軸LAVを備える。同様に、トレーラ2は、トレーラ2の中心を通る前後方向軸LATを備える。トレーラ2は、トウボール4を備えるトレーラヒッチを使う車両1と連結されている。 FIG. 1 shows a top view of a vehicle 1 towing a trailer 2. FIG. The vehicle 1 includes a longitudinal axis LAV passing through the center of the vehicle 1. Similarly, the trailer 2 includes a longitudinal axis LAT passing through the center of the trailer 2. The trailer 2 is connected to a vehicle 1 using a trailer hitch with a tow ball 4.

いくつかの走行状況において、車両1の前後方向軸LAV及びトレーラ2の前後方向軸LATは平行に配置されていない場合があり、又は互いに一致しない場合があるが、これらの軸はヨー角YAを限定できる。言い換えれば、ヨー角YAは、車両1の前後方向軸LAVに対するトレーラ2の前後方向軸LATの角度の逸脱を定義している。ヨー角YAは、トレーラ2の前後方向軸LATと車両1の前後方向軸LAVとを含む水平方向平面において測定されてよい。 In some driving situations, the longitudinal axis LAV of the vehicle 1 and the longitudinal axis LAT of the trailer 2 may not be arranged parallel to each other or may not coincide with each other, but these axes may be affected by the yaw angle. YA can be limited. In other words, the yaw angle YA defines the angular deviation of the longitudinal axis LAT of the trailer 2 from the longitudinal axis LAV of the vehicle 1. The yaw angle YA may be measured on a horizontal plane including the longitudinal axis LAT of the trailer 2 and the longitudinal axis LAV of the vehicle 1.

ヨー角YAがわかると、とりわけ、例えばトレーラ支援システムにおいて有利である。 Knowing the yaw angle YA is advantageous, inter alia, for example in trailer assistance systems.

ヨー角YAを決定するために、トレーラ2の少なくとも一部の複数の画像がカメラ3を使って撮影される。カメラ3は、例えば、車両1のリアビューカメラであってよく、リアビューカメラは後退時に車両1の周辺の画像の撮影に使用されてもよい。撮影画像の1つは、牽引車両1に対するトレーラ2の既知の角度配置を示してよい。この画像は、ヨー角YAを算出するための基準として使われてよい。この、牽引車両1に対するトレーラ2の既知の角度配置において、ヨー角YAは0°であってよく、他の任意の角度値であってもよい。 In order to determine the yaw angle YA, a plurality of images of at least a part of the trailer 2 are taken using the camera 3. The camera 3 may be, for example, a rear view camera of the vehicle 1, and the rear view camera may be used to take images of the surroundings of the vehicle 1 when reversing. One of the captured images may show a known angular positioning of the trailer 2 with respect to the towing vehicle 1. This image may be used as a reference for calculating the yaw angle YA. In this known angular arrangement of the trailer 2 with respect to the towing vehicle 1, the yaw angle YA may be 0° or any other angular value.

図2は、トレーラ2の第1及び第2特徴F1、F2の角度関係を説明する概略図であって、それら特徴F1、F2が車両1の固定点に対して異なる時点及び異なる角度位置で識別されている、概略図を示す。 FIG. 2 is a schematic diagram illustrating the angular relationship between the first and second features F1, F2 of the trailer 2, in which the features F1, F2 are identified at different times and at different angular positions with respect to a fixed point of the vehicle 1. A schematic diagram is shown.

カメラ3は、車両1に対するトレーラ2の角度位置が異なっている、異なる時点における2つ又はそれより多い画像を撮影してよい。例えば、画像系列が撮影されてよい。この画像系列は3つ又はそれより多い、特に、5つより多い画像を備えてよい。 The camera 3 may take two or more images at different times, with different angular positions of the trailer 2 relative to the vehicle 1. For example, a series of images may be taken. This image sequence may comprise three or more , in particular more than five images.

本例において、第2画像は、ヨー角YA=0°における、車両に対するトレーラ2の方向を示してよい。その一方、他の実施形態において、ヨー角YAは、前もってわかっているものであり、現在のヨー角の決定に使用し得る他の任意の基準ヨー角であってよい。 In this example, the second image may show the orientation of the trailer 2 relative to the vehicle at a yaw angle YA=0°. However, in other embodiments, the yaw angle YA is known in advance and may be any other reference yaw angle that can be used to determine the current yaw angle.

カメラ3により撮影された画像において、複数の異なる特徴識別可能であってよい。図2において、車両1のカメラ3の位置又は基準軸に対して異なる角度位置で識別されている特徴F1、F2が示されている。第1特徴F1は正方形で示され、第2特徴は三角形により示されている。2つより多い特徴と2つより多い画像をヨー角推定に使用できることは言及に値する。また、ヨー角推定に1特徴のみ使うのもあり得るIn the image taken by camera 3, a plurality of different features may be discernible. In FIG. 2 features F1, F2 are shown identified in different angular positions relative to the position of the camera 3 of the vehicle 1 or the reference axis . The first feature F1 is indicated by a square and the second feature by a triangle. It is worth mentioning that more than two features and more than two images can be used for yaw angle estimation. It is also possible to use only one feature for yaw angle estimation.

このようにして異なる時点で、第1及び第2特徴F1、F2の上方の対(特徴F1、F2をカメラ3と結ぶ実線の光線に関連)が第1画像において識別されてよく、第1及び第2特徴F1、F2の下方の対(特徴F1、F2をカメラ3と結ぶ破線の光線に関連)が第2画像において識別されてよい。 Thus , at different points in time, an upper pair of first and second features F1, F2 (associated with the solid ray connecting features F1, F2 with camera 3) may be identified in the first image, and the first and second features A lower pair of second features F1, F2 (associated with the dashed ray connecting features F1, F2 with camera 3) may be identified in the second image.

トレーラ2の特徴は、特徴検出及びマッチングアルゴリズムを使って場所を特定してマッチングされてよい。例えば、ハリスのコーナー検出法、スケール不変特徴変換(SIFT)アルゴリズム、高速化ロバスト特徴(SURF)アルゴリズム、バイナリロバスト不変スケーラブルキーポイント(BRISK)アルゴリズム、バイナリロバスト独立基本特徴(BRIEF)アルゴリズム、方向付きFAST及び回転BRIEF(ORB)アルゴリズム又は他の好適な特徴検出及びマッチングアルゴリズムを使用できるであろうFeatures of trailer 2 may be locally matched using a feature detection and matching algorithm . For example, Harris Corner Detection Method, Scale Invariant Feature Transform (SIFT) Algorithm, Speed Up Robust Features (SURF) Algorithm, Binary Robust Invariant Scalable Keypoint (BRISK) Algorithm, Binary Robust Independent Fundamental Feature (BRIEF) Algorithm, Directed FAST and Rotated BRIEF (ORB) algorithm or other suitable feature detection and matching algorithms could be used .

特徴検出及びマッチングアルゴリズムはトレーラ上にあるか又はトレーラ上にはない画像特徴を検出してよい。トレーラ特徴を非トレーラ特徴から区分けるために、複数の異なる方法を使ってよいだろう。例えば、直線前進走行の場合、トレーラ特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラ特徴から区分けてよい。代替的に、背景特徴の運動(モーション)を車両の既知のモーションを用いて経時的にモデル化てよい。これは、速度と操舵に関するCANデータから抽出されてよい。この場合、基本行列のエピポーラ拘束に当てはまらない特徴をトレーラ特徴として考慮してよい。 Feature detection and matching algorithms may detect image features that are on the trailer or not on the trailer. A number of different methods may be used to separate trailer features from non- trailer features. For example, in the case of straight forward travel, trailer features may be separated from non- trailer features by looking for features that remain in the same position over time. Alternatively, the motion of background features may be modeled over time using the known motion of the vehicle. This may be extracted from CAN data regarding speed and steering. In this case, features that do not apply to the epipolar constraint of the fundamental matrix may be considered as trailer features.

角度推定α1、α2の決定に、特徴F1、F2をカメラ3と結ぶ光線Rが使われる。撮影画像の特徴F1、F2をカメラ3の位置と関連付けるために、カメラ3の較正情報を用いて、画像座標における特徴の場所をカメラの空間ドメインへと変換してよく、これにより、それぞれの特徴F1、F2の位置をこのカメラ位置と結ぶ光線Rを提供可能になる。言い換えれば、カメラ位置と特徴位置とを関連付けるために、画像上の(複数の)特徴の場所は、それぞれ、車両1のローカルドメインに、カメラ3の較正情報に基づいて車両1のカメラのローカルドメインに変換される。 A ray R connecting the features F1 and F2 with the camera 3 is used to determine the angle estimates α1 and α2. In order to associate the captured image features F1, F2 with the position of the camera 3, the location of the features in the image coordinates may be transformed using the calibration information of the camera 3 into the spatial domain of the camera, whereby the respective features It becomes possible to provide a ray R that connects the positions of F1 and F2 with this camera position. In other words, in order to associate the camera position and the feature position, the location of the feature (s) on the image is set in the local domain of the vehicle 1 , respectively, in the local domain of the camera of the vehicle 1 based on the calibration information of the camera 3. is converted to

カメラ位置と第1及び第2画像内の1つ又はそれより多い特徴との間の光線Rを決定した後、第1特徴F1及び第2特徴F2の旋回角度が決定される。図2において、α1は2つの撮影画像間の第1特徴F1の旋回角度の角度推定を示し、α2は2つの撮影画像間の第2特徴F2の旋回角度の角度推定を示す。複数の実施形態において、トレーラの1つのみ又は2つより多い特徴が、複数の画像にわたって、決定され追跡される。さらに、好ましくは、ヨー角推定の結果を向上させるために、2つより多い画像が異なる時点で撮影される。 After determining the ray R between the camera position and the one or more features in the first and second images, the rotation angles of the first feature F1 and the second feature F2 are determined. In FIG. 2, α1 indicates the angle estimation of the rotation angle of the first feature F1 between the two captured images, and α2 indicates the angle estimation of the rotation angle of the second feature F2 between the two captured images. In embodiments , only one or more than two features of the trailer are determined and tracked across multiple images . Furthermore, preferably more than two images are taken at different times in order to improve the results of the yaw angle estimation.

上述のように、撮影画像のうちの1つは、車両1に対するトレーラ2の角度位置がわかっている基準画像となってよい。牽引車両1に対するトレーラ2のこの角度構成において、ヨー角YAは0°であってよいし他の任意の角度値でよい。それゆえ、この少なくとも1つの角度推定α1、α2に基づいて、ヨー角YAは算出できる。図2を再び参照すると、例えば、光線Rについての画像を撮影するとき、トレーラ2の、車両1に対する基準の配向がわかるならば、破線で示される光線Rの角度構成がわかることになるだろうAs described above, one of the captured images may be a reference image in which the angular position of the trailer 2 with respect to the vehicle 1 is known . In this angular configuration of the trailer 2 with respect to the towing vehicle 1, the yaw angle YA may be 0° or any other angular value. Therefore , based on this at least one angle estimate α1, α2, the yaw angle YA can be calculated. Referring again to FIG. 2, for example , when taking an image for ray R, if the reference orientation of the trailer 2 with respect to the vehicle 1 is known, the angular configuration of the ray R, shown by the dashed line, will be known. .

上記方法は非常にロバストであり、つまり画質が劣悪な場合でも角度推定を提供するが、角度推定の正確度は低い。多くの場合、少なくとも1つの角度推定α1、α2が実際のヨー角YAよりも低いようであった。 Although the above method is very robust, i.e. provides angle estimation even in the case of poor image quality, the accuracy of the angle estimation is low. In many cases, at least one angle estimate α1, α2 appeared to be lower than the actual yaw angle YA.

正確度を向上させるため、本方法は1つ又はそれより多い角度係数を用い、これに基づいて角度推定がスケール又は修正されることにより、実際のヨー角に非常に近い角度推定が提供される。 To improve accuracy, the method uses one or more angle coefficients based on which the angle estimate is scaled or modified to provide an angle estimate that is very close to the actual yaw angle. .

角度係数は、車両1とトレーラ2との間の幾何状況を特徴付ける幾何情報に基づいて設定されてよい。より詳細には、角度係数は1セットの距離情報に基づいて計算されてよく、この1セットの距離情報は、カメラ3と車両1のトウボール4との間の距離と、車両1のカメラ3とトレーラ2の少なくとも1つの特徴F1、F2との間の距離とを含む。特に、角度係数は、カメラ3とトウボール4との間の距離と、車両1のカメラ3とトレーラ2のある特徴F1、F2との間の距離との除法(例えば、第1距離/第2距離)により計算されてよい。 The angle coefficient may be set based on geometric information characterizing the geometric situation between the vehicle 1 and the trailer 2. More specifically, the angle coefficient may be calculated based on a set of distance information, which includes the distance between the camera 3 and the tow ball 4 of the vehicle 1; and at least one feature F1, F2 of the trailer 2. In particular, the angle factor is determined by dividing the distance between the camera 3 and the towball 4 by the distance between the camera 3 of the vehicle 1 and a certain feature F1, F2 of the trailer 2 (e.g., first distance/second distance ) may be calculated.

角度推定をスケールする1つ又はそれより多い角度係数を使う複数の異なる可能性が存在する。 There are several different possibilities of using one or more angle coefficients to scale the angle estimate.

まず単一の角度係数が、トレーラ2の複数の特徴に使用し得る。それぞれの車両1について単一の角度係数が予め設定されているかもしれない。角度係数は、トウボール4に対するカメラ3の距離を考慮てよい。この単一の角度係数は、車両1の保存装置に保存されてよく、又は車両1のソフトウェアにしっかり実装されてもよい。 First, a single angle factor may be used for multiple features of the trailer 2. A single angle factor may be preset for each vehicle 1. The angle coefficient may take into account the distance of the camera 3 with respect to the tow ball 4. This single angle factor may be stored in a storage device of the vehicle 1 or may be firmly implemented in the software of the vehicle 1.

2つ又はそれより多い角度推定α1、α2を計算した後、この角度推定α1、α2に基づいて平均値を計算してよい。この平均値は、例えば、この展開された角度推定α1、α2の中央値であってよい。別の実施形態において、ヨー角YAは展開された角度推定α1、α2の算術平均を計算することにより決定されてよい。さらなる別の実施形態において、ヨー角YAはこの角度推定α1、α2に基づく確率過程、例えばRANSACアルゴリズム(RANSAC、random sample consensus)又は最小二乗アルゴリズムを用いて決定されてよい。 After calculating two or more angle estimates α1, α2, an average value may be calculated based on the angle estimates α1, α2. This average value may be, for example, the median value of the expanded angle estimates α1 and α2. In another embodiment, the yaw angle YA may be determined by calculating the arithmetic mean of the expanded angle estimates α1, α2. In yet another embodiment, the yaw angle YA may be determined using a stochastic process based on this angle estimate α1, α2, for example a RANSAC algorithm (RANSAC, random sample consensus) or a least squares algorithm.

1つ又はそれより多い角度係数を提供する第2の可能性は、基準アルゴリズムに基づいて1つ又はそれより多い角度係数を動的に設定することである。特に、特定のトレーラ2について単一の角度係数が設定されてよく、又は各角度係数がトレーラ2のある特徴F1、F2と関連付けられている複数の角度係数が設定されてよい。よって、言い換えれば、角度係数はトレーラ単位又は特徴単位で動的に設定されてよい。 A second possibility to provide one or more angular coefficients is to set one or more angular coefficients dynamically based on a reference algorithm. In particular, a single angle factor may be set for a particular trailer 2, or a plurality of angle factors may be set , each angle factor being associated with a certain feature F1, F2 of the trailer 2. Therefore, in other words, the angle coefficient may be dynamically set for each trailer or for each feature.

角度係数のこの動的な設定は上述のような角度推定α1、α2を使うものであり、つまり、ある特徴について、第1画像上の特徴F1、F2と第2画像上の同一の特徴F1、F2との間の旋回角度が決定される。 This dynamic setting of the angle coefficients uses the angle estimates α1, α2 as described above, that is, for a given feature, the features F1, F2 on the first image and the same features F1, F2 on the second image The turning angle between F2 and F2 is determined.

単一の角度推定α1、α2又は複数の角度推定α1、α2の平均値又は中央値を実際のヨー角YAへとスケールする角度係数を決定するために、単一の角度推定α1、α2又は複数の角度推定α1、α2の平均値又は中央値は基準アルゴリズムの結果と比較され、これにより、基礎アルゴリズムの角度推定よりも正確度が高いヨー角基準情報が得られ、角度係数は、角度推定がヨー角基準情報と同等又は本質的であるように選択される。特に、基準方法は、トレーラ2がその周りを旋回するトウボール4の場所を考慮するように構成されてよい。 A single angle estimate α1, α2 is used to determine an angle factor that scales the mean or median value of the single angle estimate α1, α2 or multiple angle estimates α1, α2 to the actual yaw angle YA. Or the average value or median value of multiple angle estimates α1, α2 is compared with the result of the reference algorithm, thereby obtaining yaw angle reference information with higher accuracy than the angle estimation of the basic algorithm, and the angle coefficient is determined by the angle The estimate is chosen to be equivalent to or essential to the yaw angle reference information. In particular, the reference method may be configured to take into account the location of the towball 4 around which the trailer 2 turns .

以下、図3に基づいて例示的な基準方法が開示される。図2と同様に、図3もまた、トレーラ2が牽引車両1とは異なるヨー角YAを有する異なる時点におけるトレーラ2の第1及び第2特徴F1、F2の角度関係を説明する概略図を示す。 In the following, an exemplary reference method will be disclosed based on FIG. Similar to FIG. 2, FIG. 3 also shows a schematic diagram illustrating the angular relationship of the first and second features F1, F2 of the trailer 2 at different times when the trailer 2 has a different yaw angle YA than the towing vehicle 1. .

角度係数が同一のトレーラ位置、それぞれトレーラヨー角に基づいて設定されることを確実にするために、基準アルゴリズムは、角度推定計算にも使われる同一の画像を用いることは言及に値する。 It is worth mentioning that the reference algorithm uses the same images that are also used to calculate the angle estimation, in order to ensure that the angle coefficients are set based on the same trailer position, respectively trailer yaw angle .

この基準アルゴリズムに基づく基準ヨー角の決定は、図3においてより詳細に示される。 The determination of the reference yaw angle based on this reference algorithm is shown in more detail in FIG.

図2と同様に図3においても、第1特徴F1に基づいて設定される第1投影特徴位置PFP1a(第1投影特徴位置PFP1aをカメラ3と結ぶ実線の光線に関連)が第1画像において識別され、第2特徴F2に基づいて設定される第2投影特徴位置PFP1b(第2投影特徴位置PFP1bをカメラ3と結ぶ実線の光線に関連)が異なる時点で第2画像において識別される。 Similarly to FIG. 2, in FIG. 3, the first projected feature position PFP1a (related to the solid line light ray connecting the first projected feature position PFP1a and the camera 3) set based on the first feature F1 is identified in the first image. The second projected feature position PFP1b (related to the solid light ray connecting the second projected feature position PFP1b to the camera 3) set based on the second feature F2 is identified in the second image at different times.

この基準アルゴリズムに基づく基準ヨー角の決定は、図3においてより詳細に示される。この第1及び第2画像間の第1及び第2投影特徴位置PFP1a、PFP1bの場所の変化は、少なくとも1つの基準角度推定β1を決定するために使われるThe determination of the reference yaw angle based on this reference algorithm is shown in more detail in FIG. This change in the location of the first and second projected feature positions PFP1a, PFP1b between the first and second images is used to determine at least one reference angle estimate β1.

それぞれの画像における特徴識別後、第1及び第2画像の第1特徴F1は共通の水平面に投影される。より詳細には、カメラ3と第1画像上の決定された第1特徴F1との間の光線が水平面上に投影されることにより、第1投影特徴位置PFP1aが得られる。さらに、カメラ3と第2画像上の決定された第1特徴F1との間の光線が同一の水平面上に投影されることにより、第2投影特徴位置PFP1bが得られる。この投影は垂直方向に行われることにより、光線の仰角のみを変化させるのであって、方位角は変化させないことは言及に値する。 After identifying the features in each image, the first features F1 of the first and second images are projected onto a common horizontal plane. More specifically, the first projected feature position PFP1a is obtained by projecting the light beam between the camera 3 and the determined first feature F1 on the first image onto a horizontal plane. Furthermore, the second projected feature position PFP1b is obtained by projecting the light rays between the camera 3 and the determined first feature F1 on the second image onto the same horizontal plane. It is worth mentioning that this projection is performed in the vertical direction, thereby changing only the elevation angle of the ray, but not the azimuth angle.

第1及び第2投影特徴位置PFP1a、PFP1bを決定した後、第1直交二等分線B1が、この第1及び第2投影特徴位置PFP1a、PFP1bに基づいて設定される。図3に示されるように、第1直交二等分線B1は、第1及び第2投影特徴位置PFP1a、PFP1bを結ぶ線に直交する線である。さらに、第1直交二等分線B1は、この連結線の中点を通る。この第1直交二等分線B1は、本実施形態においては車両の前後方向軸LAVである基準軸と交差する。(IP1により示される)第1直交二等分線B1と基準軸とのこの交点により回転点が得られ、この回転点の周りにトレーラは回転する。より詳細には、この交点によりトウボール4の位置が得られる。 After determining the first and second projected feature positions PFP1a and PFP1b, a first orthogonal bisector B1 is set based on the first and second projected feature positions PFP1a and PFP1b. As shown in FIG. 3, the first orthogonal bisector B1 is a line that is perpendicular to the line connecting the first and second projected feature positions PFP1a and PFP1b. Furthermore, the first orthogonal bisector B1 passes through the midpoint of this connection line. This first orthogonal bisector B1 intersects with the reference axis, which is the longitudinal axis LAV of the vehicle in this embodiment. This intersection of the first orthogonal bisector B1 (indicated by IP1) and the reference axis provides a rotation point around which the trailer rotates. More specifically, this intersection provides the position of the tow ball 4.

この第1直交二等分線B1に基づいて、第1基準角度推定β1が計算される。この第1基準角度推定β1は、第1投影特徴位置PFP1aと、第1直交二等分線B1と基準軸との交点と、を結ぶ第1線L1と、第2投影特徴位置PFP1bと、第1直交二等分線B1と基準軸との交点と、を結ぶ第2線L2との間に設けられる角度である。交点は、トウボール4の位置を示してよい。より詳細には、第1基準角度推定β1は、水平面上に投影された第1画像内の第1特徴F1の場所とこの水平面上に投影された第2画像内の第1特徴F1の場所との間で、(トウボール4の位置である)この第1交点IP1の周りの、水平面におけるトレーラ2の旋回を特徴付ける。 A first reference angle estimate β1 is calculated based on this first orthogonal bisector B1. This first reference angle estimation β1 is based on a first line L1 connecting the first projected feature position PFP1a, the intersection of the first orthogonal bisector B1 and the reference axis , and the second projected feature position PFP1b. This is the angle provided between the intersection of the first orthogonal bisector B1 and the reference axis and the second line L2 connecting the two. The intersection may indicate the position of the tow ball 4. More specifically, the first reference angle estimate β1 is determined by the location of the first feature F1 in the first image projected onto the horizontal plane and the location of the first feature F1 in the second image projected onto the horizontal plane. characterizes the turning angle of the trailer 2 in the horizontal plane around this first point of intersection IP1 (which is the position of the tow ball 4).

第1基準角度推定β1は、トレーラ2のその現在の回転点の周りのヨー角YAを表す。 The first reference angle estimate β1 represents the yaw angle YA of the trailer 2 about its current rotation point.

図4は、ヨー角基準情報を設定するために異なる時点(トレーラ2が牽引車両1に対する異なるヨー角YAを有する時点)に撮影されたトレーラ2の第1及び第2特徴F1、F2を使う、図3と同様の実施形態を示す。特徴配置は図2の記載と同様である。 FIG. 4 uses first and second features F1, F2 of the trailer 2 taken at different times (times when the trailer 2 has different yaw angles YA with respect to the towing vehicle 1) to set the yaw angle reference information. 4 shows an embodiment similar to FIG. 3; The feature arrangement is similar to that described in FIG.

カメラ3により撮影された画像上にて、複数の異なる特徴が識別可能かもしれない。図4に示されるように、この特徴は、車両1のカメラ3の位置に対して異なる角度位置にて識別される。第1特徴は正方形で示され、第2特徴は三角形により示されている。 A plurality of different features may be discernible on the image taken by camera 3. As shown in FIG. 4, this feature is identified at different angular positions relative to the position of the camera 3 of the vehicle 1. The first feature is indicated by a square and the second feature by a triangle.

図4では、第1及び第2特徴F1、F2の上方の対(PFP1a、PFP2aにより示され、特徴をカメラ3と結ぶ実線の光線に関連)が第1画像に識別され、第1及び第2特徴F1、F2の下方の対(PFP1b、PFP2bにより示され、特徴をカメラ3と結ぶ破線の光線に関連)が異なる時点で第2画像に識別されている。 In FIG. 4, an upper pair of first and second features F1, F2 (denoted by PFP1a, PFP2a and associated with the solid ray connecting the features with camera 3) is identified in the first image, and the first and second features The lower pair of two features F1, F2 (indicated by PFP1b, PFP2b and associated with the dashed ray connecting the features with camera 3) have been identified in the second image at different times.

ヨー角基準情報の決定は図3の実施形態と同様に行われる。主な相違点は、2つの基準角推定β1、β2が設定され、ヨー角基準情報がこの2つの基準角推定β1、β2に基づいて展開されることである。より詳細には、第1直交二等分線B1を設定し、第1基準角推定β1を得ることは、図3に関して上述したように行われる。 The determination of the yaw angle reference information is performed in the same manner as in the embodiment of FIG. The main difference is that two reference angle estimates β1, β2 are set , and the yaw angle reference information is developed based on these two reference angle estimates β1, β2. More specifically, setting the first orthogonal bisector B1 and obtaining the first reference angle estimate β1 is performed as described above with respect to FIG.

加えて、第2基準角推定β2は、第3投影特徴位置PFP2aと第4投影特徴位置PFP2bとを設定し、第2交点IP2を得るために第2直交二等分線B2を設定し、第3投影特徴位置PFP2a及び第4投影特徴位置PFP2bをこの第2交点IP2と結ぶことにより得られる。この第3投影特徴位置PFP2aは、第1画像における第2特徴F2をこの水平面上に投影することにより得られ、第4投影特徴位置PFP2bは、第2画像における第2特徴F2をこの水平面上に投影することにより得られる。第2交点IP2は、第2直交二等分線B2が基準軸、本実施形態においては車両の前後方向軸LAVと交差する点であってよい。第2基準角度推定β2は、第3投影特徴位置PFP2aと交点IP2とを結ぶ第1線L1と、第4投影特徴位置PFP2bと交点IP2とを結ぶ第2線L2との間の角度である。 In addition , the second reference angle estimation β2 sets the third projected feature position PFP2a and the fourth projected feature position PFP2b, sets the second orthogonal bisector B2 to obtain the second intersection point IP2, and It is obtained by connecting the third projected feature position PFP2a and the fourth projected feature position PFP2b with this second intersection point IP2. This third projected feature position PFP2a is obtained by projecting the second feature F2 in the first image onto this horizontal plane, and the fourth projected feature position PFP2b is obtained by projecting the second feature F2 in the second image onto this horizontal plane. Obtained by projecting. The second intersection point IP2 may be a point where the second orthogonal bisector B2 intersects the reference axis , in this embodiment, the longitudinal axis LAV of the vehicle. The second reference angle estimate β2 is the angle between the first line L1 that connects the third projected feature position PFP2a and the intersection IP2 and the second line L2 that connects the fourth projected feature position PFP2b and the intersection IP2.

本実施形態において、カメラ3及びトウボールの場所が車両1のこの前後方向軸線LAV上にあるので、基準軸が牽引車両1の前後方向軸LAVである。他の実施形態では、カメラ3又はトウボール4が車両1の前後方向軸LAVに対して横方向のずれを持つ場合又は車両1の前後方向軸LAVに対するカメラ3とトウボール4の横方向のずれが異なる場合、基準軸はカメラ3とトウボール4を結ぶ直線により形成されてもよい。 In this embodiment, since the camera 3 and the tow ball are located on the longitudinal axis LAV of the vehicle 1 , the reference axis is the longitudinal axis LAV of the towing vehicle 1. In other embodiments, the camera 3 or the towball 4 has a lateral deviation with respect to the longitudinal axis LAV of the vehicle 1 , or the camera 3 and the towball 4 have a lateral deviation with respect to the longitudinal axis LAV of the vehicle 1. are different, the reference axis may be formed by a straight line connecting the camera 3 and the tow ball 4.

理想的な条件下において、第1基準角度推定β1及び第2基準角度推定β2は等しい(β1=β2)ものであり、ヨー角YAを示すものである。その一方、ノイズと不一致に起因して、第1及び第2基準角度推定β1、β2の値は異なる場合がある。 Under ideal conditions, the first reference angle estimate β1 and the second reference angle estimate β2 are equal (β1=β2) and indicate the yaw angle YA. On the other hand, the values of the first and second reference angle estimates β1 and β2 may differ due to noise and mismatch .

トレーラ2の2つより多い特徴が、複数の画像にわたって、決定そして、複数の画像にわたって追跡可能となるであろうことは言及に値する。さらに、好ましくは、ヨー角基準情報の結果を向上させるために、3つ以上の画像が異なる時点で撮影される。これにより、ヨー角基準情報決定の質を向上させるために2つより多い基準角度推定β1、β2を設定できる。 It is worth mentioning that more than two features of trailer 2 will be able to be determined and tracked across multiple images. Furthermore, preferably three or more images are taken at different times in order to improve the results of the yaw angle reference information. Thereby, more than two reference angle estimates β1 and β2 can be set in order to improve the quality of yaw angle reference information determination.

異なる値を有する第1及び第2基準角度推定β1、β2に基づいてヨー角基準情報を決定するために、統計的計測を用いてよい。第1実施形態において、2つ又はそれより多い基準角度推定β1、β2の中央値を用いてヨー角基準情報を決定してよい。他の実施形態において、統計的方法を用いて2つ又はそれより多い基準角度推定β1、β2に基づいてヨー角基準情報を決定してよい。統計的方法は、例えばRANSACアルゴリズム(RANSAC、random sample consensus)又は最小二乗アルゴリズムであってよい。 Statistical measurements may be used to determine the yaw angle reference information based on the first and second reference angle estimates β1, β2 having different values. In the first embodiment, the median value of two or more reference angle estimates β1, β2 may be used to determine the yaw angle reference information. In other embodiments, statistical methods may be used to determine the yaw angle reference information based on two or more reference angle estimates β1, β2. The statistical method may be, for example, a RANSAC algorithm (RANSAC, random sample consensus) or a least squares algorithm.

角度係数スケール又は適合に利用可能な上記基準アルゴリズムは、方法の一例に過ぎないことは言及に値する。その一方、角度係数スケール又は適合するために、他の基準アルゴリズムも用いられてよい。 It is worth mentioning that the above reference algorithms available for scaling or adapting the angle coefficients are only one example of a method. On the other hand, other reference algorithms may also be used to scale or adapt the angle coefficients .

この少なくとも1つの基準角度推定β1、β2に基づいて、ヨー角基準情報は展開されてよく、ここでは、角度係数の値は、角度推定α1、α2がヨー角基準情報に合わされるように選択されてよいということに基づいているBased on this at least one reference angle estimate β1, β2, yaw angle reference information may be developed, where the values of the angle coefficients are selected such that the angle estimates α1, α2 are aligned with the yaw angle reference information. It is based on the fact that it is good.

上記基準方法に内在するかもしれないノイズを除去するために、トレーラ2の異なるヨー角に関して複数の基準角度係数が展開されてよい。基準角度係数はヨー角の値に依存しない場合がある。それで、複数の角度係数を平均化することにより、例えば、移動平均又は指数移動平均により、ノイズの影響を緩和できる。 In order to eliminate noise that may be inherent in the above reference method, multiple reference angle coefficients may be developed for different yaw angles of the trailer 2. The reference angle coefficient may not depend on the value of the yaw angle. Thus , by averaging a plurality of angle coefficients, for example by a moving average or an exponential moving average, the effects of noise can be mitigated .

第3の例として、複数の角度係数が設定されてよく、各角度係数はトレーラ2のある特徴F1、F2に対応する。従って、言い換えれば、トレーラの全ての特徴F1、F2について単一の角度係数が使われるのではなく、第1特徴F1に第1角度係数が使われてよく、第2特徴F2に第2角度係数が使われてよい。 As a third example, multiple angle coefficients may be set , each angle coefficient corresponding to a certain feature F1, F2 of the trailer 2. Thus, in other words, rather than a single angular coefficient being used for all features F1, F2 of the trailer, a first angular coefficient may be used for the first feature F1 and a second angular coefficient for the second feature F2. may be used .

この複数の角度係数は上記基準アルゴリズムを用いて動的に設定されてよい。 The plurality of angle coefficients may be dynamically set using the reference algorithm described above.

一例によると、角度推定α1、α2と角度係数とに基づいてヨー角YAを決定するために以下の式を使ってよい

Figure 2021197652000001
According to an example, the following equation may be used to determine the yaw angle YA based on the angle estimates α1, α2 and the angle coefficients.
Figure 2021197652000001

角度推定α1、基準角度推定β1、基準角度推定β1に基づいて得られたヨー角基準情報それぞれを使い、角度係数を決定すべく、上記式を再構成してよいThe above equation may be reconfigured to determine the angle coefficient using each of the angle estimation α1, the reference angle estimation β1, and the yaw angle reference information obtained based on the reference angle estimation β1.

基準角度推定β1、ヨー角基準情報それぞれが、例えばノイズが多い特徴マッチングに起因して利用不可能な場合、以前に計算された角度係数を用いて正確な角度推定を生成するために、ノイズが多い特徴マッチングに対してロバストな角度推定α1を使ってよいIf the reference angle estimate β1, respectively the yaw angle reference information is unavailable, e.g. due to noisy feature matching, the noisy Angle estimation α1 that is robust to many feature matchings may be used .

上記式は一例にすぎず、本開示はこの式の使用に限定されないことは言及に値する。従って、角度推定α1、α2と角度係数とに基づいてヨー角YAを計算するために、他の式も用いられてよい。 It is worth mentioning that the above formula is only an example and the present disclosure is not limited to the use of this formula. Therefore, other formulas may also be used to calculate the yaw angle YA based on the angle estimates α1, α2 and the angle coefficients.

理想的な条件下において、複数の角度推定α1、α2を設定する場合、第1角度推定α1及び第2角度推定α2は等しい(α1=α2)ものである。その一方、ノイズと不一致に起因して、第1及び第2角度推定α1、α2の値は異なる場合がある。ヨー角決定の質を向上させるために3つ以上の角度推定を設定できることは言及に値する。 Under ideal conditions, when setting a plurality of angle estimates α1 and α2, the first angle estimate α1 and the second angle estimate α2 are equal (α1=α2). On the other hand, due to noise and mismatch , the values of the first and second angle estimates α1 and α2 may be different. It is worth mentioning that more than two angle estimates can be set to improve the quality of yaw angle determination.

異なる値を有する第1及び第2角度推定α1、α2に基づいてヨー角YAを決定するために、統計的計測を用いてよい。第1実施形態において、2つ又はそれより多い角度推定α1、α2の中央値を用いてヨー角YAを決定してよい。他の実施形態において、統計的方法を用いて2つ又はそれより多い角度推定α1、α2に基づいてヨー角YAを決定してよい。統計的方法は、例えばRANSACアルゴリズム(RANSAC、random sample consensus)又は最小二乗アルゴリズムであってよい。 Statistical measurements may be used to determine the yaw angle YA based on the first and second angle estimates α1, α2 having different values. In a first embodiment, the median value of two or more angle estimates α1, α2 may be used to determine the yaw angle YA. In other embodiments, statistical methods may be used to determine the yaw angle YA based on two or more angle estimates α1, α2. The statistical method may be, for example, a RANSAC algorithm (RANSAC, random sample consensus) or a least squares algorithm.

撮影画像上の全ての可視の特徴がヨー角YAの計算に好適であるわけではないようであった。演算の複雑さとロバストネスを小さくするために、そのような特徴が選択され、ヨー角YAを決定するためにさらに使われて、実際のヨー角に非常に近い旋回角度α1、α2を提供する。特徴選択に、これらの特徴のみがそれ以降の画像において追跡され、これにより、実際のヨー角の周りの一定の窓旋回角度α1、α2が得られる。例えば、窓は上方境界と下方境界により定義されてよく、この上方及び下方境界はこの実際のヨー角の周りの角度窓を定義する。例えば、窓は2°から10°、特に3°から5°の距離にわたって広がってよい。最後の2又はそれより多いヨー角決定ステップにおいてこの窓内の旋回角度を導いた全ての特徴は、次の撮影画像中においてさらに追跡される。 It appeared that not all visible features on the captured images were suitable for calculating the yaw angle YA. In order to reduce computational complexity and robustness, such features are selected and further used to determine the yaw angle YA, providing turning angles α1, α2 that are very close to the actual yaw angle. For feature selection, only these features are tracked in the subsequent images, resulting in a turning angle α1, α2 within a fixed window around the actual yaw angle. For example, a window may be defined by an upper boundary and a lower boundary, where the upper and lower boundaries define an angular window around this actual yaw angle. For example, the window may extend over a distance of 2° to 10°, especially 3° to 5°. All features that led to a turning angle within this window in the last two or more yaw angle determination steps are further tracked in the next captured image.

複数の画像について特定のトレーラ特徴を追跡する場合、トレーラ2の動きに起因して、この特徴のサンプルは円形のセグメントに配置されてよい。この円形のセグメントの中心はトウボール4の場所を示す。従って、複数の画像にわたる特定のトレーラ特徴を追跡することにより、トウボール4の場所を導出できる。 When tracking a particular trailer feature for multiple images, due to the movement of the trailer 2, samples of this feature may be arranged in circular segments. The center of this circular segment indicates the location of the tow ball 4. Thus, by tracking specific trailer features across multiple images, the location of the tow ball 4 can be derived .

ノイズを緩和するために、トウボール4の場所の決定は、複数の画像にわたる期間に追跡される複数のトレーラ特徴を考慮に入れてよい。各トレーラ特徴は所定の中心推定を有する円形のセグメントに対応してよい。この複数の中心推定についての統計的方法を適用することにより、トウボール4の実際の場所を展開できる。統計的方法は、例えばRANSACアルゴリズム又は最小二乗アルゴリズムであってよい。 To mitigate noise, the determination of the location of the towball 4 may take into account multiple trailer features tracked over a period of time over multiple images. Each trailer feature may correspond to a circular segment with a predetermined center estimate. By applying this statistical method for multiple center estimates, the actual location of the tow ball 4 can be developed . The statistical method may be, for example, a RANSAC algorithm or a least squares algorithm.

図5は、牽引車1の前後方向軸LAVに対するトレーラ2のヨー角YAを決定する方法の方法ステップを示す概略的なブロック図を示す。 FIG. 5 shows a schematic block diagram illustrating the method steps of a method for determining the yaw angle YA of the trailer 2 with respect to the longitudinal axis LAV of the tow vehicle 1.

第1ステップとして、トレーラの第1及び第2画像が撮影される(S10)。 As a first step, first and second images of the trailer are taken (S10).

画像撮影後、第1及び第2画像上において可視のトレーラの少なくとも1つの特徴が決定される(S11)。 After image capture, at least one feature of the trailer visible on the first and second images is determined (S11).

この少なくとも1つの特徴の決定後、少なくとも第1角度推定が計算される(S12)。 After determining this at least one feature, at least a first angle estimate is calculated (S12).

さらに、1つ又はそれより多い角度係数が提供されてよい(S13)。この1つ又は複数の角度係数は、この少なくとも1つの角度推定についてのスケール情報を提供する。 Furthermore, one or more angular coefficients may be provided (S13). The one or more angular coefficients provide scale information for the at least one angular estimate.

最後に、ヨー角が、第1角度推定に基づいて及びこの角度推定について訂正情報を提供する1つ又はそれより多い角度係数に基づいて計算される(S14)。 Finally, a yaw angle is calculated (S14) based on the first angle estimate and on one or more angle coefficients that provide corrective information for this angle estimate.

なお、明細書と図面は提案される発明の原理を例示するに過ぎない。当業者であれば、明示的に本開示において説明又は図示されていなくても、本発明の原理を具現化する様々な構成を実施できるだろう。 It should be noted that the specification and drawings merely illustrate the principles of the proposed invention. Those skilled in the art will be able to implement various configurations that embody the principles of the invention, even if not explicitly described or illustrated in this disclosure.

1 車両
2 トレーラ
3 カメラ
トウボール
α1 第1角度推定
α2 第2角度推定
β1 第1基準角度推定
β2 第2基準角度推定
B1 第1直交二等分線
B2 第2直交二等分線
PFP1a 第1画像における第1特徴の投影特徴位置
PFP1b 第2画像における第1特徴の投影特徴位置
PFP2a 第1画像における第2特徴の投影特徴位置
PFP2b 第2画像における第2特徴の投影特徴位置
F1 第1特徴
F2 第2特徴
IP1 第1交点
IP2 第2交点
LAT トレーラの前後方向軸
LAV 車両の前後方向軸
R 光線
YA ヨー角
1 Vehicle 2 Trailer 3 Camera 4 Towball
α1 First angle estimation α2 Second angle estimation β1 First reference angle estimation β2 Second reference angle estimation B1 First orthogonal bisector B2 Second orthogonal bisector PFP1a Projected feature position of the first feature in the first image PFP1b Projected feature position of the first feature in the second image PFP2a Projected feature position of the second feature in the first image PFP2b Projected feature position of the second feature in the second image F1 First feature F2 Second feature IP1 First intersection point IP2 2 intersections LAT Trailer longitudinal axis
LAV Vehicle longitudinal axis
R Ray YA Yaw angle

Claims (15)

トウボール(4)を有する牽引車両(1)の前後方向軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法であって、前記方法が
- 前記車両(1)に対する前記トレーラ(2)の方向が少なくとも2つの画像上において異なる、カメラ(3)を使って前記トレーラ(2)の少なくとも第1及び第2画像を撮影するステップ(S10)と、
- 第1及び第2画像上において可視の前記トレーラ(2)の少なくとも第1特徴(F1)を決定するステップ(S11)と、
- 第1角度推定(α1)が、前記牽引車両(1)の前記カメラ(3)の位置に対する、前記第1画像上の前記第1特徴(F1)と前記第2画像上の前記第1特徴(F1)との間の水平面内の旋回角度を特徴付ける、第1角度推定(α1)を計算するステップ(S12)と、
- 1つ又はそれより多い角度係数が前記第1角度推定(α1)のためのスケール情報を提供する、1つ又はそれより多い角度係数を提供するステップ(S13)と、
- 前記第1角度推定(α1)に基づいて及び前記1つ又はそれより多い角度係数に基づいて前記ヨー角(YA)を計算するステップ(S14)と
を備える、トウボール(4)を有する牽引車両(1)の前後方向軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法。
A method for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1) having a towball (4), the method comprising:
- capturing at least a first and a second image of the trailer (2) using a camera (3), in which the orientation of the trailer (2) with respect to the vehicle (1) is different on at least two images (S10); and,
- determining (S11) at least a first feature (F1) of said trailer (2) visible on a first and second image;
- a first angle estimate (α1) is determined based on the first feature (F1) on the first image and the first feature on the second image with respect to the position of the camera (3) of the towing vehicle (1); (S12) of calculating a first angle estimate (α1) characterizing the turning angle in the horizontal plane between (F1);
- providing one or more angle coefficients (S13), the one or more angle coefficients providing scale information for said first angle estimation (α1);
- calculating ( S14 ) the yaw angle (YA) based on the first angle estimate (α1) and on the basis of the one or more angle coefficients; A method of determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of (1) .
前記1つ又はそれより多い角度係数は、幾何情報に基づいて設定され、前記幾何情報はカメラ(3)とトウボール(4)との間の距離と、カメラ(3)と前記トレーラ(2)の1つ又はそれより多い特徴(F1、F2)との間の距離とを考慮に入れる、請求項1に記載の方法。 The one or more angular factors are set based on geometric information, the geometric information being the distance between the camera (3) and the tow ball (4) and the distance between the camera (3) and the trailer (2). 2. The method according to claim 1, taking into account the distance between one or more features (F1, F2). 前記1つ又はそれより多い角度係数は、カメラ(3)とトウボール(4)との間の距離をカメラ(3)と前記トレーラ(2)の1つ又はそれより多い特徴(F1、F2)との間の距離で除することにより設定される、請求項1又は2に記載の方法。 Said one or more angular factors determine the distance between the camera (3) and the tow ball (4) with one or more features (F1, F2) of the camera (3) and said trailer (2). The method according to claim 1 or 2, wherein the method is set by dividing by a distance between. 前記角度係数は、前記車両それぞれについて調整されている単一の係数である、請求項1から3のいずれか1項に記載の方法。 4. A method according to any preceding claim, wherein the angle coefficient is a single coefficient that is adjusted for each of the vehicles. 前記単一の係数は、少なくとも1つの角度推定(α1、α2)に適用されるか、少なくとも2つの角度推定(α1、α2)に基づいて設定される中央値又は平均値に適用される、請求項4に記載の方法。 The single coefficient is applied to at least one angle estimate (α1, α2) or to a median or average value set based on at least two angle estimates (α1, α2). The method described in Section 4. 前記角度係数はトレーラ(2)それぞれについて動的に適合される、請求項1から3のいずれか1項に記載の方法。 4. The method according to claim 1, wherein the angle factor is dynamically adapted for each trailer (2). 前記角度係数の前記動的な適合は、ヨー角(YA)を決定し、前記少なくとも1つの角度推定(α1、α2)を基準アルゴリズムにより提供されるヨー角基準情報と比較することにより前記角度係数を適合する前記基準アルゴリズムを用いることにより行われる、請求項6に記載の方法。 The dynamic adaptation of the angle coefficients comprises determining a yaw angle (YA) and adjusting the angle coefficients by comparing the at least one angle estimate (α1, α2) with yaw angle reference information provided by a reference algorithm. 7. The method of claim 6, wherein the method is performed by using the reference algorithm to adapt . 前記基準アルゴリズムは、
- 前記カメラ(3)と前記第1画像上の決定された第1特徴との間の光線を水平面上に投影し、これにより第1投影特徴位置(PFP1a)を得て、前記カメラ(3)と前記第2画像上の決定された第1特徴との間の光線を前記水平面上に投影し、これにより第2投影特徴位置(PFP1b)を得て
- 前記第1投影特徴位置(PFP1a)の場所と前記第2投影特徴位置(PFP1b)の場所との間の第1直交二等分線(B1)を設定し、
- 基準軸線又はさらなる直交二等分線との第1直交二等分線(B1)の第1交点(IP1)を決定し、
- 第1基準角度推定(β1)に基づいてヨー角基準情報を提供し、前記第1基準角度推定(β1)は、第1投影特徴位置(PFP1a)から前記第1交点(IP1)まで延在する第1線と第2投影特徴位置(PFP1b)から前記第1交点(IP1)まで延在する第2線との間の前記水平面における角度についてである
ように構成される、請求項7に記載の方法。
The reference algorithm is
- projecting a ray of light between the camera (3) and the determined first feature on the first image onto a horizontal plane, thereby obtaining a first projected feature position (PFP1a); and the determined first feature on the second image are projected onto the horizontal plane, thereby obtaining a second projected feature position (PFP1b);
- setting a first orthogonal bisector (B1) between the location of the first projected feature position (PFP1a) and the location of the second projected feature position (PFP1b);
- determining a first point of intersection (IP1) of the first orthogonal bisector (B1) with the reference axis or a further orthogonal bisector;
- providing yaw angle reference information based on a first reference angle estimate (β1), said first reference angle estimate (β1) extending from a first projected feature position (PFP1a) to said first intersection point (IP1); and a second line extending from the second projected feature position (PFP1b) to the first intersection (IP1) in the horizontal plane.
8. The method of claim 7, wherein the method is configured to:
異なるヨー角についての複数のヨー角基準情報は前記基準アルゴリズムに基づいて展開され、前記角度係数は前記複数のヨー角基準情報の平均値を展開することにより決定される、請求項7又は8に記載の方法。 A plurality of yaw angle reference information for different yaw angles are developed based on the reference algorithm, and the angle coefficient is determined by developing an average value of the plurality of yaw angle reference information. The method described in. 各特徴当たりに、異なる角度係数が提供されるか設定される、請求項1から及びから9の中のいずれか1項に記載の方法。 10. A method according to any one of claims 1 to 3 and 6 to 9, wherein for each feature a different angle factor is provided or set . 各角度係数は、前記角度係数に対応する、カメラ(3)とトウボール(4)との間の距離と、カメラ(3)と前記トレーラ(2)の前記それぞれの特徴(F1、F2)との間の距離との関係を考慮ることにより設定される、請求項10に記載の方法。 Each angle coefficient is determined by the distance between the camera (3) and the tow ball (4) and the respective features (F1, F2) of the camera (3) and the trailer (2), which correspond to the angle coefficient. The method according to claim 10, wherein the method is set by considering a relationship with a distance between. 前記第1角度推定(α1)を計算するステップは、前記カメラ(3)の位置と第1及び第2画像における前記少なくとも1つの特徴(F1、F2)との間の光線(R)を決定することを備える、請求項1から11のいずれか1項に記載の方法。 The step of calculating the first angle estimate (α1) determines a ray (R) between the position of the camera (3) and the at least one feature (F1, F2) in the first and second images. 12. A method according to any one of claims 1 to 11, comprising: 前記光線(R)を決定するために、前記少なくとも1つの特徴(F1、F2)の位置を前記画像のローカルドメインから前記車両(1)のローカルドメインへと変換するために、カメラ較正情報が使われる、請求項12に記載の方法。 Camera calibration information is used to transform the position of the at least one feature (F1, F2) from the local domain of the image to the local domain of the vehicle (1) in order to determine the ray (R). 13. The method of claim 12. 前記ヨー角(YA)を計算するために、前記第1特徴(F1)に加えて、前記トレーラ(2)の1つ又はそれより多いさらなる特徴が使われる、請求項1から13のいずれか1項に記載の方法。 14. Any one of claims 1 to 13, wherein, in addition to the first feature (F1), one or more further features of the trailer (2) are used to calculate the yaw angle (YA). or the method described in paragraph 1. 牽引車両(1)の前後方向軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステムであって、
前記システムが、前記トレーラ(2)の画像を撮影するカメラ(3)と、前記撮影された画像を処理する処理実体と、を備え、
前記システムが、
- 前記車両(1)に対する前記トレーラ(2)の方向が少なくとも2つの画像上において異なる、カメラ(3)を使って前記トレーラ(2)の少なくとも第1及び第2画像を撮影するステップ(S10)と、
- 第1及び第2画像上において可視の前記トレーラ(2)の少なくとも第1特徴(F1)を決定するステップ(S11)と、
- 第1角度推定(α1)が、前記牽引車両(1)の前記カメラ(3)の位置に対する、前記第1画像上の前記第1特徴(F1)と前記第2画像上の前記第1特徴(F1)との間の水平面における旋回角度を特徴付ける、第1角度推定(α1)を計算するステップ(S12)と、
- 1つ又はそれより多い角度係数が前記第1角度推定(α1)についてのスケール情報を提供する、1つ又はそれより多い角度係数を提供するステップ(S14)と、
- 前記第1角度推定(α1)に基づいて及び前記1つ又はそれより多い角度係数に基づいて前記ヨー角(YA)を計算するステップ(S15)と、
を実行するようにさらに構成されている、牽引車両(1)の前後方向軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステム。
A system for determining a yaw angle (YA) of a trailer (2) with respect to a longitudinal axis (LAV) of a towing vehicle (1), the system comprising:
The system comprises a camera (3) that captures images of the trailer (2) and a processing entity that processes the captured images,
The system is
- capturing at least a first and a second image of the trailer (2) using a camera (3), in which the orientation of the trailer (2) with respect to the vehicle (1) is different on at least two images (S10); and,
- determining (S11) at least a first feature (F1) of said trailer (2) visible on a first and second image;
- a first angle estimate (α1) is determined based on the first feature (F1) on the first image and the first feature on the second image with respect to the position of the camera (3) of the towing vehicle (1); (S12) of calculating a first angle estimate (α1) characterizing the turning angle in the horizontal plane between (F1);
- providing one or more angle coefficients (S14), the one or more angle coefficients providing scale information for said first angle estimate (α1);
- calculating (S15) the yaw angle (YA) based on the first angle estimate (α1) and on the basis of the one or more angle coefficients;
A system for determining a yaw angle (YA) of a trailer (2) with respect to a longitudinal axis (LAV) of a towing vehicle (1), further configured to perform.
JP2022549861A 2020-03-31 2020-12-01 Method and system for calculating vehicle trailer angle Active JP7480324B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20167183.1A EP3889903A1 (en) 2020-03-31 2020-03-31 Method and system for calculating vehicle trailer angle
EP20167183.1 2020-03-31
PCT/EP2020/084112 WO2021197652A1 (en) 2020-03-31 2020-12-01 Method and system for calculating vehicle trailer angle

Publications (3)

Publication Number Publication Date
JP2023514846A JP2023514846A (en) 2023-04-11
JPWO2021197652A5 true JPWO2021197652A5 (en) 2023-11-10
JP7480324B2 JP7480324B2 (en) 2024-05-09

Family

ID=70110139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549861A Active JP7480324B2 (en) 2020-03-31 2020-12-01 Method and system for calculating vehicle trailer angle

Country Status (5)

Country Link
US (1) US20230134205A1 (en)
EP (1) EP3889903A1 (en)
JP (1) JP7480324B2 (en)
CN (1) CN115315723A (en)
WO (1) WO2021197652A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511842B (en) * 2022-04-19 2022-07-12 北京主线科技有限公司 Vehicle pose determining method, device, equipment and medium
CN117622322B (en) * 2024-01-26 2024-04-26 杭州海康威视数字技术股份有限公司 Corner detection method, device, equipment and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011113197B4 (en) * 2011-09-10 2021-06-10 Volkswagen Aktiengesellschaft Method and device for determining an angle between a towing vehicle and a trailer coupled to it, and the vehicle
DE102016117284A1 (en) * 2016-09-14 2018-03-15 Connaught Electronics Ltd. Determining a position of a trailer hitch
DE102018203152A1 (en) * 2018-03-02 2019-09-05 Continental Automotive Gmbh Trailer angle determination system for a vehicle
EP3537382A1 (en) * 2018-03-09 2019-09-11 Continental Automotive GmbH Device and method for calculating a vehicle trailer pose using a camera
EP3552926A1 (en) * 2018-04-09 2019-10-16 Continental Automotive GmbH Apparatus for determining an angle of a trailer attached to a vehicle

Similar Documents

Publication Publication Date Title
JP7444605B2 (en) How to calculate the location of the tow hitch
US9784829B2 (en) Wheel detection and its application in object tracking and sensor registration
US9599706B2 (en) Fusion method for cross traffic application using radars and camera
CN110176038B (en) Method, system and storage medium for calibrating camera of vehicle
JP2013190421A (en) Method for improving detection of traffic-object position in vehicle
JP7480324B2 (en) Method and system for calculating vehicle trailer angle
JP7437523B2 (en) Vehicle trailer angle calculation method and system
US9189689B2 (en) Robust scale estimation in real-time monocular SFM for autonomous driving
JPWO2021197652A5 (en)
JP7493051B2 (en) Vehicle trailer angle calculation method and system
JPWO2021197651A5 (en)
US20230173998A1 (en) Method and system for calculating vehicle trailer angle
JP7430783B2 (en) Determining the orientation of the trailer
JPWO2021197650A5 (en)
JPWO2021197649A5 (en)
JP7225079B2 (en) Obstacle recognition device
JP2022157033A (en) Road gradient estimation device
JP2021189910A (en) Position and pose estimation device and program
JPH09145337A (en) Method for determining angle of depression in image pickup unit