JPWO2021197650A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021197650A5
JPWO2021197650A5 JP2022549860A JP2022549860A JPWO2021197650A5 JP WO2021197650 A5 JPWO2021197650 A5 JP WO2021197650A5 JP 2022549860 A JP2022549860 A JP 2022549860A JP 2022549860 A JP2022549860 A JP 2022549860A JP WO2021197650 A5 JPWO2021197650 A5 JP WO2021197650A5
Authority
JP
Japan
Prior art keywords
angle
feature
trailer
camera
yaw angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022549860A
Other languages
Japanese (ja)
Other versions
JP2023514845A (en
Publication date
Priority claimed from EP20167188.0A external-priority patent/EP3889905A1/en
Application filed filed Critical
Publication of JP2023514845A publication Critical patent/JP2023514845A/en
Publication of JPWO2021197650A5 publication Critical patent/JPWO2021197650A5/ja
Pending legal-status Critical Current

Links

Description

本発明は、概して車両補助システムの分野に関する。より具体的には、本発明は、牽引車両に接続されたトレーラのヨー角を、車両のカメラから提供される画像情報に基づいて計算する方法に関する。 FIELD OF THE INVENTION The present invention relates generally to the field of vehicle assistance systems. More specifically, the present invention relates to a method for calculating the yaw angle of a trailer connected to a towing vehicle based on image information provided by a camera on the vehicle.

車両のカメラによって提供された画像情報に基づいて牽引車両に対するトレーラの角度を計算する複数の方法が、既知である。 Several methods are known for calculating the angle of a trailer relative to a towing vehicle based on image information provided by a vehicle's camera.

特に、画像が低品質である場合には、計算上の煩雑さは少ないが、ロバストな角度情報を提供しない方法が公知である加えて、公知の方法では、ヨー角を決定するためには、トウボール(牽引装置の1形式)の正確な位置がわかっていなければならない。 Particularly when the images are of low quality, methods are known that are less computationally complex but do not provide robust angle information. Additionally, in known methods, the exact position of the tow ball (a type of traction device) must be known in order to determine the yaw angle.

本発明の実施形態の目的は、トウボールの位置を知ることなく、高いロバスト性と高い信頼性を持つトレーラのヨー角の計算方法を提供することにある。この課題は、独立請求項の特徴によって解決される。好ましい実施形態は、従属請求項に示されている。特に明記しない限り、本発明の実施形態は、互いに自由に組み合わせられるIt is an object of embodiments of the invention to provide a method for calculating the yaw angle of a trailer with high robustness and high reliability without knowing the position of the towball . This object is solved by the features of the independent claims. Preferred embodiments are set out in the dependent claims. Unless stated otherwise, embodiments of the invention are free to be combined with each other.

観点によれば、本発明は、牽引車両の縦軸に対するトレーラのヨー角を決定する方に関する。この方法は、以下のステップを備えるAccording to one aspect , the invention relates to a method for determining the yaw angle of a trailer relative to the longitudinal axis of a towing vehicle. This method comprises the following steps.

先ず、トレーラの少なくとも第及び第画像がカメラを使って撮影される。第及び第画像は、少なくとも画像上で車両に対するトレーラの向きが異なるように撮影される。 First, at least first and second images of the trailer are captured using a camera. The first and second images are taken such that the orientation of the trailer with respect to the vehicle is different on at least two images.

前記画像の撮影後、該トレーラの少なくとも第特徴が決定される。前記第特徴は、第及び第画像内において可視でなければならない。第特徴は、例えば、トレーラの第1場所において顕著な第特徴であってよいAfter taking the images, at least a first characteristic of the trailer is determined. The first feature must be visible in the first and second images. The first feature may be , for example, the first feature that is prominent at the first location of the trailer.

その特徴の決定後、カメラと第画像上の決定された第特徴との間の光線が設定され、前記光線が水平面上に投影され、これにより第投影特徴位置(投影された特徴の第1位置)が得られる。同様に、カメラと第画像上の決定された第特徴との間の光線が設定され、前記光線が前記水平面上に投影され、これにより第投影特徴位置が得られる。前記の特徴の投影は、それぞれ、光線を垂直方向に行ってもよく、すなわ傾斜光線を、方位角を変えずに水平光線転送してもよいAfter determining that feature, a ray is set between the camera and the determined first feature on the first image, and said ray is projected onto a horizontal plane, thereby causing the first projected feature position (of the projected feature). 1st position ) is obtained. Similarly, a ray is established between the camera and the determined first feature on the second image, and said ray is projected onto said horizontal plane, thereby obtaining a second projected feature position . The projection of said features may each be carried out in the vertical direction of the rays , ie the oblique rays may be transferred to the horizontal rays without changing the azimuth.

前記第特徴の投影に基づいて、第投影特徴位置場所と第投影特徴位置の場所との間に、第垂直二等分線が設定される。より詳細には、第垂直二等分線は、第1光線と水平面との交点(例えば、z=1)及び第2光線と水平面との交点の場所を結ぶ線の中心を通る垂直な直線であり得る。第1光線は、カメラの較正情報を使って、第画像における第特徴の画像座標を光学的光線に変換することによって決定される。第2光線は、カメラの較正情報を使って、第画像における第特徴の画像座標を光学的光線に変換することによって決定される。前記第垂直二等分線は、水平面内に設定されてもい。 Based on the projection of the first feature, a first perpendicular bisector is established between the location of the first projected feature location and the location of the second projected feature location . More specifically, the first perpendicular bisector is a perpendicular straight line passing through the center of the line connecting the intersection of the first ray and the horizontal plane (for example, z=1) and the location of the intersection of the second ray and the horizontal plane. It can be. The first ray is determined by converting the image coordinates of the first feature in the first image into an optical ray using camera calibration information. The second ray is determined by converting the image coordinates of the first feature in the second image into an optical ray using camera calibration information. The first perpendicular bisector may be set within a horizontal plane.

前記第垂直二等分線を設定後、第垂直二等分線と基準軸との第交点が決定される。該基準軸は、カメラとトウボールの両方がその上にある車両の中央縦軸であってもよい。従って、この交点は、第特徴の回転中心を表している。 After setting the first perpendicular bisector, a first intersection between the first perpendicular bisector and the reference axis is determined . The reference axis may be the central longitudinal axis of the vehicle on which both the camera and the towball are located. This intersection therefore represents the center of rotation of the first feature.

最後に、トレーラの該ヨー角は、第角度推定に基づいて計算されるが、前記第角度推定は、前記水平面内の、第投影特徴位置から前記第交点まで連続している1線と、第投影特徴位置から前記第交点まで連続している第2線との間の角度を基準としている。 Finally, the yaw angle of the trailer is calculated based on a first angle estimate, the first angle estimate being the first angle estimate that is continuous from the first projected feature position to the first intersection in the horizontal plane. The angle between the first line and a second line that continues from the second projected feature position to the first intersection point is used as a reference.

前記の方法は、1本又はそれより多い垂直二等分線を設定し、1本以上の前記の垂直二等分線に基づいてヨー角を計算出するために、2つ又はそれより多い画像を使い、かつ1つ又はそれより多いトレーラ特徴を使うことから、ノイズが大きい場合や画像の品質が低い場合でもトレーラ特徴の検出を非常に正確かつロバストに実施できるため有利である。加えてヨー角の決定垂直二等分線を使うゆえトウボールの正確な位置は不明でもよい。 The method comprises: setting one or more perpendicular bisectors and calculating a yaw angle based on one or more said perpendicular bisectors; The use of one or more trailer features is advantageous because the detection of trailer features can be performed very accurately and robustly even in the case of high noise or low quality images. Additionally, since a perpendicular bisector is used to determine the yaw angle, the exact location of the tow ball may not be known.

実施形態によれば、第又は第画像上において、車両に対するトレーラのヨー角はゼロである。これにより、前記画像は、「ゼロポーズ画像」すなわち、車両の縦軸とトレーラの縦軸との正確な位置合わせの基準として使用できる。しかしながら、他のヨー角値も、基準として使用できる。前記の他のヨー角がわからない場合は、該システムは、絶対的なトレーラ角ではなく、トレーラ角の変化を計算してよいAccording to one embodiment, the yaw angle of the trailer relative to the vehicle is zero on the first or second image. This allows the image to be used as a "zero pose image ", ie a reference for accurate alignment of the longitudinal axis of the vehicle and the longitudinal axis of the trailer. However , other yaw angle values can also be used as a reference. If the other yaw angle is not known , the system may calculate the change in trailer angle rather than the absolute trailer angle.

実施形態によれば、該方法は、以下のステップをさらに備える
特徴に加え、第及び第画像内において可視なトレーラの第特徴を決定するステップ。前記第特徴は、トレーラ上の第特徴とは異なる位置にある。第特徴は、例えば、トレーラの第2場所において顕著な第特徴であってよい
加えて、カメラと第画像上の決定された第特徴との間の光線が、前記水平面上に投影され、これにより第投影特徴位置を得るステップ。同様に、カメラと第画像上の決定された第特徴との間の光線が、前記水平面上に投影され、これにより第投影特徴位置も得られる。
さらに、第投影特徴位置場所と第投影特徴位置場所との間に、第垂直二等分線を設定するステップ。
前記第垂直二等分線を基に、第垂直二等分線と前記基準軸との第交点が決定される。
垂直二等分線に基づいて、第角度推定が設定され、第投影特徴位置から前記第交点まで延在する1線と、前記水平面において第投影特徴位置から前記第交点まで延在する2線との間の角度に基づいて第角度推定を実施するステップ。
最後に、ヨー角を、前記第及び第角度推定に基づいて計算するステップ。
According to one embodiment, the method further comprises the following steps.
Determining a second feature of the trailer visible in the first and second images in addition to the first feature. The second feature is in a different location on the trailer than the first feature. The second feature may be , for example, a second feature that is prominent at a second location on the trailer.
Additionally, a ray of light between the camera and the determined second feature on the first image is projected onto the horizontal plane, thereby obtaining a third projected feature position . Similarly, a ray of light between the camera and the determined second feature on the second image is projected onto the horizontal plane, thereby also obtaining a fourth projected feature position .
Further , setting a second perpendicular bisector between the location of the third projected feature position and the location of the fourth projected feature position .
Based on the second perpendicular bisector, a second intersection between the second perpendicular bisector and the reference axis is determined .
A second angle estimate is established based on a second perpendicular bisector, a first line extending from a third projected feature location to the second intersection point, and a first line extending from a fourth projected feature location to the second intersection point in the horizontal plane . performing a second angle estimation based on an angle with a second line extending to the intersection point;
Finally, calculating a yaw angle based on the first and second angle estimates.

2つ又はそれより多いトレーラ特徴及び複数の垂直二等分線を使用することにより、垂直二等分線と基準軸との間の旋回角度を決定する際のノイズ及び不一致を緩和できる。 By using two or more trailer features and multiple perpendicular bisectors, noise and discrepancies in determining the turning angle between the perpendicular bisector and the reference axis can be mitigated. Wear.

実施形態によれば、前記の第及び第特徴に加え、トレーラの少なくとも1つのさらなる特徴ヨー角の計算使われる。3つ又はそれより多い特徴を使用することにより、ヨー角決定のロバスト性と信頼性がさらに向上する。 According to one embodiment, in addition to the first and second features mentioned above, at least one further feature of the trailer is used for calculating the yaw angle. Using three or more features further improves the robustness and reliability of the yaw angle determination.

実施形態によれば、ヨー角は、少なくとも2つの角度推定に基づいて中央値を設定することによって、計算される。これにより、非常に安定したヨー角の決定取得可能になる。 According to one embodiment, the yaw angle is calculated by setting a median value based on at least two angle estimates. This makes it possible to obtain a very stable yaw angle determination .

他の実施形態によれば、ヨー角は、少なくとも2つの角度推定の平均値を設定することによって、又は、前記角度推定に適用される統計的アプローチを使用することによって計算される。 According to other embodiments, the yaw angle is calculated by setting an average value of at least two angle estimates or by using a statistical approach applied to said angle estimates.

実施形態によれば、該方法は、さらに以下の角度枠を決定するステップも備える。前記の角度枠は、前記のヨー角を挟む上限と下限を備えてよい。加えて、特徴のセットが決定され、前記特徴セット内の前記特徴は、前記角度枠内に位置する角度推定の基となる。前記の決定された特徴セットは、好ましくは、前記特徴セットに含まれる特徴のみが、将来のヨー角の計算に使用される。それは、言い換えると、以前のヨー角決定情報は、決定されたヨー角にかなり近い(すなわち、角度枠内の)角度推定を導き出すトレーラの2つ又はそれより多い特徴を決定し、決定されたヨー角から有意に逸脱する(すなわち、角度枠外の)角度推定を導き出すような特徴を非追跡とすべく使用される。これにより、角度推定の計算の複雑さと精度を有意に低減できる。 According to one embodiment, the method further comprises the step of determining the following angular frames. The angle frame may include an upper limit and a lower limit that sandwich the yaw angle. Additionally, a set of features is determined , and the features in the feature set serve as a basis for an angle estimate located within the angle window. Said determined feature set is preferably such that only features included in said feature set are used for future yaw angle calculations . In other words , the previous yaw angle determination information determines two or more features of the trailer that lead to an angle estimate that is fairly close ( i.e. within the angle window) to the determined yaw angle, and the determined It is used to untrack features that lead to angle estimates that deviate significantly from the calculated yaw angle ( ie , outside the angle window). This can significantly reduce the computational complexity and accuracy of angle estimation.

実施形態によれば、カメラ較正情報は、前記第1特徴と特徴との少なくとも一方の位置を、画像のローカルドメインから車両のローカルドメインへ変換するのに使われる。例えば、カメラ較正情報を使ってカメラの位置を知ることにより、画像上の特定の特徴の位置を、カメラが、車両に内蔵されている位置又は設置されている位置に依存して、もしくは、相関させることによって、場所の情報に転換できる。 According to one embodiment, camera calibration information is used to transform the position of the first feature and / or the second feature from a local domain of the image to a local domain of the vehicle. For example, by knowing the position of the camera using camera calibration information, the position of a particular feature on an image can be determined depending on or relative to the position where the camera is built into or installed in the vehicle. By doing so, it can be converted into location information.

実施形態によれば、基準軸は、カメラ及び車両のトウボールが牽引車両の縦軸を含む鉛直配向平面に配置されている場合は、該牽引車両の前記縦軸となる。それは、言い換えると、ヨー角は、角度推定に基づいて設定されるが、前記角度推定は、牽引車両の縦軸と得られた垂直二等分線との間の角度を基準としている。 According to one embodiment, the reference axis is the longitudinal axis of the towing vehicle if the camera and the towball of the vehicle are arranged in a vertical orientation plane containing the longitudinal axis of the towing vehicle. That is , in other words , the yaw angle is set based on an angle estimate, said angle estimate being based on the angle between the longitudinal axis of the towing vehicle and the obtained perpendicular bisector.

他の実施形態によれば、カメラとトウボールとの少なくとも一方が牽引車両の縦軸に対して横方向のずれ(オフセット)を持っている場合、基準軸は、カメラとトウボールとの間を連続している直線である。こうすることにより、カメラとトウボールとの間の横方向のオフセットを補償可能であるAccording to another embodiment, if at least one of the camera and the towball has a lateral offset with respect to the longitudinal axis of the towing vehicle, the reference axis is between the camera and the towball . is a continuous straight line. By doing so, it is possible to compensate for lateral offsets between the camera and the towball .

実施形態によれば、カメラは、車両のリアビューカメラである。リアビューカメラを基にすることにより、トレーラの画像は、少ない技術的労力によって撮影可能となる。 According to one embodiment, the camera is a rear view camera of the vehicle. By being based on a rear view camera, images of the trailer can be taken with less technical effort.

実施形態によれば、第特徴の場所は、第及び第画像においてのみ決定されるのではなく、少なくとも第画像においても決定される。第特徴の第画像内における場所は、第及び第画像内の第特徴の場所とは異なっている。第垂直二等分線は、第画像と第画像内の第特徴間に決定できるさらなる垂直二等分線は、第画像と第画像内の第特徴間に決定できる。次いで、さらなる交点は、前記第垂直二等分線と前記のさらなる垂直二等分線との交点に基づいて決定できるAccording to one embodiment, the location of the first feature is determined not only in the first and second images, but also at least in the third image. The location of the first feature in the third image is different from the location of the first feature in the first and second images. A first perpendicular bisector can be determined between the first feature in the first image and the second image. A further perpendicular bisector can be determined between the first feature in the first image and the third image. A further point of intersection may then be determined based on the point of intersection of said first perpendicular bisector and said further perpendicular bisector.

前記第垂直二等分線に基づいて、第角度推定が計算される。該第角度推定は、第1光線と水平面との交点のうち、第2光線と水平面との交点に対する前記のさらなる交点を中心とする回転角である。第角度推定は、第画像と第画像との間のトレーラのヨー角の変化に相当するそれは、言い換えると、トレーラの回転点は、第垂直二等分線の基準軸との交点によって決定されるのではなく、3つ又はそれより多いの画像上の特徴を追跡することによって得られる少なくとも二本の垂直二等分線と交差することによって決定される。 A first angle estimate is calculated based on the first perpendicular bisector. The first angle estimate is a rotation angle about the further intersection of the intersections of the first ray and the horizontal plane with respect to the intersection of the second ray and the horizontal plane. The first angle estimate corresponds to a change in the yaw angle of the trailer between the first image and the second image. That is , in other words , the point of rotation of the trailer is determined not by the intersection of the first perpendicular bisector with the reference axis , but by tracking three or more image features. It is determined by intersecting at least two perpendicular bisectors obtained.

さらなる観点によれば、牽引車両の縦軸に対するトレーラのヨー角を決定するシステムが開示される。該システムは、トレーラの画像を撮影するカメラと、撮影された画像を処理する処実体とを備えている。さらに該システムは、以下のステップを実施可能に構成されている。
- 少なくとも2つの画像上で車両に対するトレーラの向きが異なっている、カメラを使ってトレーラの少なくとも第1画像及び第画像を撮影するステップ、
- 第及び第画像内において可視なトレーラの少なくとも第特徴を決定するステップ、
- カメラと第画像上で決定された第特徴との間の光線を水平面上に投影し、それにより、第投影特徴位置を得、カメラと第画像上で決定された第特徴との間の光線を前記水平面上に投影し、それにより、第投影特徴位置を得るステップ、
- 第投影特徴位置の場所と第投影特徴位置の場所の間に第垂直二等分線を設定するステップ、
- 第垂直二等分線と基準軸との第交点を決定するステップ、
- ヨー角を、第角度推定に基づいて計算するステップであって、前記第角度推定は、前記水平面内の、投影特徴位置から前記第交点まで連続している1線と、第投影特徴位置から前記第交点まで連続している第2線との間の角度についてである、ヨー角を、第角度推定に基づいて計算するステップ。
According to a further aspect , a system for determining a yaw angle of a trailer relative to a longitudinal axis of a towing vehicle is disclosed. The system includes a camera that captures images of the trailer and a processing entity that processes the captured images. Furthermore, the system is configured to be able to perform the following steps.
- capturing at least a first image and a second image of the trailer using a camera, the orientation of the trailer relative to the vehicle being different on the at least two images ;
- determining at least a first feature of the trailer visible in the first and second images;
- projecting the ray between the camera and the first feature determined on the first image onto a horizontal plane, thereby obtaining a first projected feature position ; projecting a ray between the features onto the horizontal plane, thereby obtaining a second projected feature position ;
- establishing a first perpendicular bisector between the location of the first projected feature location and the location of the second projected feature location ;
- determining a first point of intersection between the first perpendicular bisector and the reference axis ;
- calculating a yaw angle based on a first angle estimate, the first angle estimate being a first line in the horizontal plane that is continuous from the first projected feature position to the first intersection point; , calculating a yaw angle based on the first angle estimate, the angle between the second projected feature position and a second line continuous to the first intersection point.

本方法の実施形態として説明した上述の任意の特徴は、本開示によるシステムにおけるシステム特徴としても適用可能である。 Any features described above as embodiments of the method are also applicable as system features in a system according to the present disclosure.

さらに別の実施形態によれば、上述の実施形態のいずれかによるシステムを備える車両が開示される。 According to yet another embodiment, a vehicle is disclosed that includes a system according to any of the embodiments described above.

本明細書で使用される用語「車両」は、自動車、トラック、バス、列車、又はその他の動力車両を意味してよいThe term "vehicle " as used herein may mean an automobile, truck, bus, train, or other motorized vehicle.

本明細書で使用される用語「ヨー角」は、車両の縦軸とトレーラの縦軸との間のピボット角度(旋回角度)を意味してよいAs used herein, the term "yaw angle" may refer to the pivot angle between the longitudinal axis of the vehicle and the longitudinal axis of the trailer.

本明細書で使用される用語「中央値」は、データサンプル又は確率分布の下半分から上半分を分ける値を意味してよいThe term "median" as used herein may refer to the value that separates the upper half from the lower half of a data sample or probability distribution.

本明細書で使用される用語「基本」又は「略」という用語は、正確な値から+/-10%、好ましくは+/-5%の差であることと、その変化が、機能と交通法規との少なくとも一方に対して重要でない程度の差であることとの少なくとも一方を意味している。 As used herein, the term " basic " or "substantially" refers to a difference of +/-10%, preferably +/-5% from the exact value and that the change This means that there is an insignificant difference with respect to at least one of the traffic regulations .

特定の特徴及び利点を含む本発明の様々な観点は、以下の詳細な説明及び添付図面から容易に理解されるだろう。 Various aspects of the present invention, including specific features and advantages, will be readily understood from the following detailed description and accompanying drawings.

1は、トレーラを牽引する車両の上面図を例示する。 FIG. 1 illustrates a top view of a vehicle towing a trailer. 2は、トレーラと牽引車両との間の異なる旋回角度の複数のカメラ画像によって撮影された唯一の特徴に基づく角度推定を、模式的に示す。 FIG. 2 schematically shows angle estimation based on a single feature taken by multiple camera images of different turning angles between the trailer and the towing vehicle . 3は、トレーラと牽引車両との間の異なる旋回角度の複数のカメラ画像によって撮影された及び第特徴に基づく複数の角度推定を、模式的に示す。 FIG . 3 schematically shows a plurality of angle estimates based on first and second features taken by a plurality of camera images of different turning angles between a trailer and a towing vehicle. 4は3つの異なる画像に含まれる唯一のトレーラ特徴から得られた第及び第垂直二等分線に基づく回転点の幾何学的決定を模式的に示す。 FIG. 4 schematically shows the geometric determination of the rotation point based on the first and second perpendicular bisectors obtained from a unique trailer feature contained in three different images. 5は、牽引車両の縦軸に対するトレーラのヨー角を求める方法のステップを示す概略的ブロック図を示FIG. 5 shows a schematic block diagram illustrating the steps of a method for determining the yaw angle of the trailer relative to the longitudinal axis of the towing vehicle.

次に、本発明は、例示的な実施形態が示されている添付図面を参照することにより、より完全に説明される。図中の実施形態は、好ましい実施形態に関連し得るが、該実施形態に関連して説明される全ての要素及び特徴は、適切である限り、本明細書で説明される他の実施形態及び特徴と組み合わせて、特に、先に詳しく説明した実施形態と関連して使用され得る。いずれにせよ、本発明は、本明細書に記載の実施形態に限定されると解釈されるべきではない。該当する限り、以下の説明全体を通して、同様な参照番号を使用して、同様の要素、部品、アイテム、又は、機能を示す。 The invention will now be described more fully with reference to the accompanying drawings, in which exemplary embodiments are shown. Although the embodiments in the figures may relate to the preferred embodiments, all elements and features described in connection with the embodiments may be incorporated, as appropriate, in other embodiments and embodiments described herein. It may be used in combination with the features, particularly in conjunction with the embodiments described in detail above. In any event, this invention should not be construed as limited to the embodiments described herein. Where applicable, like reference numbers are used throughout the following description to indicate similar elements, parts, items, or features.

本明細書と、特許請求の範囲と、例とに開示された本発明の特徴と、又は図に開示された本発明の特徴とはそれぞれ、もしくはそれらの任意の組み合わせの両方において、本発明を様々な形態で実施するための材料であってよい The features of the invention disclosed in the description, the claims, the examples or the features of the invention disclosed in the drawings are, both individually or in any combination thereof, the invention It may be a material for implementing in various forms.

図1は、トレーラ2を牽引する車両1の上面図を示。車両1は、車両1の中心を貫通する縦軸LAVを備える。同様に、トレーラ2は、トレーラ2の中心を貫通する縦軸LATを備える。トレーラ2は、トウボール4を備えるトレーラヒッチによって車両1と結合される。 FIG. 1 shows a top view of a vehicle 1 towing a trailer 2. FIG. The vehicle 1 includes a longitudinal axis LAV passing through the center of the vehicle 1. Similarly, the trailer 2 has a longitudinal axis LAT passing through the center of the trailer 2. The trailer 2 is connected to the vehicle 1 by a trailer hitch with a tow ball 4 .

特定の運転状況において、車両1の縦軸LAVとトレーラ2の縦軸LATとは、平行の揃っていなくとも、又は、互いに重なり合っていなくてもよいが、該軸は、ヨー角YAを限定している。言い換えると、該ヨー角YAは、車両1の縦軸LAVに対するトレーラ2の縦軸LATのずれ角を画定している。該ヨー角YAは、車両1の縦軸LAVと同様に、トレーラ2の縦軸LATを含む水平面において計測してよい
ヨー角YAに関する知見は、特に、例えば、トレーラ補助システムにおいて有利である。
In a particular driving situation, the longitudinal axis LAV of the vehicle 1 and the longitudinal axis LAT of the trailer 2 may not be parallel or overlapping each other; is limited. In other words , the yaw angle YA defines the deviation angle of the longitudinal axis LAT of the trailer 2 with respect to the longitudinal axis LAV of the vehicle 1. The yaw angle YA may be measured on a horizontal plane including the longitudinal axis LAT of the trailer 2, similar to the longitudinal axis LAV of the vehicle 1.
Knowledge regarding the yaw angle YA is particularly advantageous, for example in trailer assistance systems .

ヨー角YAの決定に、トレーラ2の少なくとも一部の複数画像がカメラ3によって撮影される。カメラ3は、例えば、後退走行時の車両の周辺の画像撮影用の、車両のリアビューカメラであってもよい。撮影された複数画像の1つは、牽引車1に対するトレーラ2の既知の角度配置についてでよい。前記の画像は、ヨー角YAの計算において基準として使ってよい。牽引車両1に対するトレーラ2の前記既知角度配置において、ヨー角YAは、0°又は、他の任意の角度値であってもよい。 To determine the yaw angle YA, a plurality of images of at least a portion of the trailer 2 are taken by the camera 3. The camera 3 may be , for example, a rear view camera of the vehicle for capturing images of the surroundings of the vehicle when the vehicle is traveling backwards. One of the images taken may be of a known angular positioning of the trailer 2 with respect to the towing vehicle 1. Said image may be used as a reference in the calculation of the yaw angle YA. In said known angular arrangement of the trailer 2 relative to the tow vehicle 1, the yaw angle YA may be 0° or any other angular value.

図2は、牽引車両1に対してトレーラ2が異なるヨー角YAを持つ、異なる時点におけるトレーラ2の第特徴F1の角度関係を示す模式図を示している。 FIG. 2 shows a schematic diagram showing the angular relationship of the first feature F1 of the trailer 2 at different times when the trailer 2 has different yaw angles YA with respect to the towing vehicle 1.

カメラ3は、車両1に対するトレーラ2の角度位置が異なる、異なる時点における、2つ又はそれより多い画像を撮影してもよい。例えば、一連の画像が撮影されてもよい。 The camera 3 may take two or more images at different times and with different angular positions of the trailer 2 relative to the vehicle 1. For example, a series of images may be taken .

例では、第画像は、ヨー角YA=0°における車両に対するトレーラの向きを示してもよい。 In this example, the second image may show the orientation of the trailer relative to the vehicle at a yaw angle YA=0°.

時間の経過にわたるトレーラ2の角度運動を理由として、トレーラで検出された特定の特徴は、第及び第画像内の異なる位置に現れるであろう。図2では、第特徴は正方形で示されている。 Due to the angular movement of the trailer 2 over time, certain features detected on the trailer will appear at different positions in the first and second images. In FIG. 2, the first feature is shown as a square.

特徴の(特徴とカメラ3とを結ぶ実線で表される光線Rと関連付けられる)上段の描写は、第画像において識別され、第特徴の(特徴とカメラ3とを結ぶ破線で表される光線Rと関連付けられる)下段の描写は、異なる時点における第画像において識別される。各画像における第特徴の場所を、車両1の場所、具体的には車両1のある固定点と相関させるには、カメラ3の較正情報を使ってもよい。具体的には、第特徴とカメラ3とを結ぶ光線の決定に、カメラ3の較正情報を使い、画像座標における前記第特徴の場所光線に変換してもよい。言い換えると、カメラ位置と特徴位置とを関連付けるのに、画像上の特徴の場所と、カメラ3の較正情報に基づく車両の固定点の位置とを相関させる。 The upper representation of the first feature (associated with the ray R represented by the solid line connecting the feature and camera 3) is identified in the first image and represented by the dashed line connecting the feature and camera 3. A lower representation (associated with the ray R) is identified in the second image at a different time. Calibration information of the camera 3 may be used to correlate the location of the first feature in each image with the location of the vehicle 1, in particular with a fixed point of the vehicle 1. Specifically, the calibration information of the camera 3 may be used to determine the ray R connecting the first feature and the camera 3, and the location of the first feature in the image coordinates may be converted into a ray . In other words , in order to associate the camera position and the feature position, the location of the feature on the image and the position of the fixed point of the vehicle based on the calibration information of the camera 3 are correlated.

トレーラ上の特徴は、特徴検出及びマッチングアルゴリズムを使って場所を特定しマッチングされる。例えば、Harris Corner Detector、Scale-Invariant Feature Transform (SIFT)アルゴリズム、Speeded Up Robust Features (SURF)アルゴリズム、Binary Robust Invariant Scalable Keypoints (BRISK)アルゴリズム、Binary Robust Independent Elementary Features (BRIEF)、Oriented FAST及びRotated BRIEF (ORB)アルゴリズム、又は別の適切な特徴検出及びマッチングアルゴリズムを使用できるであろうFeatures on the trailer are located and matched using feature detection and matching algorithms . For example, Harris Corner Detector, Scale-Invariant Feature Transform (SIFT) algorithm, Speeded Up Robust Features (SURF) algorithm, Binary Robust Invariant t Scalable Keypoints (BRISK) algorithm, Binary Robust Independent Elementary Features (BRIEF), Oriented FAST and Rotated BRIEF ( ORB) algorithm or another suitable feature detection and matching algorithm could be used .

特徴検出及びマッチングアルゴリズムは、トレーラ上にあるか又はトレーラ上にない画像特徴を検出するだろう。トレーラ特徴を、非トレーラ特徴から区別するには、多くの異なる方法を使用できるであろう。例えば、直線で前進する場合、トレーラ特徴は、時間が経過しても同じ位置に残っている特徴を探すことで、非トレーラ特徴から区別できる。代替的に、背景特徴の運動(モーション)を、車両の既知のモーションを使って経時的にモデル化てよい。これは、速度とステアリングに関するCANデータから抽出可能であろう。すなわち、基本行列のエピポーラ拘束に当てはまらない特徴は、トレーラ特徴であると見なし得るだろうFeature detection and matching algorithms will detect features of the images that are on the trailer or not on the trailer. Many different methods could be used to distinguish trailer features from non- trailer features. For example, when moving forward in a straight line, trailer features can be distinguished from non- trailer features by looking for features that remain in the same position over time. Alternatively, the motion of background features may be modeled over time using the known motion of the vehicle. This could be extracted from CAN data regarding speed and steering. In other words, features that do not apply to the epipolar constraint of the fundamental matrix can be considered to be trailer features.

各画像における特徴識別後、第及び第画像の第特徴は、共通の水平面に投影される。さらに詳しくは、カメラ3と第画像上の決定された第特徴との間の光線が、水平面上に投影され、これにより第投影特徴位置PFP1aが得られる。加えて、カメラ3と第画像上の決定された第特徴との間の光線が、同様に水平面上に投影され、これにより第投影特徴位置PFP1bが得られる。ここで、前記投影は垂直方向に行われ、それによって光線の仰角のみが変化し、方位角は変化しないと言うことは、特記すべきことである。 After identifying the features in each image, the first features of the first and second images are projected onto a common horizontal plane. More specifically, the light ray between the camera 3 and the determined first feature on the first image is projected onto a horizontal plane, thereby obtaining the first projected feature position PFP1a. In addition, the light ray between the camera 3 and the determined first feature on the second image is likewise projected onto the horizontal plane, resulting in a second projected feature position PFP1b. It is worth mentioning here that said projection is performed in the vertical direction, so that only the elevation angle of the rays changes, but not the azimuth angle.

及び第投影特徴位置PFP1a、PFP1bを決定した後、前記第及び第投影特徴位置PFP1a、PFP1bに基づいて第垂直二等分線B1が設定される。図2に示す如く、第垂直二等分線B1は、第及び第投影特徴位置PFP1a、PFP1bを結ぶ接続線に対して垂直である。加えて、第垂直二等分線B1は、前記接続線の中央を通っている。前記第垂直二等分線B1は、本実施形態においては車両LAVの縦軸である基準軸と交差している。前記第垂直二等分線B1と基準軸との交点は、それを中心にトレーラが回転する回転点を与える。より詳細には、前記交点は、トウボール4の位置を提供する。 After determining the first and second projected feature positions PFP1a and PFP1b, a first perpendicular bisector B1 is set based on the first and second projected feature positions PFP1a and PFP1b. As shown in FIG. 2, the first perpendicular bisector B1 is perpendicular to the connecting line connecting the first and second projected feature positions PFP1a and PFP1b. In addition, the first perpendicular bisector B1 passes through the center of the connection line. In this embodiment, the first perpendicular bisector B1 intersects with the reference axis , which is the longitudinal axis of the vehicle LAV. The intersection of the first perpendicular bisector B1 and the reference axis provides a rotation point around which the trailer rotates. More specifically, said intersection provides the position of the tow ball 4.

前記第垂直二等分線B1に基づいて、第角度推定α1が計算される。前記第角度推定α1、第投影特徴位置PFP1aと第垂直二等分線B1との交点と基準軸とを結ぶ第1線L1と、第投影特徴位置PFP1bと第垂直二等分線B1と基準軸との交点とを結ぶ第2線L2との間の角度についてである。この交点は、トウボール4の位置を示すものであってもよい。より詳細には、水平面上の第角度推定α1は、水平面上に投影された第画像内の第特徴の場所と前期水平面上に投影された第画像内の第特徴の場所との間の(トウボール4の位置である)前記第交点IP1を中心としたトレーラ2の前記水平面上の旋回角度を特徴付けている。 A first angle estimate α1 is calculated based on the first perpendicular bisector B1. The first angle estimation α1 is based on a first line L1 connecting the reference axis and the intersection of the first projected feature position PFP1a and the first perpendicular bisector B1, and a second projected feature position PFP1b and the first perpendicular bisector B1. This is about the angle between the second line L2 that connects the equisector line B1 and the intersection of the reference axis . This intersection may indicate the position of the tow ball 4. More specifically, the first angle estimation α1 on the horizontal plane is determined by the location of the first feature in the first image projected onto the horizontal plane and the location of the first feature in the second image projected onto the horizontal plane. The turning angle of the trailer 2 on the horizontal plane about the first intersection point IP1 (which is the position of the tow ball 4) between the two is characterized.

角度推定α1は、実際の回転点を中心としたトレーラ2のヨー角YAを表している。 The first angle estimate α1 represents the yaw angle YA of the trailer 2 centered on the actual rotation point.

図3は、ヨー角YAの設定に、(トレーラ2が牽引車両1に対して異なるヨー角YAを持つ)異なる時点において撮影されたトレーラ2の第及び第特徴F1、F2を使う図2と同様の実施形態を示している。カメラ3によって撮影された画像上では、複数の異なる特徴が識別可能であってもよい。図3に示すように、前記特徴は、車両1の固定点に対して異なる角度位置で識別される。第特徴は、正方形、第特徴は、三角形で描かれている。前記固定点は、カメラ3の場所又はトウボール4の場所あってよいFIG. 3 shows that the first and second features F1, F2 of the trailer 2 taken at different times (trailer 2 has different yaw angles YA with respect to the towing vehicle 1) are used to set the yaw angle YA. shows an embodiment similar to . A plurality of different features may be distinguishable on the image taken by the camera 3. As shown in FIG. 3, said features are identified at different angular positions relative to a fixed point of the vehicle 1. The first feature is drawn as a square, and the second feature is drawn as a triangle. Said fixed point may be the location of the camera 3 or the location of the tow ball 4.

図3において、(PFP1a、PFP2aによって示され、カメラ3と特徴とを結ぶ実線の光線と関連付けられている)及び第特徴の上段の対は画像内に識別され、(PFP1b、PFP2bによって示され、カメラ3との特徴を結ぶ破線の光線と関連付けられている)及び第特徴F1、F2の下段の対は、異なる時点における第画像内に識別される。 In Figure 3, the upper pair of first and second features (indicated by PFP1a, PFP2a and associated with the solid ray connecting camera 3 and the features) are identified in the first image and (PFP1b , PFP2b and associated with the dashed ray connecting the features with camera 3) are identified in the second image at different times.

ー角YAの決定は、図2の実施形態と同様にして実施される。主な違いは、2つの角度推定α1、α2が設定され、前記2つの角度推定α1、α2に基づいてトレーラのヨー角展開されることにある。より詳しくは、第垂直二等分線B1が設定され、第角度推定α1を得ること上述したように実施される。 The determination of the yaw angle YA is performed in the same manner as in the embodiment of FIG. The main difference is that two angle estimates α1, α2 are set and the yaw angle of the trailer is developed based on said two angle estimates α1, α2. More specifically, a first perpendicular bisector B1 is set and obtaining a first angle estimate α1 is performed as described above.

加えて、第角度推定α2は、第投影特徴位置PFP2aと第投影特徴位置PFP2bを設定し、第交点IP2を得るため第垂直二等分線B2を設定し、第投影特徴位置PFP2aと第投影特徴位置PFP2bを前記第交点IP2と接続することによって得られる。前記第投影特徴位置PFP2aは、第画像における第特徴を前記水平面上に投影したものであり、第投影特徴位置PFP2bは、第画像における第特徴を前記水平面上に投影したものである。第交点IP2は、第垂直二等分線B2が基準軸と交差する点であり、本実施形態では車両LAVの縦軸と交差する点であってもよい。第角度推定α2は、第投影特徴位置PFP2aと交点IP2とを結ぶ第1線と、第投影特徴位置PFP2bと交点IP2とを結ぶ第2線とがなす角度である。 In addition , the second angle estimation α2 sets the third projected feature position PFP2a and the fourth projected feature position PFP2b, sets the second perpendicular bisector B2 to obtain the second intersection IP2, and calculates the third projected feature position PFP2b. It is obtained by connecting the position PFP2a and the fourth projected feature position PFP2b with the second intersection point IP2. The third projected feature position PFP2a is the second feature in the first image projected onto the horizontal plane, and the fourth projected feature position PFP2b is the second feature in the second image projected onto the horizontal plane. It is. The second intersection point IP2 is a point where the second perpendicular bisector B2 intersects with the reference axis line , and in this embodiment, it may be a point where the second perpendicular bisector line B2 intersects with the longitudinal axis line of the vehicle LAV. The second angle estimate α2 is the angle formed by the first line connecting the third projected feature position PFP2a and the intersection IP2 and the second line connecting the fourth projected feature position PFP2b and the intersection IP2.

実施形態では、カメラ3のみならずトウボール4も、車両1の前記縦軸LAV上にあるため、基準軸は、牽引車両1の縦軸LAVである。他の実施形態では、カメラ3又はトウボール4が車両1の縦軸LAVに対する横方向のずれがある場合、もしくは、車両1の縦軸LAVに対するカメラ3及びトウボール4の横方向のずれが異なる場合は、基準軸は、カメラ3とトウボール4とを結ぶ直線によって形成されてもよい。 In this embodiment, since not only the camera 3 but also the tow ball 4 are located on the longitudinal axis LAV of the vehicle 1, the reference axis is the longitudinal axis LAV of the towing vehicle 1. In other embodiments, the camera 3 or the towball 4 is laterally offset with respect to the longitudinal axis LAV of the vehicle 1, or the camera 3 or the towball 4 is laterally offset with respect to the longitudinal axis LAV of the vehicle 1. If they are different, the reference axis may be formed by a straight line connecting the camera 3 and the tow ball 4.

理想的な条件下においては、第角度推定α1と第角度推定α2が等しく(α1=α2)、かつヨー角YAを表すべきである。しかし、ノイズや不一致により、第と第角度推定α1、α2の値が異なることもあり得る。 Under ideal conditions, the first angle estimate α1 and the second angle estimate α2 should be equal (α1=α2) and represent the yaw angle YA. However, the values of the first and second angle estimates α1 and α2 may differ due to noise or mismatch .

レーラ2の3つ以上の特徴が、複数の画像にわたって決定及び追跡可能であることは、特記すべきことである。加えて、好ましくは、ヨー角推定の結果を高めるために、異なる時点において2つより多い画像が撮影される。これにより、ヨー角の決定の品質を高めるための2つより多い角度推定α1、α2を設定できる。 It is noteworthy that more than two features of trailer 2 can be determined and tracked across multiple images. In addition, preferably more than two images are taken at different times in order to improve the results of the yaw angle estimation. Thereby, more than two angle estimates α1 and α2 can be set to improve the quality of yaw angle determination .

異なる値を持つ第及び第角度推定α1、α2に基づいてヨー角YAを決定するために、統計的尺度を使ってもよい。第実施形態によれば、2つ又はそれより多い角度推定α1、α2の中央値を使ってヨー角YAを決定してよい。他の実施形態によれば、統計的方法を使い、2つ又はそれより多い角度推定α1、α2に基づいてヨー角YAを決定してもよい。統計的方法は、例えば、RANSACアルゴリズム(RANSAC。ランダムサンプルコンセンサス)、又は、最小二乗アルゴリズムであり得る。 A statistical measure may be used to determine the yaw angle YA based on the first and second angle estimates α1, α2 having different values. According to a first embodiment, the median value of two or more angle estimates α1, α2 may be used to determine the yaw angle YA. According to other embodiments, statistical methods may be used to determine the yaw angle YA based on two or more angle estimates α1, α2. The statistical method can be, for example, the RANSAC algorithm (RANSAC; Random Sample Consensus) or the least squares algorithm.

撮影された画像上で可視な全ての特徴がヨー角YAの計算等しく適しているわけではない。計算の複雑さの軽減とロバスト性のために、実際のヨー角に非常に近い旋回角度を持つ特徴が選択され、さらに、ヨー角YAの決定に使用される。特徴択に、将来の画像においては、実際のヨー角を囲む所定の枠内に旋回角度α1、α2を与える特徴のみを追跡してよい。例えば、該枠は、上限と下限とによって画定されてよく、前記上限及び下限は、前記実際のヨー角を囲む角度枠を画定するものである。例えば、該枠は2°から10°、特に好ましくは、3°から5°の間にまたがってよい。最後の2つ又はそれより多いヨー角決定ステップにおいて前記枠内の旋回角度を与える全ての特徴は、次に撮影される画像内でさらに追跡される。 Not all features visible on the captured image are equally suitable for calculating the yaw angle YA. For reduced computational complexity and robustness , features with a turning angle very close to the actual yaw angle are selected and further used to determine the yaw angle YA. For feature selection , only those features that give a turning angle α1, α2 within a predetermined frame surrounding the actual yaw angle may be tracked in future images. For example, the frame may be defined by an upper limit and a lower limit, the upper and lower limits defining an angular frame surrounding the actual yaw angle. For example, the frame may span between 2° and 10°, particularly preferably between 3° and 5°. All features that give a turning angle within said frame in the last two or more yaw angle determination steps are further tracked in the next captured image.

複数の画像において特定のトレーラ特徴を追跡する場合は、前記特徴のサンプルは、トレーラ2の動きに起因して、円セグメント上に配置できる。記円セグメントの中心は、トウボール4の場所を表す。したがって、特定のトレーラ特徴を複数の画像にわたって追跡することにより、トウボール4の場所を導出できる。 When tracking a particular trailer feature in multiple images, samples of said feature can be placed on a circle segment due to the movement of the trailer 2. The center of said circle segment represents the location of the tow ball 4. Therefore, by tracking specific trailer features across multiple images, the location of the towball 4 can be derived .

ノイズを緩和するために、トウボール4の場所決定し、複数の画像にわたって一定期間追跡された複数のトレーラ特徴を考慮してよい。トレーラの各々の特徴は、特定の中心推定を持つ円セグメントに対応してもよい。前記の複数の中心推定に統計的手法を適用することにより、トウボール4の実際の場所を展開できる。該統計的方法は、例えば、RANSACアルゴリズム、又は最小二乗アルゴリズムであり得る。 To mitigate noise, the location of the towball 4 may be determined by considering the characteristics of multiple trailers tracked over a period of time across multiple images. Each feature of the trailer may correspond to a circle segment with a particular center estimate. By applying statistical methods to the estimation of the plurality of centers , the actual location of the tow ball 4 can be developed . The statistical method may be, for example, a RANSAC algorithm or a least squares algorithm.

図4は、上段の基準軸を使わずに回転点を幾何学的に決定する、さらなる実施形態を示している。 FIG. 4 shows a further embodiment in which the rotation point is determined geometrically without using the upper reference axis .

転点は、牽引車両1に対して異なる角度位置にある特徴を示す画像に基づいて、少なくとも2の垂直二等分線B1、B2を展開させることにより設定される。図4において、第投影特徴位置PFP1aは、前述の如く、共通の水平面に投影された第画像に含まれる特徴についてである。同様に、第投影特徴位置PFP1bは、第画像に含まれる特徴についてであり、第投影特徴位置PFP1cは、第画像に含まれる特徴についてである。 The rotation point is set by developing at least two perpendicular bisectors B1, B2 based on three images showing features at different angular positions relative to the towing vehicle 1. In FIG. 4, the first projected feature position PFP1a is a feature included in the first image projected onto a common horizontal plane, as described above. Similarly, the second projected feature position PFP1b is for the feature included in the second image, and the third projected feature position PFP1c is for the feature included in the third image.

垂直二等分線B1は、第及び第投影特徴位置PFP1a、PFP1bを結ぶ接続線についてである。第垂直二等分線B2は、第及び第投影特徴位置PFP1a、PFP1cを結ぶ接続線をしている。第及び第垂直二等分線B1、B2の交点は、トレーラ2の回転点を示す、すなわちトウボール4の位置を示す交差点IPを画定している。 The first perpendicular bisector B1 is a connection line connecting the first and second projected feature positions PFP1a and PFP1b. The second perpendicular bisector B2 indicates a connecting line connecting the first and third projected feature positions PFP1a and PFP1c. The intersection of the first and second perpendicular bisectors B1 and B2 defines an intersection point IP that indicates the rotation point of the trailer 2 , that is, the position of the tow ball 4 .

前記交差点IPは、図2及び図3の実施形態に示すようにトレーラのヨー角YAの決定使えるThe intersection IP can be used to determine the yaw angle YA of the trailer as shown in the embodiments of FIGS. 2 and 3.

図5は、牽引車両1の縦軸LAVに対するトレーラ2のヨー角YAを求める方法のステップを示すブロック図を示している。 FIG. 5 shows a block diagram illustrating the steps of a method for determining the yaw angle YA of the trailer 2 with respect to the longitudinal axis LAV of the towing vehicle 1.

ステップとして、トレーラの少なくとも第及び第画像が、カメラを使って撮影される(S10)。 As a first step, at least first and second images of the trailer are captured using a camera (S10).

画像撮影後、第及び第画像上において可視の、トレーラの少なくとも1つの特徴が決定される(S11)。 After image capture, at least one feature of the trailer visible on the first and second images is determined (S11).

特徴の決定後、特徴投影により、第投影特徴位置及び第投影特徴位置が設定される(S12)。 After determining the features, a first projected feature position and a second projected feature position are set by feature projection (S12).

特徴投影後、第垂直二等分線が設定される(S13)。 After projecting the features , a first perpendicular bisector is set (S13).

垂直二等分線設定後、第垂直二等分線と基準軸線又はさらなる垂直二等分線との第交点が展開される(S14)。 After setting the first perpendicular bisector, a first intersection between the first perpendicular bisector and the reference axis or a further perpendicular bisector is developed (S14).

最後に、ヨー角を、第角度推定に基づいて計算する(S15)。 Finally, the yaw angle is calculated based on the first angle estimate (S15).

留意すべきは、上述の説明及び図面は、単に、提案されている発明の原理を例示しているということである。当業者であれば、本明細書には明示的に説明又は示されていなくとも、本発明の原理を具現化できる様々な構成を実施できるであろう。 It should be noted that the above description and drawings merely illustrate the principles of the proposed invention. Those skilled in the art will be able to implement various configurations not explicitly described or shown herein that may embody the principles of the invention.

1 車両
2 トレーラ
3 カメラ
トウボール
α1 第角度推定
α2 第角度推定
B1 第垂直二等分線
B2 第垂直二等分線
PFP1a 第画像内の第特徴の投影特徴位置
PFP1b 第画像内の第特徴の投影特徴位置
PFP1c 第画像内の第特徴の投影特徴位置
PFP2a 第画像内の第特徴の投影特徴位置
PFP2b 第画像内の第特徴の投影特徴位置
IP 交点
IP1 第交点
IP2 第交点
LAT トレーラの縦軸
LAV 車両の縦軸
光線
YA ヨー角
1 Vehicle 2 Trailer 3 Camera 4 Towball α1 First angle estimation α2 Second angle estimation B1 First perpendicular bisector B2 Second perpendicular bisector PFP1a Projection of the first feature in the first image Feature position
PFP1b Projected feature position of the first feature in the second image
PFP1c Projected feature position of the first feature in the third image
PFP2a Projected feature position of the second feature in the first image
PFP2b Projected feature position of the second feature in the second image
IP Intersection IP1 First intersection IP2 Second intersection LAT Trailer vertical axis line
LAV Vehicle longitudinal axis
R ray
YA Yaw angle

Claims (13)

引車両(1)の縦軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法であって、前記方法が、
- 前記車両(1)に対する前記トレーラ(2)の向きが少なくとも2つの画像上で異なっている、メラ(3)を使ってトレーラ(2)の少なくとも第及び第画像を撮影するステップ(S10)
- 第及び第画像内において可視である前記トレーラ(2)の少なくとも第特徴を決定するステップ(S11)
前記カメラ(3)と第画像上で決定された第特徴との間の光線を水平面上に投影し、それにより、第投影特徴位置(PFP1a)を得て、前記カメラ(3)と第画像上で決定された第特徴との間の光線を前記水平面上に投影し、それにより、第投影特徴位置(PFP1b)を得るステップ(S12)
- 第投影特徴位置(PFP1a)の場所と第投影特徴位置(PFP1b)の場所との間に第垂直二等分線(B1)を設定するステップ(S13)
- 第垂直二等分線(B1)と基準軸、又はさらなる垂直二等分線との第交点(IP1)を決定するステップ(S14)
ー角(YA)を第角度推定(α1)に基づいて計算するステップ(S15)であって、前記第角度推定(α1)は、前記水平面内の、投影特徴位置(PFP1a)から前記第交点(IP1)まで連続している1線と、第投影特徴位置(PFP1b)から前記第交点(IP1)まで連続している第2線との間の角度についてであるー角(YA)を第角度推定(α1)に基づいて計算するステップ(S15)
を備える、牽引車両(1)の縦軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法
A method for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1), said method comprising:
- taking at least a first and a second image of the trailer (2) with a camera (3), in which the orientation of the trailer (2) with respect to the vehicle ( 1) is different on at least two images; S10) and
- determining (S11) at least a first feature of said trailer (2) that is visible in a first and second image;
- projecting a ray of light between said camera (3) and a first feature determined on a first image onto a horizontal plane, thereby obtaining a first projected feature position (PFP1a); and the first feature determined on the second image onto the horizontal plane, thereby obtaining a second projected feature position (PFP1b) (S12);
- setting a first perpendicular bisector (B1) between the location of the first projected feature position (PFP1a) and the location of the second projected feature position (PFP1b) (S13) ;
- determining (S14) a first point of intersection (IP1) between the first perpendicular bisector (B1) and a reference axis or a further perpendicular bisector;
- a step (S15) of calculating a yaw angle (YA) based on a first angle estimate (α1), the first angle estimate (α1) being a first projected feature position (PFP1a ) in the horizontal plane; ) to the first intersection (IP1), and the angle between the second line that continues from the second projected feature position (PFP1b) to the first intersection (IP1). a step (S15) of calculating the yaw angle (YA) based on the first angle estimation (α1) ;
A method for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1), comprising:
1又は画像上において、車両(1)に対する前記トレーラ(2)の前記ヨー角(YA)が、ゼロ又は基準角度として利用可能な任意の既知のヨー角(YA)である請求項1に記載の方法。 2. The yaw angle (YA) of the trailer (2) relative to the vehicle (1) on the first or second image is zero or any known yaw angle (YA ) that can be used as a reference angle . The method described in 1. - 第及び第画像内において可視である前記トレーラ(2)の第特徴を決定するステップであって、前記第特徴は、前記トレーラ(2)上の前記特徴と異なる位置に配置されている、前記2特徴を決定するステップと、
前記カメラ(3)と前記画像上に決定された前記特徴との間の光線を前記水平面上に投影し、それにより、第投影特徴位置(PFP2a)を得て、カメラ(3)と第画像上に決定された前記特徴との間の光線を前記水平面上に投影し、それにより、第投影特徴位置(PFP2b)を得るステップ
- 第投影特徴位置(PFP2a)の場所と第投影特徴位置(PFP2b)の場所の間に第垂直二等分線(B2)を設定するステップ
垂直二等分線(B2)と前記基準軸線との第交点(IP2)を決定するステップ
- 第角度推定(α2)を計算するステップであって、前記第角度推定(α2)は、前記水平面内の、前記投影特徴位置(PFP2a)から前記第交点(IP2)まで連続している線と、前記投影特徴位置(PFP2b)から前記第交点(IP2)まで連続している線との間の角度についてである第2角度推定(α2)を計算するステップと、
- 前記第及び第角度推定(α1、α2)に基づいて前記ヨー角(YA)を計算するステップ
をさらに備える、請求項1又は2に記載の方法
- determining a second feature of said trailer (2) that is visible in first and second images, said second feature being in a different position than said first feature on said trailer (2); determining the second feature that is located ;
- projecting a ray of light between said camera (3) and said second feature determined on said first image onto said horizontal plane, thereby obtaining a third projected feature position (PFP2a); 3) and the second feature determined on the second image onto the horizontal plane, thereby obtaining a fourth projected feature position (PFP2b);
- setting a second perpendicular bisector (B2) between the location of the third projected feature position (PFP2a) and the location of the fourth projected feature position (PFP2b);
determining a second point of intersection (IP2) between a second perpendicular bisector (B2) and the reference axis ;
- calculating a second angle estimate (α2), said second angle estimate (α2) being continuous from said third projected feature position (PFP2a) to said second intersection point (IP2) in said horizontal plane ; A second angle estimation (α2), which is about the angle between the first line and the second line continuous from the fourth projected feature position (PFP2b) to the second intersection (IP2) steps to calculate,
- calculating the yaw angle (YA) based on the first and second angle estimates ( α1 , α2) ;
The method according to claim 1 or 2, further comprising :
前記第及び第特徴に加え、前記トレーラ(2)の少なくとも1つのさらなる特徴が前記ヨー角(YA)の計算に使われる、請求項3に記載の方法。 Method according to claim 3, characterized in that, in addition to the first and second features, at least one further feature of the trailer (2) is used for calculating the yaw angle (YA). 前記ヨー角(YA)が、前記少なくとも2つの角度推定に基づいて中央値を設定することによって計算される、請求項3又は4に記載の方法。 5. A method according to claim 3 or 4, wherein the yaw angle (YA) is calculated by setting a median value based on the at least two angle estimates. 前記ヨー角(YA)が、前記少なくとも2つの角度推定の平均値を設定することによって、又は、前記角度推定に適用される統計的アプローチを使うことによって、計算される、請求項3から5のいずれか一項に記載の方法。 Claims 3 to 5, wherein the yaw angle (YA) is calculated by setting an average value of the at least two angle estimates or by using a statistical approach applied to the angle estimates. The method described in any one of the above . 角度枠を決定するステップをさらに備え、
前記角度枠が前記ヨー角(YA)を囲む上限及び下限を備え前記角度枠が前記角度枠内の角度推定につながる特徴セットを決定し、
前記決定された特徴セットを将来のヨー角(YA)の計算に使う、請求項1から6のいずれか一項に記載の方法。
further comprising a step of determining an angle frame ;
the angular frame has upper and lower bounds surrounding the yaw angle (YA), the angular frame determining a set of features that lead to an angle estimation within the angular frame;
7. A method according to any one of claims 1 to 6 , wherein the determined set of features is used for calculating a future yaw angle (YA).
カメラ較正情報が、前記第1特徴と前記特徴との少なくとも一方の位置を、前記画像のローカルドメインから前記車両(1)のローカルドメインに変換するために使われる、請求項1から7のいずれか一項に記載の方法。 8. Camera calibration information according to claim 1 , wherein camera calibration information is used to transform the position of at least one of the first feature and the second feature from the local domain of the image to the local domain of the vehicle (1). The method described in any one of the above . 前記カメラ(3)及び前記車両(1)の前記トウボール(4)が、前記牽引車両(1)の前記縦軸(LAV)を備える鉛直配向されている平面に配置されている場合は、前記基準軸線は前記牽引車両(1)の前記縦軸(LAV)である、請求項1から8のいずれか一項に記載の方法。 if the camera (3) and the tow ball (4) of the vehicle (1) are arranged in a vertically oriented plane comprising the longitudinal axis (LAV) of the towing vehicle (1); 9. A method according to any one of claims 1 to 8, wherein the reference axis is the longitudinal axis (LAV) of the towing vehicle (1). 前記カメラ(3)と前記トウボール(4)との少なくとも一方前記牽引車両(1)の縦軸(LAV)に対して横方向のずれがある場合、前記基準軸は、前記カメラ(3)と前記トウボール(4)との間に連続している直線である、請求項1から9のいずれか一項に記載の方法。 If at least one of the camera (3) and the tow ball (4) has a lateral deviation with respect to the longitudinal axis (LAV) of the towing vehicle (1), the reference axis 10. The method according to claim 1 , wherein there is a continuous straight line between the tow ball (4) and the tow ball (4). 前記カメラ(3)が、前記車両(1)のリアビューカメラである、請求項1から10のいずれか一項に記載の方法。 11. A method according to any one of claims 1 to 10 , wherein the camera (3) is a rear view camera of the vehicle (1). 牽引車(1)の縦軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステムであって、前記システムは、前記トレーラ(2)の画像を撮影すカメラ(3)と、撮影した前記画像を処理する処理実体とを備え、前記システムが、
- 前記車両(1)に対する前記トレーラ(2)の向きが少なくとも2つの画像上で異なっている、メラ(3)を使って前記トレーラ(2)の少なくとも第及び第画像を撮影するステップ(S10)
- 第及び第画像内可視である前記トレーラ(2)の少なくとも第特徴を決定するステップ(S11)
前記カメラ(3)と第画像上で決定された第特徴との間の光線を水平面上に投影し、それにより、第投影特徴位置(PFP1a)を得て、前記カメラ(3)と第画像上で決定された第特徴との間の光線を前記水平面上に投影し、それにより、第投影特徴位置(PFP1b)を得るステップ(S12)
- 第投影特徴位置(PFP1a)の場所と第投影特徴位置(PFP1b)の場所の間に第垂直二等分線(B1)を設定するステップ(S13)
- 第垂直二等分線(B1)と基準軸、又はさらなる垂直二等分線との第交点(IP1)を決定するステップ(S14)
ー角(YA)を第角度推定(α1)に基づいて計算するステップ(S15)であって、前記第角度推定(α1)は、第投影特徴位置(PFP1a)から前記第交点(IP1)まで連続している1線と、第投影特徴位置(PFP1b)から前記水平面内の前記第交点(IP1)まで連続している第2線との間の角度についてであるー角(YA)を第角度推定(α1)に基づいて計算するステップ(S15)
を実施すべくさらに構成されている、牽引車両(1)の縦軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステム。
A system for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1), said system comprising: a camera ( 3) and a processing entity that processes the captured image, the system comprising:
- taking at least a first and a second image of the trailer (2) using a camera (3), wherein the orientation of the trailer (2) with respect to the vehicle ( 1) is different on at least two images; (S10) and
- determining (S11) at least a first feature of said trailer (2) that is visible in a first and second image;
- projecting a ray of light between said camera (3) and a first feature determined on a first image onto a horizontal plane, thereby obtaining a first projected feature position (PFP1a); and the first feature determined on the second image onto the horizontal plane, thereby obtaining a second projected feature position (PFP1b) (S12);
- setting a first perpendicular bisector (B1) between the location of the first projected feature position (PFP1a) and the location of the second projected feature position (PFP1b) (S13) ;
- determining (S14) a first point of intersection (IP1) between the first perpendicular bisector (B1) and a reference axis or a further perpendicular bisector;
- a step (S15) of calculating a yaw angle (YA) based on a first angle estimate (α1), the first angle estimate (α1) being calculated from the first projection feature position (PFP1a); Regarding the angle between the first line that continues to the intersection (IP1) and the second line that continues from the second projected feature position (PFP1b) to the first intersection (IP1) in the horizontal plane. a step (S15) of calculating a certain yaw angle (YA) based on the first angle estimation (α1) ;
A system for determining a yaw angle (YA) of a trailer (2) with respect to a longitudinal axis (LAV) of a towing vehicle (1), further configured to perform.
請求項12に記載のシステムを備える、車両。 A vehicle comprising a system according to claim 12.
JP2022549860A 2020-03-31 2020-12-01 Method and system for calculating angle between vehicle and trailer Pending JP2023514845A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20167188.0 2020-03-31
EP20167188.0A EP3889905A1 (en) 2020-03-31 2020-03-31 Method and system for calculating vehicle trailer angle
PCT/EP2020/084109 WO2021197650A1 (en) 2020-03-31 2020-12-01 Method and system for calculating vehicle trailer angle

Publications (2)

Publication Number Publication Date
JP2023514845A JP2023514845A (en) 2023-04-11
JPWO2021197650A5 true JPWO2021197650A5 (en) 2023-11-20

Family

ID=70110143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549860A Pending JP2023514845A (en) 2020-03-31 2020-12-01 Method and system for calculating angle between vehicle and trailer

Country Status (5)

Country Link
US (1) US20230173998A1 (en)
EP (1) EP3889905A1 (en)
JP (1) JP2023514845A (en)
CN (1) CN115298696A (en)
WO (1) WO2021197650A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
DE102016117284A1 (en) * 2016-09-14 2018-03-15 Connaught Electronics Ltd. Determining a position of a trailer hitch
US10552976B2 (en) * 2017-03-22 2020-02-04 Magna Electronics Inc. Trailer angle detection system for vehicle
EP3537382A1 (en) * 2018-03-09 2019-09-11 Continental Automotive GmbH Device and method for calculating a vehicle trailer pose using a camera

Similar Documents

Publication Publication Date Title
JP7461720B2 (en) Vehicle position determination method and vehicle position determination device
US11679635B2 (en) Vehicular trailer hitching assist system with coupler height and location estimation
US9784829B2 (en) Wheel detection and its application in object tracking and sensor registration
US9599706B2 (en) Fusion method for cross traffic application using radars and camera
JP7444605B2 (en) How to calculate the location of the tow hitch
US20040133376A1 (en) Method and device for calibrating an image sensor system in a motor vehicle
JP7355505B2 (en) Method and system for calibrating vehicle cameras
CN106447730B (en) Parameter estimation method and device and electronic equipment
JP2002123818A (en) Peripheral obstacle detecting device for vehicle
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
JP2004198159A (en) Measuring device for axis misalignment of on-vehicle sensor
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
JP7067574B2 (en) Distance estimation device and computer program for distance estimation
JP7437523B2 (en) Vehicle trailer angle calculation method and system
JP7480324B2 (en) Method and system for calculating vehicle trailer angle
US20230064558A1 (en) Method for harmonizing images acquired from non overlapping camera views
EP3889905A1 (en) Method and system for calculating vehicle trailer angle
JPWO2021197650A5 (en)
JP7493051B2 (en) Vehicle trailer angle calculation method and system
JP2728174B2 (en) Forward car recognition device for mobile vehicles
JPWO2021197652A5 (en)
JPWO2021197651A5 (en)
US20230368424A1 (en) Vehicle and method of controlling the same
JPWO2021197649A5 (en)
WO2020050171A1 (en) Bearing detection system, bearing detection method, and bearing detection program