JPWO2021197650A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021197650A5 JPWO2021197650A5 JP2022549860A JP2022549860A JPWO2021197650A5 JP WO2021197650 A5 JPWO2021197650 A5 JP WO2021197650A5 JP 2022549860 A JP2022549860 A JP 2022549860A JP 2022549860 A JP2022549860 A JP 2022549860A JP WO2021197650 A5 JPWO2021197650 A5 JP WO2021197650A5
- Authority
- JP
- Japan
- Prior art keywords
- angle
- feature
- trailer
- camera
- yaw angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Description
本発明は、概して車両補助システムの分野に関する。より具体的には、本発明は、牽引車両に接続されたトレーラのヨー角を、車両のカメラから提供される画像情報に基づいて計算する方法に関する。 FIELD OF THE INVENTION The present invention relates generally to the field of vehicle assistance systems. More specifically, the present invention relates to a method for calculating the yaw angle of a trailer connected to a towing vehicle based on image information provided by a camera on the vehicle.
車両のカメラによって提供された画像情報に基づいて牽引車両に対するトレーラの角度を計算する複数の方法が、既知である。 Several methods are known for calculating the angle of a trailer relative to a towing vehicle based on image information provided by a vehicle's camera.
特に、画像が低品質である場合には、計算上の煩雑さは少ないが、ロバストな角度情報を提供しない方法が公知である。加えて、公知の方法では、ヨー角を決定するためには、トウボール(牽引装置の1形式)の正確な位置がわかっていなければならない。 Particularly when the images are of low quality, methods are known that are less computationally complex but do not provide robust angle information. Additionally, in known methods, the exact position of the tow ball (a type of traction device) must be known in order to determine the yaw angle.
本発明の実施形態の目的は、トウボールの位置を知ることなく、高いロバスト性と高い信頼性を持つトレーラのヨー角の計算方法を提供することにある。この課題は、独立請求項の特徴によって解決される。好ましい実施形態は、従属請求項に示されている。特に明記しない限り、本発明の実施形態は、互いに自由に組み合わせられる。 It is an object of embodiments of the invention to provide a method for calculating the yaw angle of a trailer with high robustness and high reliability without knowing the position of the towball . This object is solved by the features of the independent claims. Preferred embodiments are set out in the dependent claims. Unless stated otherwise, embodiments of the invention are free to be combined with each other.
1観点によれば、本発明は、牽引車両の縦軸に対するトレーラのヨー角を決定する方法に関する。この方法は、以下のステップを備える。 According to one aspect , the invention relates to a method for determining the yaw angle of a trailer relative to the longitudinal axis of a towing vehicle. This method comprises the following steps.
先ず、トレーラの少なくとも第1及び第2画像がカメラを使って撮影される。第1及び第2画像は、少なくとも2画像上で車両に対するトレーラの向きが異なるように撮影される。 First, at least first and second images of the trailer are captured using a camera. The first and second images are taken such that the orientation of the trailer with respect to the vehicle is different on at least two images.
前記画像の撮影後、該トレーラの少なくとも第1特徴が決定される。前記第1特徴は、第1及び第2画像内において可視でなければならない。第1特徴は、例えば、トレーラの第1場所において顕著な第1特徴であってよい。 After taking the images, at least a first characteristic of the trailer is determined. The first feature must be visible in the first and second images. The first feature may be , for example, the first feature that is prominent at the first location of the trailer.
その特徴の決定後、カメラと第1画像上の決定された第1特徴との間の光線が設定され、前記光線が水平面上に投影され、これにより第1投影特徴位置(投影された特徴の第1位置)が得られる。同様に、カメラと第2画像上の決定された第1特徴との間の光線が設定され、前記光線が前記水平面上に投影され、これにより第2投影特徴位置が得られる。前記の特徴の投影は、それぞれ、光線を垂直方向に行ってもよく、すなわち傾斜光線を、方位角を変えずに水平光線に転送してもよい。 After determining that feature, a ray is set between the camera and the determined first feature on the first image, and said ray is projected onto a horizontal plane, thereby causing the first projected feature position (of the projected feature). 1st position ) is obtained. Similarly, a ray is established between the camera and the determined first feature on the second image, and said ray is projected onto said horizontal plane, thereby obtaining a second projected feature position . The projection of said features may each be carried out in the vertical direction of the rays , ie the oblique rays may be transferred to the horizontal rays without changing the azimuth.
前記第1特徴の投影に基づいて、第1投影特徴位置の場所と第2投影特徴位置の場所との間に、第1垂直二等分線が設定される。より詳細には、第1垂直二等分線は、第1光線と水平面との交点(例えば、z=1)及び第2光線と水平面との交点の場所を結ぶ線の中心を通る垂直な直線であり得る。第1光線は、カメラの較正情報を使って、第1画像における第1特徴の画像座標を光学的光線に変換することによって決定される。第2光線は、カメラの較正情報を使って、第2画像における第1特徴の画像座標を光学的光線に変換することによって決定される。前記第1垂直二等分線は、水平面内に設定されてもよい。 Based on the projection of the first feature, a first perpendicular bisector is established between the location of the first projected feature location and the location of the second projected feature location . More specifically, the first perpendicular bisector is a perpendicular straight line passing through the center of the line connecting the intersection of the first ray and the horizontal plane (for example, z=1) and the location of the intersection of the second ray and the horizontal plane. It can be. The first ray is determined by converting the image coordinates of the first feature in the first image into an optical ray using camera calibration information. The second ray is determined by converting the image coordinates of the first feature in the second image into an optical ray using camera calibration information. The first perpendicular bisector may be set within a horizontal plane.
前記第1垂直二等分線を設定後、第1垂直二等分線と基準軸線との第1交点が決定される。該基準軸線は、カメラとトウボールの両方がその上にある車両の中央縦軸線であってもよい。従って、この交点は、第1特徴の回転中心を表している。 After setting the first perpendicular bisector, a first intersection between the first perpendicular bisector and the reference axis is determined . The reference axis may be the central longitudinal axis of the vehicle on which both the camera and the towball are located. This intersection therefore represents the center of rotation of the first feature.
最後に、トレーラの該ヨー角は、第1角度推定に基づいて計算されるが、前記第1角度推定は、前記水平面内の、第1投影特徴位置から前記第1交点まで連続している第1線と、第2投影特徴位置から前記第1交点まで連続している第2線との間の角度を基準としている。 Finally, the yaw angle of the trailer is calculated based on a first angle estimate, the first angle estimate being the first angle estimate that is continuous from the first projected feature position to the first intersection in the horizontal plane. The angle between the first line and a second line that continues from the second projected feature position to the first intersection point is used as a reference.
前記の方法は、1本又はそれより多い垂直二等分線を設定し、1本以上の前記の垂直二等分線に基づいてヨー角を計算出するために、2つ又はそれより多い画像を使い、かつ1つ又はそれより多いトレーラの特徴を使うことから、ノイズが大きい場合や画像の品質が低い場合でもトレーラの特徴の検出を非常に正確かつロバストに実施できるため有利である。加えてヨー角の決定に垂直二等分線を使うゆえ、トウボールの正確な位置は不明でもよい。 The method comprises: setting one or more perpendicular bisectors and calculating a yaw angle based on one or more said perpendicular bisectors; The use of one or more trailer features is advantageous because the detection of trailer features can be performed very accurately and robustly even in the case of high noise or low quality images. Additionally, since a perpendicular bisector is used to determine the yaw angle, the exact location of the tow ball may not be known.
1実施形態によれば、第1又は第2画像上において、車両に対するトレーラのヨー角はゼロである。これにより、前記画像は、「ゼロポーズ画像」すなわち、車両の縦軸線とトレーラの縦軸線との正確な位置合わせの基準として、使用できる。しかしながら、他のヨー角値も、基準として使用できる。前記の他のヨー角がわからない場合は、該システムは、絶対的なトレーラ角ではなく、トレーラ角の変化を計算してよい。 According to one embodiment, the yaw angle of the trailer relative to the vehicle is zero on the first or second image. This allows the image to be used as a "zero pose image ", ie a reference for accurate alignment of the longitudinal axis of the vehicle and the longitudinal axis of the trailer. However , other yaw angle values can also be used as a reference. If the other yaw angle is not known , the system may calculate the change in trailer angle rather than the absolute trailer angle.
1実施形態によれば、該方法は、以下のステップをさらに備える。
第1特徴に加え、第1及び第2画像内において可視なトレーラの第2特徴を決定するステップ。前記第2特徴は、トレーラ上の第1特徴とは異なる位置にある。第2特徴は、例えば、トレーラの第2場所において顕著な第2特徴であってよい。
加えて、カメラと第1画像上の決定された第2特徴との間の光線が、前記水平面上に投影され、これにより第3投影特徴位置を得るステップ。同様に、カメラと第2画像上の決定された第2特徴との間の光線が、前記水平面上に投影され、これにより第4投影特徴位置も得られる。
さらに、第3投影特徴位置の場所と第4投影特徴位置の場所との間に、第2垂直二等分線を設定するステップ。
前記第2垂直二等分線を基に、第2垂直二等分線と前記基準軸線との第2交点が決定される。
第2垂直二等分線に基づいて、第2角度推定が設定され、第3投影特徴位置から前記第2交点まで延在する第1線と、前記水平面において第4投影特徴位置から前記第2交点まで延在する第2線との間の角度に基づいて第2角度推定を実施するステップ。
最後に、ヨー角を、前記第1及び第2角度推定に基づいて計算するステップ。
According to one embodiment, the method further comprises the following steps.
Determining a second feature of the trailer visible in the first and second images in addition to the first feature. The second feature is in a different location on the trailer than the first feature. The second feature may be , for example, a second feature that is prominent at a second location on the trailer.
Additionally, a ray of light between the camera and the determined second feature on the first image is projected onto the horizontal plane, thereby obtaining a third projected feature position . Similarly, a ray of light between the camera and the determined second feature on the second image is projected onto the horizontal plane, thereby also obtaining a fourth projected feature position .
Further , setting a second perpendicular bisector between the location of the third projected feature position and the location of the fourth projected feature position .
Based on the second perpendicular bisector, a second intersection between the second perpendicular bisector and the reference axis is determined .
A second angle estimate is established based on a second perpendicular bisector, a first line extending from a third projected feature location to the second intersection point, and a first line extending from a fourth projected feature location to the second intersection point in the horizontal plane . performing a second angle estimation based on an angle with a second line extending to the intersection point;
Finally, calculating a yaw angle based on the first and second angle estimates.
2つ又はそれより多いトレーラの特徴及び複数の垂直二等分線を使用することにより、垂直二等分線と基準軸線との間の旋回角度を決定する際のノイズ及び不一致を緩和できる。 By using two or more trailer features and multiple perpendicular bisectors, noise and discrepancies in determining the turning angle between the perpendicular bisector and the reference axis can be mitigated. Wear.
1実施形態によれば、前記の第1及び第2特徴に加え、トレーラの少なくとも1つのさらなる特徴がヨー角の計算に使われる。3つ又はそれより多い特徴を使用することにより、ヨー角決定のロバスト性と信頼性がさらに向上する。 According to one embodiment, in addition to the first and second features mentioned above, at least one further feature of the trailer is used for calculating the yaw angle. Using three or more features further improves the robustness and reliability of the yaw angle determination.
1実施形態によれば、ヨー角は、少なくとも2つの角度推定に基づいて中央値を設定することによって、計算される。これにより、非常に安定したヨー角の決定が取得可能になる。 According to one embodiment, the yaw angle is calculated by setting a median value based on at least two angle estimates. This makes it possible to obtain a very stable yaw angle determination .
他の実施形態によれば、ヨー角は、少なくとも2つの角度推定の平均値を設定することによって、又は、前記角度推定に適用される統計的アプローチを使用することによって計算される。 According to other embodiments, the yaw angle is calculated by setting an average value of at least two angle estimates or by using a statistical approach applied to said angle estimates.
1実施形態によれば、該方法は、さらに以下の角度枠を決定するステップも備える。前記の角度枠は、前記のヨー角を挟む上限と下限を備えてよい。加えて、特徴のセットが決定され、前記特徴セット内の前記特徴は、前記角度枠内に位置する角度推定の基となる。前記の決定された特徴のセットは、好ましくは、前記特徴セットに含まれる特徴のみが、将来のヨー角の計算に使用される。それは、言い換えると、以前のヨー角決定情報は、決定されたヨー角にかなり近い(すなわち、角度枠内の)角度推定を導き出すトレーラの2つ又はそれより多い特徴を決定し、決定されたヨー角から有意に逸脱する(すなわち、角度枠外の)角度推定を導き出すような特徴を非追跡とすべく使用される。これにより、角度推定の計算の複雑さと精度を有意に低減できる。 According to one embodiment, the method further comprises the step of determining the following angular frames. The angle frame may include an upper limit and a lower limit that sandwich the yaw angle. Additionally, a set of features is determined , and the features in the feature set serve as a basis for an angle estimate located within the angle window. Said determined feature set is preferably such that only features included in said feature set are used for future yaw angle calculations . In other words , the previous yaw angle determination information determines two or more features of the trailer that lead to an angle estimate that is fairly close ( i.e. within the angle window) to the determined yaw angle, and the determined It is used to untrack features that lead to angle estimates that deviate significantly from the calculated yaw angle ( ie , outside the angle window). This can significantly reduce the computational complexity and accuracy of angle estimation.
1実施形態によれば、カメラ較正情報は、前記第1特徴と第2特徴との少なくとも一方の位置を、画像のローカルドメインから車両のローカルドメインへ変換するのに使われる。例えば、カメラ較正情報を使ってカメラの位置を知ることにより、画像上の特定の特徴の位置を、カメラが、車両に内蔵されている位置又は設置されている位置に依存して、もしくは、相関させることによって、場所の情報に転換できる。 According to one embodiment, camera calibration information is used to transform the position of the first feature and / or the second feature from a local domain of the image to a local domain of the vehicle. For example, by knowing the position of the camera using camera calibration information, the position of a particular feature on an image can be determined depending on or relative to the position where the camera is built into or installed in the vehicle. By doing so, it can be converted into location information.
1実施形態によれば、基準軸線は、カメラ及び車両のトウボールが牽引車両の縦軸線を含む鉛直配向平面に配置されている場合は、該牽引車両の前記縦軸線となる。それは、言い換えると、ヨー角は、角度推定に基づいて設定されるが、前記角度推定は、牽引車両の縦軸線と得られた垂直二等分線との間の角度を基準としている。 According to one embodiment, the reference axis is the longitudinal axis of the towing vehicle if the camera and the towball of the vehicle are arranged in a vertical orientation plane containing the longitudinal axis of the towing vehicle. That is , in other words , the yaw angle is set based on an angle estimate, said angle estimate being based on the angle between the longitudinal axis of the towing vehicle and the obtained perpendicular bisector.
他の実施形態によれば、カメラとトウボールとの少なくとも一方が牽引車両の縦軸に対して横方向のずれ(オフセット)を持っている場合、基準軸線は、カメラとトウボールとの間を連続している直線である。こうすることにより、カメラとトウボールとの間の横方向のオフセットを補償可能である。 According to another embodiment, if at least one of the camera and the towball has a lateral offset with respect to the longitudinal axis of the towing vehicle, the reference axis is between the camera and the towball . is a continuous straight line. By doing so, it is possible to compensate for lateral offsets between the camera and the towball .
1実施形態によれば、カメラは、車両のリアビューカメラである。リアビューカメラを基にすることにより、トレーラの画像は、少ない技術的労力によって撮影可能となる。 According to one embodiment, the camera is a rear view camera of the vehicle. By being based on a rear view camera, images of the trailer can be taken with less technical effort.
1実施形態によれば、第1特徴の場所は、第1及び第2画像においてのみ決定されるのではなく、少なくとも第3画像においても決定される。第1特徴の第3画像内における場所は、第1及び第2画像内の第1特徴の場所とは異なっている。第1垂直二等分線は、第1画像と第2画像内の第1特徴間に決定できる。さらなる垂直二等分線は、第1画像と第3画像内の第1特徴間に決定できる。次いで、さらなる交点は、前記第1垂直二等分線と前記のさらなる垂直二等分線との交点に基づいて決定できる。 According to one embodiment, the location of the first feature is determined not only in the first and second images, but also at least in the third image. The location of the first feature in the third image is different from the location of the first feature in the first and second images. A first perpendicular bisector can be determined between the first feature in the first image and the second image. A further perpendicular bisector can be determined between the first feature in the first image and the third image. A further point of intersection may then be determined based on the point of intersection of said first perpendicular bisector and said further perpendicular bisector.
前記第1垂直二等分線に基づいて、第1角度推定が計算される。該第1角度推定は、第1光線と水平面との交点のうち、第2光線と水平面との交点に対する前記のさらなる交点を中心とする回転角である。第1角度推定は、第1画像と第2画像との間のトレーラのヨー角の変化に相当する。それは、言い換えると、トレーラの回転点は、第1垂直二等分線の基準軸線との交点によって決定されるのではなく、3つ又はそれより多いの画像上の特徴を追跡することによって得られる少なくとも二本の垂直二等分線と交差することによって決定される。 A first angle estimate is calculated based on the first perpendicular bisector. The first angle estimate is a rotation angle about the further intersection of the intersections of the first ray and the horizontal plane with respect to the intersection of the second ray and the horizontal plane. The first angle estimate corresponds to a change in the yaw angle of the trailer between the first image and the second image. That is , in other words , the point of rotation of the trailer is determined not by the intersection of the first perpendicular bisector with the reference axis , but by tracking three or more image features. It is determined by intersecting at least two perpendicular bisectors obtained.
さらなる観点によれば、牽引車両の縦軸に対するトレーラのヨー角を決定するシステムが開示される。該システムは、トレーラの画像を撮影するカメラと、撮影された画像を処理する処理実体とを備えている。さらに該システムは、以下のステップを実施可能に構成されている。
- 少なくとも2つの画像上で車両に対するトレーラの向きが異なっている、カメラを使ってトレーラの少なくとも第1画像及び第2画像を撮影するステップ、
- 第1及び第2画像内において可視なトレーラの少なくとも第1特徴を決定するステップ、
- カメラと第1画像上で決定された第1特徴との間の光線を水平面上に投影し、それにより、第1投影特徴位置を得て、カメラと第2画像上で決定された第1特徴との間の光線を前記水平面上に投影し、それにより、第2投影特徴位置を得るステップ、
- 第1投影特徴位置の場所と第2投影特徴位置の場所の間に第1垂直二等分線を設定するステップ、
- 第1垂直二等分線と基準軸線との第1交点を決定するステップ、
- ヨー角を、第1角度推定に基づいて計算するステップであって、前記第1角度推定は、前記水平面内の、第1投影特徴位置から前記第1交点まで連続している第1線と、第2投影特徴位置から前記第1交点まで連続している第2線との間の角度についてである、ヨー角を、第1角度推定に基づいて計算するステップ。
According to a further aspect , a system for determining a yaw angle of a trailer relative to a longitudinal axis of a towing vehicle is disclosed. The system includes a camera that captures images of the trailer and a processing entity that processes the captured images. Furthermore, the system is configured to be able to perform the following steps.
- capturing at least a first image and a second image of the trailer using a camera, the orientation of the trailer relative to the vehicle being different on the at least two images ;
- determining at least a first feature of the trailer visible in the first and second images;
- projecting the ray between the camera and the first feature determined on the first image onto a horizontal plane, thereby obtaining a first projected feature position ; projecting a ray between the features onto the horizontal plane, thereby obtaining a second projected feature position ;
- establishing a first perpendicular bisector between the location of the first projected feature location and the location of the second projected feature location ;
- determining a first point of intersection between the first perpendicular bisector and the reference axis ;
- calculating a yaw angle based on a first angle estimate, the first angle estimate being a first line in the horizontal plane that is continuous from the first projected feature position to the first intersection point; , calculating a yaw angle based on the first angle estimate, the angle between the second projected feature position and a second line continuous to the first intersection point.
本方法の実施形態として説明した上述の任意の特徴は、本開示によるシステムにおけるシステムの特徴としても適用可能である。 Any features described above as embodiments of the method are also applicable as system features in a system according to the present disclosure.
さらに別の実施形態によれば、上述の実施形態のいずれかによるシステムを備える車両が開示される。 According to yet another embodiment, a vehicle is disclosed that includes a system according to any of the embodiments described above.
本明細書で使用される用語「車両」は、自動車、トラック、バス、列車、又はその他の動力車両を意味してよい。 The term "vehicle " as used herein may mean an automobile, truck, bus, train, or other motorized vehicle.
本明細書で使用される用語「ヨー角」は、車両の縦軸とトレーラの縦軸との間のピボット角度(旋回角度)を意味してよい。 As used herein, the term "yaw angle" may refer to the pivot angle between the longitudinal axis of the vehicle and the longitudinal axis of the trailer.
本明細書で使用される用語「中央値」は、データサンプル又は確率分布の下半分から上半分を分ける値を意味してよい。 The term "median" as used herein may refer to the value that separates the upper half from the lower half of a data sample or probability distribution.
本明細書で使用される用語「基本的」又は「略」という用語は、正確な値から+/-10%、好ましくは+/-5%の差であることと、その変化が、機能と交通法規との少なくとも一方に対して重要でない程度の差であることとの少なくとも一方を意味している。 As used herein, the term " basic " or "substantially" refers to a difference of +/-10%, preferably +/-5% from the exact value and that the change This means that there is an insignificant difference with respect to at least one of the traffic regulations .
特定の特徴及び利点を含む本発明の様々な観点は、以下の詳細な説明及び添付図面から容易に理解されるだろう。 Various aspects of the present invention, including specific features and advantages, will be readily understood from the following detailed description and accompanying drawings.
次に、本発明は、例示的な実施形態が示されている添付図面を参照することにより、より完全に説明される。図中の実施形態は、好ましい実施形態に関連し得るが、該実施形態に関連して説明される全ての要素及び特徴は、適切である限り、本明細書で説明される他の実施形態及び特徴と組み合わせて、特に、先に詳しく説明した実施形態と関連して使用され得る。いずれにせよ、本発明は、本明細書に記載の実施形態に限定されると解釈されるべきではない。該当する限り、以下の説明全体を通して、同様な参照番号を使用して、同様の要素、部品、アイテム、又は、機能を示す。 The invention will now be described more fully with reference to the accompanying drawings, in which exemplary embodiments are shown. Although the embodiments in the figures may relate to the preferred embodiments, all elements and features described in connection with the embodiments may be incorporated, as appropriate, in other embodiments and embodiments described herein. It may be used in combination with the features, particularly in conjunction with the embodiments described in detail above. In any event, this invention should not be construed as limited to the embodiments described herein. Where applicable, like reference numbers are used throughout the following description to indicate similar elements, parts, items, or features.
本明細書と、特許請求の範囲と、例とに開示された本発明の特徴と、又は図に開示された本発明の特徴とは、それぞれ、もしくはそれらの任意の組み合わせの両方において、本発明を様々な形態で実施するための材料であってよい。 The features of the invention disclosed in the description, the claims, the examples or the features of the invention disclosed in the drawings are, both individually or in any combination thereof, the invention It may be a material for implementing in various forms.
図1は、トレーラ2を牽引する車両1の上面図を示す。車両1は、車両1の中心を貫通する縦軸線LAVを備える。同様に、トレーラ2は、トレーラ2の中心を貫通する縦軸線LATを備える。トレーラ2は、トウボール4を備えるトレーラヒッチによって車両1と結合される。 FIG. 1 shows a top view of a vehicle 1 towing a trailer 2. FIG. The vehicle 1 includes a longitudinal axis LAV passing through the center of the vehicle 1. Similarly, the trailer 2 has a longitudinal axis LAT passing through the center of the trailer 2. The trailer 2 is connected to the vehicle 1 by a trailer hitch with a tow ball 4 .
特定の運転状況において、車両1の縦軸線LAVとトレーラ2の縦軸線LATとは、平行の揃っていなくとも、又は、互いに重なり合っていなくてもよいが、該軸線は、ヨー角YAを限定している。言い換えると、該ヨー角YAは、車両1の縦軸線LAVに対するトレーラ2の縦軸線LATのずれ角を画定している。該ヨー角YAは、車両1の縦軸線LAVと同様に、トレーラ2の縦軸線LATを含む水平面において計測してよい。
ヨー角YAに関する知見は、特に、例えば、トレーラ補助システムにおいて有利である。
In a particular driving situation, the longitudinal axis LAV of the vehicle 1 and the longitudinal axis LAT of the trailer 2 may not be parallel or overlapping each other; is limited. In other words , the yaw angle YA defines the deviation angle of the longitudinal axis LAT of the trailer 2 with respect to the longitudinal axis LAV of the vehicle 1. The yaw angle YA may be measured on a horizontal plane including the longitudinal axis LAT of the trailer 2, similar to the longitudinal axis LAV of the vehicle 1.
Knowledge regarding the yaw angle YA is particularly advantageous, for example in trailer assistance systems .
ヨー角YAの決定に、トレーラ2の少なくとも一部の複数画像がカメラ3によって撮影される。カメラ3は、例えば、後退走行時の車両の周辺の画像撮影用の、車両のリアビューカメラであってもよい。撮影された複数画像の1つは、牽引車両1に対するトレーラ2の既知の角度配置についてでよい。前記の画像は、ヨー角YAの計算において基準として使ってよい。牽引車両1に対するトレーラ2の前記既知角度配置において、ヨー角YAは、0°又は、他の任意の角度値であってもよい。 To determine the yaw angle YA, a plurality of images of at least a portion of the trailer 2 are taken by the camera 3. The camera 3 may be , for example, a rear view camera of the vehicle for capturing images of the surroundings of the vehicle when the vehicle is traveling backwards. One of the images taken may be of a known angular positioning of the trailer 2 with respect to the towing vehicle 1. Said image may be used as a reference in the calculation of the yaw angle YA. In said known angular arrangement of the trailer 2 relative to the tow vehicle 1, the yaw angle YA may be 0° or any other angular value.
図2は、牽引車両1に対してトレーラ2が異なるヨー角YAを持つ、異なる時点におけるトレーラ2の第1特徴F1の角度関係を示す模式図を示している。 FIG. 2 shows a schematic diagram showing the angular relationship of the first feature F1 of the trailer 2 at different times when the trailer 2 has different yaw angles YA with respect to the towing vehicle 1.
カメラ3は、車両1に対するトレーラ2の角度位置が異なる、異なる時点における、2つ又はそれより多い画像を撮影してもよい。例えば、一連の画像が撮影されてもよい。 The camera 3 may take two or more images at different times and with different angular positions of the trailer 2 relative to the vehicle 1. For example, a series of images may be taken .
本例では、第2画像は、ヨー角YA=0°における車両に対するトレーラの向きを示してもよい。 In this example, the second image may show the orientation of the trailer relative to the vehicle at a yaw angle YA=0°.
時間の経過にわたるトレーラ2の角度運動を理由として、トレーラで検出された特定の特徴は、第1及び第2画像内の異なる位置に現れるであろう。図2では、第1特徴は正方形で示されている。 Due to the angular movement of the trailer 2 over time, certain features detected on the trailer will appear at different positions in the first and second images. In FIG. 2, the first feature is shown as a square.
第1特徴の(特徴とカメラ3とを結ぶ実線で表される光線Rと関連付けられる)上段の描写は、第1画像において識別され、第1特徴の(特徴とカメラ3とを結ぶ破線で表される光線Rと関連付けられる)下段の描写は、異なる時点における第2画像において識別される。各画像における第1特徴の場所を、車両1の場所、具体的には車両1のある固定点と相関させるには、カメラ3の較正情報を使ってもよい。具体的には、第1特徴とカメラ3とを結ぶ光線Rの決定に、カメラ3の較正情報を使い、画像座標における前記第1特徴の場所を光線に変換してもよい。言い換えると、カメラ位置と特徴位置とを関連付けるのに、画像上の特徴の場所と、カメラ3の較正情報に基づく車両の固定点の位置とを相関させる。 The upper representation of the first feature (associated with the ray R represented by the solid line connecting the feature and camera 3) is identified in the first image and represented by the dashed line connecting the feature and camera 3. A lower representation (associated with the ray R) is identified in the second image at a different time. Calibration information of the camera 3 may be used to correlate the location of the first feature in each image with the location of the vehicle 1, in particular with a fixed point of the vehicle 1. Specifically, the calibration information of the camera 3 may be used to determine the ray R connecting the first feature and the camera 3, and the location of the first feature in the image coordinates may be converted into a ray . In other words , in order to associate the camera position and the feature position, the location of the feature on the image and the position of the fixed point of the vehicle based on the calibration information of the camera 3 are correlated.
トレーラ上の特徴は、特徴検出及びマッチングアルゴリズムを使って場所を特定しマッチングされる。例えば、Harris Corner Detector、Scale-Invariant Feature Transform (SIFT)アルゴリズム、Speeded Up Robust Features (SURF)アルゴリズム、Binary Robust Invariant Scalable Keypoints (BRISK)アルゴリズム、Binary Robust Independent Elementary Features (BRIEF)、Oriented FAST及びRotated BRIEF (ORB)アルゴリズム、又は別の適切な特徴検出及びマッチングアルゴリズムを使用できるであろう。 Features on the trailer are located and matched using feature detection and matching algorithms . For example, Harris Corner Detector, Scale-Invariant Feature Transform (SIFT) algorithm, Speeded Up Robust Features (SURF) algorithm, Binary Robust Invariant t Scalable Keypoints (BRISK) algorithm, Binary Robust Independent Elementary Features (BRIEF), Oriented FAST and Rotated BRIEF ( ORB) algorithm or another suitable feature detection and matching algorithm could be used .
特徴検出及びマッチングアルゴリズムは、トレーラ上にあるか又はトレーラ上にない画像の特徴を検出するだろう。トレーラの特徴を、非トレーラの特徴から区別するには、多くの異なる方法を使用できるであろう。例えば、直線で前進する場合、トレーラの特徴は、時間が経過しても同じ位置に残っている特徴を探すことで、非トレーラの特徴から区別できる。代替的に、背景の特徴の運動(モーション)を、車両の既知のモーションを使って経時的にモデル化してよい。これは、速度とステアリングに関するCANデータから抽出可能であろう。すなわち、基本行列のエピポーラ拘束に当てはまらない特徴は、トレーラの特徴であると見なし得るだろう。 Feature detection and matching algorithms will detect features of the images that are on the trailer or not on the trailer. Many different methods could be used to distinguish trailer features from non- trailer features. For example, when moving forward in a straight line, trailer features can be distinguished from non- trailer features by looking for features that remain in the same position over time. Alternatively, the motion of background features may be modeled over time using the known motion of the vehicle. This could be extracted from CAN data regarding speed and steering. In other words, features that do not apply to the epipolar constraint of the fundamental matrix can be considered to be trailer features.
各画像における特徴の識別後、第1及び第2画像の第1特徴は、共通の水平面に投影される。さらに詳しくは、カメラ3と第1画像上の決定された第1特徴との間の光線が、水平面上に投影され、これにより第1投影特徴位置PFP1aが得られる。加えて、カメラ3と第2画像上の決定された第1特徴との間の光線が、同様に水平面上に投影され、これにより第2投影特徴位置PFP1bが得られる。ここで、前記投影は垂直方向に行われ、それによって光線の仰角のみが変化し、方位角は変化しないと言うことは、特記すべきことである。 After identifying the features in each image, the first features of the first and second images are projected onto a common horizontal plane. More specifically, the light ray between the camera 3 and the determined first feature on the first image is projected onto a horizontal plane, thereby obtaining the first projected feature position PFP1a. In addition, the light ray between the camera 3 and the determined first feature on the second image is likewise projected onto the horizontal plane, resulting in a second projected feature position PFP1b. It is worth mentioning here that said projection is performed in the vertical direction, so that only the elevation angle of the rays changes, but not the azimuth angle.
第1及び第2投影特徴位置PFP1a、PFP1bを決定した後、前記第1及び第2投影特徴位置PFP1a、PFP1bに基づいて第1垂直二等分線B1が設定される。図2に示す如く、第1垂直二等分線B1は、第1及び第2投影特徴位置PFP1a、PFP1bを結ぶ接続線に対して垂直である。加えて、第1垂直二等分線B1は、前記接続線の中央を通っている。前記第1垂直二等分線B1は、本実施形態においては車両LAVの縦軸である基準軸線と交差している。前記第1垂直二等分線B1と基準軸線との交点は、それを中心にトレーラが回転する回転点を与える。より詳細には、前記交点は、トウボール4の位置を提供する。 After determining the first and second projected feature positions PFP1a and PFP1b, a first perpendicular bisector B1 is set based on the first and second projected feature positions PFP1a and PFP1b. As shown in FIG. 2, the first perpendicular bisector B1 is perpendicular to the connecting line connecting the first and second projected feature positions PFP1a and PFP1b. In addition, the first perpendicular bisector B1 passes through the center of the connection line. In this embodiment, the first perpendicular bisector B1 intersects with the reference axis , which is the longitudinal axis of the vehicle LAV. The intersection of the first perpendicular bisector B1 and the reference axis provides a rotation point around which the trailer rotates. More specifically, said intersection provides the position of the tow ball 4.
前記第1垂直二等分線B1に基づいて、第1角度推定α1が計算される。前記第1角度推定α1は、第1投影特徴位置PFP1aと第1垂直二等分線B1との交点と基準軸線とを結ぶ第1線L1と、第2投影特徴位置PFP1bと第1垂直二等分線B1と基準軸線との交点とを結ぶ第2線L2との間の角度についてである。この交点は、トウボール4の位置を示すものであってもよい。より詳細には、水平面上の第1角度推定α1は、水平面上に投影された第1画像内の第1特徴の場所と前期水平面上に投影された第2画像内の第1特徴の場所との間の(トウボール4の位置である)前記第1交点IP1を中心としたトレーラ2の前記水平面上の旋回角度を特徴付けている。 A first angle estimate α1 is calculated based on the first perpendicular bisector B1. The first angle estimation α1 is based on a first line L1 connecting the reference axis and the intersection of the first projected feature position PFP1a and the first perpendicular bisector B1, and a second projected feature position PFP1b and the first perpendicular bisector B1. This is about the angle between the second line L2 that connects the equisector line B1 and the intersection of the reference axis . This intersection may indicate the position of the tow ball 4. More specifically, the first angle estimation α1 on the horizontal plane is determined by the location of the first feature in the first image projected onto the horizontal plane and the location of the first feature in the second image projected onto the horizontal plane. The turning angle of the trailer 2 on the horizontal plane about the first intersection point IP1 (which is the position of the tow ball 4) between the two is characterized.
第1角度推定α1は、実際の回転点を中心としたトレーラ2のヨー角YAを表している。 The first angle estimate α1 represents the yaw angle YA of the trailer 2 centered on the actual rotation point.
図3は、ヨー角YAの設定に、(トレーラ2が牽引車両1に対して異なるヨー角YAを持つ)異なる時点において撮影されたトレーラ2の第1及び第2特徴F1、F2を使う図2と同様の実施形態を示している。カメラ3によって撮影された画像上では、複数の異なる特徴が識別可能であってもよい。図3に示すように、前記特徴は、車両1の固定点に対して異なる角度位置で識別される。第1特徴は、正方形、第2特徴は、三角形で描かれている。前記固定点は、カメラ3の場所、又はトウボール4の場所であってよい。 FIG. 3 shows that the first and second features F1, F2 of the trailer 2 taken at different times (trailer 2 has different yaw angles YA with respect to the towing vehicle 1) are used to set the yaw angle YA. shows an embodiment similar to . A plurality of different features may be distinguishable on the image taken by the camera 3. As shown in FIG. 3, said features are identified at different angular positions relative to a fixed point of the vehicle 1. The first feature is drawn as a square, and the second feature is drawn as a triangle. Said fixed point may be the location of the camera 3 or the location of the tow ball 4.
図3において、(PFP1a、PFP2aによって示され、カメラ3と特徴とを結ぶ実線の光線と関連付けられている)第1及び第2特徴の上段の対は、第1画像内に識別され、(PFP1b、PFP2bによって示され、カメラ3との特徴を結ぶ破線の光線と関連付けられている)第1及び第2特徴F1、F2の下段の対は、異なる時点における第2画像内に識別される。 In Figure 3, the upper pair of first and second features (indicated by PFP1a, PFP2a and associated with the solid ray connecting camera 3 and the features) are identified in the first image and (PFP1b , PFP2b and associated with the dashed ray connecting the features with camera 3) are identified in the second image at different times.
ヨー角YAの決定は、図2の実施形態と同様にして実施される。主な違いは、2つの角度推定α1、α2が設定され、前記2つの角度推定α1、α2に基づいてトレーラのヨー角が展開されることにある。より詳しくは、第1垂直二等分線B1が設定され、第1角度推定α1を得ることが上述したように実施される。 The determination of the yaw angle YA is performed in the same manner as in the embodiment of FIG. The main difference is that two angle estimates α1, α2 are set and the yaw angle of the trailer is developed based on said two angle estimates α1, α2. More specifically, a first perpendicular bisector B1 is set and obtaining a first angle estimate α1 is performed as described above.
加えて、第2角度推定α2は、第3投影特徴位置PFP2aと第4投影特徴位置PFP2bを設定し、第2交点IP2を得るため第2垂直二等分線B2を設定し、第3投影特徴位置PFP2aと第4投影特徴位置PFP2bを前記第2交点IP2と接続することによって得られる。前記第3投影特徴位置PFP2aは、第1画像における第2特徴を前記水平面上に投影したものであり、第4投影特徴位置PFP2bは、第2画像における第2特徴を前記水平面上に投影したものである。第2交点IP2は、第2垂直二等分線B2が基準軸線と交差する点であり、本実施形態では車両LAVの縦軸線と交差する点であってもよい。第2角度推定α2は、第3投影特徴位置PFP2aと交点IP2とを結ぶ第1線と、第4投影特徴位置PFP2bと交点IP2とを結ぶ第2線とがなす角度である。 In addition , the second angle estimation α2 sets the third projected feature position PFP2a and the fourth projected feature position PFP2b, sets the second perpendicular bisector B2 to obtain the second intersection IP2, and calculates the third projected feature position PFP2b. It is obtained by connecting the position PFP2a and the fourth projected feature position PFP2b with the second intersection point IP2. The third projected feature position PFP2a is the second feature in the first image projected onto the horizontal plane, and the fourth projected feature position PFP2b is the second feature in the second image projected onto the horizontal plane. It is. The second intersection point IP2 is a point where the second perpendicular bisector B2 intersects with the reference axis line , and in this embodiment, it may be a point where the second perpendicular bisector line B2 intersects with the longitudinal axis line of the vehicle LAV. The second angle estimate α2 is the angle formed by the first line connecting the third projected feature position PFP2a and the intersection IP2 and the second line connecting the fourth projected feature position PFP2b and the intersection IP2.
本実施形態では、カメラ3のみならずトウボール4も、車両1の前記縦軸線LAV上にあるため、基準軸線は、牽引車両1の縦軸線LAVである。他の実施形態では、カメラ3又はトウボール4が車両1の縦軸線LAVに対する横方向のずれがある場合、もしくは、車両1の縦軸線LAVに対するカメラ3及びトウボール4の横方向のずれが異なる場合は、基準軸線は、カメラ3とトウボール4とを結ぶ直線によって形成されてもよい。 In this embodiment, since not only the camera 3 but also the tow ball 4 are located on the longitudinal axis LAV of the vehicle 1, the reference axis is the longitudinal axis LAV of the towing vehicle 1. In other embodiments, the camera 3 or the towball 4 is laterally offset with respect to the longitudinal axis LAV of the vehicle 1, or the camera 3 or the towball 4 is laterally offset with respect to the longitudinal axis LAV of the vehicle 1. If they are different, the reference axis may be formed by a straight line connecting the camera 3 and the tow ball 4.
理想的な条件下においては、第1角度推定α1と第2角度推定α2が、等しく(α1=α2)、かつヨー角YAを表すべきである。しかし、ノイズや不一致により、第1と第2角度推定α1、α2の値が異なることもあり得る。 Under ideal conditions, the first angle estimate α1 and the second angle estimate α2 should be equal (α1=α2) and represent the yaw angle YA. However, the values of the first and second angle estimates α1 and α2 may differ due to noise or mismatch .
トレーラ2の3つ以上の特徴が、複数の画像にわたって決定及び追跡可能であることは、特記すべきことである。加えて、好ましくは、ヨー角推定の結果を高めるために、異なる時点において2つより多い画像が撮影される。これにより、ヨー角の決定の品質を高めるための2つより多い角度推定α1、α2を設定できる。 It is noteworthy that more than two features of trailer 2 can be determined and tracked across multiple images. In addition, preferably more than two images are taken at different times in order to improve the results of the yaw angle estimation. Thereby, more than two angle estimates α1 and α2 can be set to improve the quality of yaw angle determination .
異なる値を持つ第1及び第2角度推定α1、α2に基づいてヨー角YAを決定するために、統計的尺度を使ってもよい。第1実施形態によれば、2つ又はそれより多い角度推定α1、α2の中央値を使ってヨー角YAを決定してよい。他の実施形態によれば、統計的方法を使い、2つ又はそれより多い角度推定α1、α2に基づいてヨー角YAを決定してもよい。統計的方法は、例えば、RANSACアルゴリズム(RANSAC。ランダムサンプルコンセンサス)、又は、最小二乗アルゴリズムであり得る。 A statistical measure may be used to determine the yaw angle YA based on the first and second angle estimates α1, α2 having different values. According to a first embodiment, the median value of two or more angle estimates α1, α2 may be used to determine the yaw angle YA. According to other embodiments, statistical methods may be used to determine the yaw angle YA based on two or more angle estimates α1, α2. The statistical method can be, for example, the RANSAC algorithm (RANSAC; Random Sample Consensus) or the least squares algorithm.
撮影された画像上で可視な全ての特徴がヨー角YAの計算に等しく適しているわけではない。計算の複雑さの軽減とロバスト性のために、実際のヨー角に非常に近い旋回角度を持つ特徴が選択され、さらに、ヨー角YAの決定に使用される。特徴の選択に、将来の画像においては、実際のヨー角を囲む所定の枠内に旋回角度α1、α2を与える特徴のみを追跡してよい。例えば、該枠は、上限と下限とによって画定されてよく、前記上限及び下限は、前記実際のヨー角を囲む角度枠を画定するものである。例えば、該枠は2°から10°、特に好ましくは、3°から5°の間にまたがってよい。最後の2つ又はそれより多いヨー角決定ステップにおいて前記枠内の旋回角度を与える全ての特徴は、次に撮影される画像内でさらに追跡される。 Not all features visible on the captured image are equally suitable for calculating the yaw angle YA. For reduced computational complexity and robustness , features with a turning angle very close to the actual yaw angle are selected and further used to determine the yaw angle YA. For feature selection , only those features that give a turning angle α1, α2 within a predetermined frame surrounding the actual yaw angle may be tracked in future images. For example, the frame may be defined by an upper limit and a lower limit, the upper and lower limits defining an angular frame surrounding the actual yaw angle. For example, the frame may span between 2° and 10°, particularly preferably between 3° and 5°. All features that give a turning angle within said frame in the last two or more yaw angle determination steps are further tracked in the next captured image.
複数の画像において特定のトレーラの特徴を追跡する場合は、前記特徴のサンプルは、トレーラ2の動きに起因して、円セグメント上に配置できる。前記円セグメントの中心は、トウボール4の場所を表す。したがって、特定のトレーラの特徴を複数の画像にわたって追跡することにより、トウボール4の場所を導出できる。 When tracking a particular trailer feature in multiple images, samples of said feature can be placed on a circle segment due to the movement of the trailer 2. The center of said circle segment represents the location of the tow ball 4. Therefore, by tracking specific trailer features across multiple images, the location of the towball 4 can be derived .
ノイズを緩和するために、トウボール4の場所を決定し、複数の画像にわたって一定期間追跡された複数のトレーラの特徴を考慮してよい。トレーラの各々の特徴は、特定の中心の推定を持つ円セグメントに対応してもよい。前記の複数の中心の推定に統計的手法を適用することにより、トウボール4の実際の場所を展開できる。該統計的方法は、例えば、RANSACアルゴリズム、又は最小二乗アルゴリズムであり得る。 To mitigate noise, the location of the towball 4 may be determined by considering the characteristics of multiple trailers tracked over a period of time across multiple images. Each feature of the trailer may correspond to a circle segment with a particular center estimate. By applying statistical methods to the estimation of the plurality of centers , the actual location of the tow ball 4 can be developed . The statistical method may be, for example, a RANSAC algorithm or a least squares algorithm.
図4は、上段の基準軸線を使わずに回転点を幾何学的に決定する、さらなる実施形態を示している。 FIG. 4 shows a further embodiment in which the rotation point is determined geometrically without using the upper reference axis .
回転点は、牽引車両1に対して異なる角度位置にある特徴を示す3画像に基づいて、少なくとも2本の垂直二等分線B1、B2を展開させることにより設定される。図4において、第1投影特徴位置PFP1aは、前述の如く、共通の水平面に投影された第1画像に含まれる特徴についてである。同様に、第2投影特徴位置PFP1bは、第2画像に含まれる特徴についてであり、第3投影特徴位置PFP1cは、第3画像に含まれる特徴についてである。 The rotation point is set by developing at least two perpendicular bisectors B1, B2 based on three images showing features at different angular positions relative to the towing vehicle 1. In FIG. 4, the first projected feature position PFP1a is a feature included in the first image projected onto a common horizontal plane, as described above. Similarly, the second projected feature position PFP1b is for the feature included in the second image, and the third projected feature position PFP1c is for the feature included in the third image.
第1垂直二等分線B1は、第1及び第2投影特徴位置PFP1a、PFP1bを結ぶ接続線についてである。第2垂直二等分線B2は、第1及び第3投影特徴位置PFP1a、PFP1cを結ぶ接続線を指している。第1及び第2垂直二等分線B1、B2の交点は、トレーラ2の回転点を示す、すなわちトウボール4の位置を示す交差点IPを画定している。 The first perpendicular bisector B1 is a connection line connecting the first and second projected feature positions PFP1a and PFP1b. The second perpendicular bisector B2 indicates a connecting line connecting the first and third projected feature positions PFP1a and PFP1c. The intersection of the first and second perpendicular bisectors B1 and B2 defines an intersection point IP that indicates the rotation point of the trailer 2 , that is, the position of the tow ball 4 .
前記交差点IPは、図2及び図3の実施形態に示すようにトレーラのヨー角YAの決定に使える。 The intersection IP can be used to determine the yaw angle YA of the trailer as shown in the embodiments of FIGS. 2 and 3.
図5は、牽引車両1の縦軸線LAVに対するトレーラ2のヨー角YAを求める方法のステップを示すブロック図を示している。 FIG. 5 shows a block diagram illustrating the steps of a method for determining the yaw angle YA of the trailer 2 with respect to the longitudinal axis LAV of the towing vehicle 1.
第1ステップとして、トレーラの少なくとも第1及び第2画像が、カメラを使って撮影される(S10)。 As a first step, at least first and second images of the trailer are captured using a camera (S10).
画像撮影後、第1及び第2画像上において可視の、トレーラの少なくとも1つの特徴が決定される(S11)。 After image capture, at least one feature of the trailer visible on the first and second images is determined (S11).
特徴の決定後、特徴投影により、第1投影特徴位置及び第2投影特徴位置が設定される(S12)。 After determining the features, a first projected feature position and a second projected feature position are set by feature projection (S12).
特徴の投影後、第1垂直二等分線が設定される(S13)。 After projecting the features , a first perpendicular bisector is set (S13).
第1垂直二等分線の設定後、第1垂直二等分線と、基準軸線又はさらなる垂直二等分線との第1交点が展開される(S14)。 After setting the first perpendicular bisector, a first intersection between the first perpendicular bisector and the reference axis or a further perpendicular bisector is developed (S14).
最後に、ヨー角を、第1角度推定に基づいて計算する(S15)。 Finally, the yaw angle is calculated based on the first angle estimate (S15).
留意すべきは、上述の説明及び図面は、単に、提案されている発明の原理を例示しているということである。当業者であれば、本明細書には明示的に説明又は示されていなくとも、本発明の原理を具現化できる様々な構成を実施できるであろう。 It should be noted that the above description and drawings merely illustrate the principles of the proposed invention. Those skilled in the art will be able to implement various configurations not explicitly described or shown herein that may embody the principles of the invention.
1 車両
2 トレーラ
3 カメラ
4 トウボール
α1 第1角度推定
α2 第2角度推定
B1 第1垂直二等分線
B2 第2垂直二等分線
PFP1a 第1画像内の第1特徴の投影特徴位置
PFP1b 第2画像内の第1特徴の投影特徴位置
PFP1c 第3画像内の第1特徴の投影特徴位置
PFP2a 第1画像内の第2特徴の投影特徴位置
PFP2b 第2画像内の第2特徴の投影特徴位置
IP 交点
IP1 第1交点
IP2 第2交点
LAT トレーラの縦軸線
LAV 車両の縦軸線
R 光線
YA ヨー角
1 Vehicle 2 Trailer 3 Camera 4 Towball α1 First angle estimation α2 Second angle estimation B1 First perpendicular bisector B2 Second perpendicular bisector PFP1a Projection of the first feature in the first image Feature position
PFP1b Projected feature position of the first feature in the second image
PFP1c Projected feature position of the first feature in the third image
PFP2a Projected feature position of the second feature in the first image
PFP2b Projected feature position of the second feature in the second image
IP Intersection IP1 First intersection IP2 Second intersection LAT Trailer vertical axis line
LAV Vehicle longitudinal axis
R ray
YA Yaw angle
Claims (13)
- 前記車両(1)に対する前記トレーラ(2)の向きが少なくとも2つの画像上で異なっている、カメラ(3)を使ってトレーラ(2)の少なくとも第1及び第2画像を撮影するステップ(S10)と、
- 第1及び第2画像内において可視である前記トレーラ(2)の少なくとも第1特徴を決定するステップ(S11)と、
- 前記カメラ(3)と第1画像上で決定された第1特徴との間の光線を水平面上に投影し、それにより、第1投影特徴位置(PFP1a)を得て、前記カメラ(3)と第2画像上で決定された第1特徴との間の光線を前記水平面上に投影し、それにより、第2投影特徴位置(PFP1b)を得るステップ(S12)と、
- 第1投影特徴位置(PFP1a)の場所と第2投影特徴位置(PFP1b)の場所との間に第1垂直二等分線(B1)を設定するステップ(S13)と、
- 第1垂直二等分線(B1)と基準軸線、又はさらなる垂直二等分線との第1交点(IP1)を決定するステップ(S14)と、
- ヨー角(YA)を第1角度推定(α1)に基づいて計算するステップ(S15)であって、前記第1角度推定(α1)は、前記水平面内の、第1投影特徴位置(PFP1a)から前記第1交点(IP1)まで連続している第1線と、第2投影特徴位置(PFP1b)から前記第1交点(IP1)まで連続している第2線との間の角度についてである、ヨー角(YA)を第1角度推定(α1)に基づいて計算するステップ(S15)と
を備える、牽引車両(1)の縦軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法。 A method for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1), said method comprising:
- taking at least a first and a second image of the trailer (2) with a camera (3), in which the orientation of the trailer (2) with respect to the vehicle ( 1) is different on at least two images; S10) and
- determining (S11) at least a first feature of said trailer (2) that is visible in a first and second image;
- projecting a ray of light between said camera (3) and a first feature determined on a first image onto a horizontal plane, thereby obtaining a first projected feature position (PFP1a); and the first feature determined on the second image onto the horizontal plane, thereby obtaining a second projected feature position (PFP1b) (S12);
- setting a first perpendicular bisector (B1) between the location of the first projected feature position (PFP1a) and the location of the second projected feature position (PFP1b) (S13) ;
- determining (S14) a first point of intersection (IP1) between the first perpendicular bisector (B1) and a reference axis or a further perpendicular bisector;
- a step (S15) of calculating a yaw angle (YA) based on a first angle estimate (α1), the first angle estimate (α1) being a first projected feature position (PFP1a ) in the horizontal plane; ) to the first intersection (IP1), and the angle between the second line that continues from the second projected feature position (PFP1b) to the first intersection (IP1). a step (S15) of calculating the yaw angle (YA) based on the first angle estimation (α1) ;
A method for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1), comprising:
- 前記カメラ(3)と前記第1画像上に決定された前記第2特徴との間の光線を前記水平面上に投影し、それにより、第3投影特徴位置(PFP2a)を得て、カメラ(3)と第2画像上に決定された前記第2特徴との間の光線を前記水平面上に投影し、それにより、第4投影特徴位置(PFP2b)を得るステップと、
- 第3投影特徴位置(PFP2a)の場所と第4投影特徴位置(PFP2b)の場所の間に第2垂直二等分線(B2)を設定するステップと、
第2垂直二等分線(B2)と前記基準軸線との第2交点(IP2)を決定するステップと、
- 第2角度推定(α2)を計算するステップであって、前記第2角度推定(α2)は、前記水平面内の、前記第3投影特徴位置(PFP2a)から前記第2交点(IP2)まで連続している第1線と、前記第4投影特徴位置(PFP2b)から前記第2交点(IP2)まで連続している第2線との間の角度についてである、第2角度推定(α2)を計算するステップと、
- 前記第1及び第2角度推定(α1、α2)に基づいて前記ヨー角(YA)を計算するステップと
をさらに備える、請求項1又は2に記載の方法。 - determining a second feature of said trailer (2) that is visible in first and second images, said second feature being in a different position than said first feature on said trailer (2); determining the second feature that is located ;
- projecting a ray of light between said camera (3) and said second feature determined on said first image onto said horizontal plane, thereby obtaining a third projected feature position (PFP2a); 3) and the second feature determined on the second image onto the horizontal plane, thereby obtaining a fourth projected feature position (PFP2b);
- setting a second perpendicular bisector (B2) between the location of the third projected feature position (PFP2a) and the location of the fourth projected feature position (PFP2b);
determining a second point of intersection (IP2) between a second perpendicular bisector (B2) and the reference axis ;
- calculating a second angle estimate (α2), said second angle estimate (α2) being continuous from said third projected feature position (PFP2a) to said second intersection point (IP2) in said horizontal plane ; A second angle estimation (α2), which is about the angle between the first line and the second line continuous from the fourth projected feature position (PFP2b) to the second intersection (IP2) steps to calculate,
- calculating the yaw angle (YA) based on the first and second angle estimates ( α1 , α2) ;
The method according to claim 1 or 2, further comprising :
前記角度枠が前記ヨー角(YA)を囲む上限及び下限を備え、前記角度枠が前記角度枠内の角度推定につながる特徴のセットを決定し、
前記決定された特徴のセットを将来のヨー角(YA)の計算に使う、請求項1から6のいずれか一項に記載の方法。 further comprising a step of determining an angle frame ;
the angular frame has upper and lower bounds surrounding the yaw angle (YA), the angular frame determining a set of features that lead to an angle estimation within the angular frame;
7. A method according to any one of claims 1 to 6 , wherein the determined set of features is used for calculating a future yaw angle (YA).
- 前記車両(1)に対する前記トレーラ(2)の向きが少なくとも2つの画像上で異なっている、カメラ(3)を使って前記トレーラ(2)の少なくとも第1及び第2画像を撮影するステップ(S10)と、
- 第1及び第2画像内で可視である前記トレーラ(2)の少なくとも第1特徴を決定するステップ(S11)と、
- 前記カメラ(3)と第1画像上で決定された第1特徴との間の光線を水平面上に投影し、それにより、第1投影特徴位置(PFP1a)を得て、前記カメラ(3)と第2画像上で決定された第1特徴との間の光線を前記水平面上に投影し、それにより、第2投影特徴位置(PFP1b)を得るステップ(S12)と、
- 第1投影特徴位置(PFP1a)の場所と第2投影特徴位置(PFP1b)の場所の間に第1垂直二等分線(B1)を設定するステップ(S13)と、
- 第1垂直二等分線(B1)と基準軸線、又はさらなる垂直二等分線との第1交点(IP1)を決定するステップ(S14)と、
- ヨー角(YA)を第1角度推定(α1)に基づいて計算するステップ(S15)であって、前記第1角度推定(α1)は、第1投影特徴位置(PFP1a)から前記第1交点(IP1)まで連続している第1線と、第2投影特徴位置(PFP1b)から前記水平面内の前記第1交点(IP1)まで連続している第2線との間の角度についてである、ヨー角(YA)を第1角度推定(α1)に基づいて計算するステップ(S15)と
を実施すべくさらに構成されている、牽引車両(1)の縦軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステム。 A system for determining the yaw angle (YA) of a trailer (2) with respect to the longitudinal axis (LAV) of a towing vehicle (1), said system comprising: a camera ( 3) and a processing entity that processes the captured image, the system comprising:
- taking at least a first and a second image of the trailer (2) using a camera (3), wherein the orientation of the trailer (2) with respect to the vehicle ( 1) is different on at least two images; (S10) and
- determining (S11) at least a first feature of said trailer (2) that is visible in a first and second image;
- projecting a ray of light between said camera (3) and a first feature determined on a first image onto a horizontal plane, thereby obtaining a first projected feature position (PFP1a); and the first feature determined on the second image onto the horizontal plane, thereby obtaining a second projected feature position (PFP1b) (S12);
- setting a first perpendicular bisector (B1) between the location of the first projected feature position (PFP1a) and the location of the second projected feature position (PFP1b) (S13) ;
- determining (S14) a first point of intersection (IP1) between the first perpendicular bisector (B1) and a reference axis or a further perpendicular bisector;
- a step (S15) of calculating a yaw angle (YA) based on a first angle estimate (α1), the first angle estimate (α1) being calculated from the first projection feature position (PFP1a); Regarding the angle between the first line that continues to the intersection (IP1) and the second line that continues from the second projected feature position (PFP1b) to the first intersection (IP1) in the horizontal plane. a step (S15) of calculating a certain yaw angle (YA) based on the first angle estimation (α1) ;
A system for determining a yaw angle (YA) of a trailer (2) with respect to a longitudinal axis (LAV) of a towing vehicle (1), further configured to perform.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20167188.0 | 2020-03-31 | ||
EP20167188.0A EP3889905A1 (en) | 2020-03-31 | 2020-03-31 | Method and system for calculating vehicle trailer angle |
PCT/EP2020/084109 WO2021197650A1 (en) | 2020-03-31 | 2020-12-01 | Method and system for calculating vehicle trailer angle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023514845A JP2023514845A (en) | 2023-04-11 |
JPWO2021197650A5 true JPWO2021197650A5 (en) | 2023-11-20 |
Family
ID=70110143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022549860A Pending JP2023514845A (en) | 2020-03-31 | 2020-12-01 | Method and system for calculating angle between vehicle and trailer |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230173998A1 (en) |
EP (1) | EP3889905A1 (en) |
JP (1) | JP2023514845A (en) |
CN (1) | CN115298696A (en) |
WO (1) | WO2021197650A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012103193A1 (en) * | 2011-01-26 | 2012-08-02 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
DE102016117284A1 (en) * | 2016-09-14 | 2018-03-15 | Connaught Electronics Ltd. | Determining a position of a trailer hitch |
US10552976B2 (en) * | 2017-03-22 | 2020-02-04 | Magna Electronics Inc. | Trailer angle detection system for vehicle |
EP3537382A1 (en) * | 2018-03-09 | 2019-09-11 | Continental Automotive GmbH | Device and method for calculating a vehicle trailer pose using a camera |
-
2020
- 2020-03-31 EP EP20167188.0A patent/EP3889905A1/en active Pending
- 2020-12-01 US US17/995,141 patent/US20230173998A1/en active Pending
- 2020-12-01 CN CN202080098804.3A patent/CN115298696A/en active Pending
- 2020-12-01 WO PCT/EP2020/084109 patent/WO2021197650A1/en active Application Filing
- 2020-12-01 JP JP2022549860A patent/JP2023514845A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7461720B2 (en) | Vehicle position determination method and vehicle position determination device | |
US11679635B2 (en) | Vehicular trailer hitching assist system with coupler height and location estimation | |
US9784829B2 (en) | Wheel detection and its application in object tracking and sensor registration | |
US9599706B2 (en) | Fusion method for cross traffic application using radars and camera | |
JP7444605B2 (en) | How to calculate the location of the tow hitch | |
US20040133376A1 (en) | Method and device for calibrating an image sensor system in a motor vehicle | |
JP7355505B2 (en) | Method and system for calibrating vehicle cameras | |
CN106447730B (en) | Parameter estimation method and device and electronic equipment | |
JP2002123818A (en) | Peripheral obstacle detecting device for vehicle | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
JP2004198159A (en) | Measuring device for axis misalignment of on-vehicle sensor | |
US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
JP7067574B2 (en) | Distance estimation device and computer program for distance estimation | |
JP7437523B2 (en) | Vehicle trailer angle calculation method and system | |
JP7480324B2 (en) | Method and system for calculating vehicle trailer angle | |
US20230064558A1 (en) | Method for harmonizing images acquired from non overlapping camera views | |
EP3889905A1 (en) | Method and system for calculating vehicle trailer angle | |
JPWO2021197650A5 (en) | ||
JP7493051B2 (en) | Vehicle trailer angle calculation method and system | |
JP2728174B2 (en) | Forward car recognition device for mobile vehicles | |
JPWO2021197652A5 (en) | ||
JPWO2021197651A5 (en) | ||
US20230368424A1 (en) | Vehicle and method of controlling the same | |
JPWO2021197649A5 (en) | ||
WO2020050171A1 (en) | Bearing detection system, bearing detection method, and bearing detection program |