JP7444605B2 - 牽引ヒッチの位置を計算する方法 - Google Patents

牽引ヒッチの位置を計算する方法 Download PDF

Info

Publication number
JP7444605B2
JP7444605B2 JP2019237678A JP2019237678A JP7444605B2 JP 7444605 B2 JP7444605 B2 JP 7444605B2 JP 2019237678 A JP2019237678 A JP 2019237678A JP 2019237678 A JP2019237678 A JP 2019237678A JP 7444605 B2 JP7444605 B2 JP 7444605B2
Authority
JP
Japan
Prior art keywords
trailer
image
rotation
hitch
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019237678A
Other languages
English (en)
Other versions
JP2020113268A (ja
Inventor
ロビン・プラウマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of JP2020113268A publication Critical patent/JP2020113268A/ja
Application granted granted Critical
Publication of JP7444605B2 publication Critical patent/JP7444605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/245Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58Auxiliary devices
    • B60D1/62Auxiliary devices involving supply lines, electric circuits, or the like
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、車両上の牽引ヒッチの位置へのベクトルを計算する方法、牽引ヒッチの位置へのベクトルを計算するための車両の計算ユニット、ならびにかかる計算ユニット、コンピュータプログラム及びコンピュータ可読媒体を備える車両に関する。
トレーラヒッチ支援システムは、トレーラを車両に連結する際に、ドライバをサポートするように設計されている。トレーラヒッチ支援システムは、トレーラの向きと、車両に搭載された牽引ヒッチの位置に関する情報を必要とする。トレーラ後退支援システムは、トレーラを取り付けた状態で車両を後退させる際に、ドライバをサポートするように設計されている。トレーラ後退支援システムは、カメラの位置に関する牽引ヒッチの位置、即ち、カメラから牽引ヒッチへのベクトルに関する情報を必要とする場合がある。かかるシステムは、このベクトルに沿った牽引ヒッチまでの距離を把握しなくてもよく、それは、これらのシステムは、この距離に対して不変であるトレーラの回転を計算するだけでよいためである。
牽引ヒッチの位置は、手動で測定してもよいが、それは、とりわけ牽引連結器が車両の製造時に搭載されていない場合、又は車両上で牽引連結器を手動でもしくは電子的に移動できる場合、不正確であり、コストがかかり、時間を必要とする。
牽引ヒッチは、トレーラが動く際にそこを中心として旋回する車両上の点である。これは、牽引ボール、又は他の取り付け手段であってもよい。
牽引ヒッチの位置を電子的に特定したい、又はカメラから牽引ヒッチへのベクトルを特定したいという要望が存在し得る。
この問題は、独立請求項の主題によって解決される。実施形態は、従属請求項、下記の明細書、及び添付の図面により提供される。
本発明の第1の側面によると、車両の牽引ヒッチの位置へのベクトルを計算する方法が提示され、方法は、
- 画像捕捉デバイスを使用して、第1の位置におけるトレーラの第1の画像を捕捉し、第2の位置におけるトレーラの第2の画像を捕捉するステップ(ステップS1)、
- 捕捉した第1の画像と捕捉した第2の画像に基づき、第1の姿勢と第2の姿勢の間のトレーラの回転とトレーラの並進を計算するステップ(ステップS2)、
- 計算したトレーラの回転とトレーラの並進に基づき、第1の画像と第2の画像の間のトレーラの第1の回転軸(オイラー軸)を計算するステップ(ステップS3)、
- トレーラの第3と第4の画像に対してステップS1~S3を繰り返すことにより、第3の画像と第4の画像の間のトレーラの第2の回転軸を計算するステップ(ステップS1*~S3*)、
- 第1と第2の回転軸の交点を特定して、牽引ヒッチの位置へのベクトルを特定するステップ(ステップS4)、及び
- 任意に、牽引ヒッチの位置へのベクトルと幾何学的条件を使用して、牽引ヒッチの位置を計算するステップ(ステップS5)を含む。
ステップS1~S3は、少なくとも1回又は複数回反復してもよい。この反復では、第3の画像との比較の際に第1の画像を再利用することもでき、或いは、新しい画像のペアを使用することもでき、そうすれば、例えば第3と第4の画像を使用して第2の回転軸が計算される。
換言すると、牽引ヒッチの位置は本質的に、まずトレーラの2つの画像を比較し、第1の回転軸を得ることによって計算される。第1の画像は、向きが既知、例えば、車両の縦軸に対して相対的に回転又は並進をしていない向きのトレーラの画像であってもよい。トレーラの並進は、トレーラが牽引ヒッチの周りを回転する際に、画像捕捉デバイスと牽引ヒッチの相対的位置のために回転だけでなく並進も受けるように見えるために発生する。
画像は、トレーラが視野に入る車両に搭載されたカメラによって捕捉してもよい。この画像は、本開示においてはゼロ姿勢画像と指定される。原理上は、回転及び並進は相対的なため、任意の向きと並進をゼロ姿勢と定義してもよい。回転軸を計算するには、第2の画像は、トレーラが第1の画像に対して相対的回転を示す画像である必要がある。かかる画像は、例えば、トレーラを車両に連結する際の走行中に捕捉してもよい。これは、図1からも容易に理解することができる。
この手順を第3と第4の画像に対して繰り返し、ここで、第3と第4の画像は、第1の画像と比較して、回転と並進を示すものである。第1の画像と第3及び第4の画像の間のトレーラの回転は、第1の画像と第2の画像の間のトレーラの回転とは異なる軸周りである必要がある。即ち、第1と第2の画像の間のトレーラの回転がヨーのみで構成されている場合、第1と第3及び第4の画像の間のトレーラの回転は、ピッチ又はロール成分を含有する必要がある。この回転と並進のため、第1の回転軸とは異なる第2の回転軸を特定することができる。当然ながら、牽引ヒッチはトレーラを牽引するために牽引用バーが搭載された固定点であるため、両回転軸は、牽引ヒッチを通過するという共通点がある。したがって、2つの軸は交差することがあり、その場合、交点は牽引ヒッチとなる。
上記計算を単一のカメラ(モノカメラ)で行うため、距離とスケールは未知である。換言すると、カメラから回転軸及び牽引ヒッチまでの距離は未知である。回転軸の交点を計算するため、回転軸を画像平面(z=1での平面、ここで、z軸は光軸上に延びている)上に投影する。回転軸は、カメラからの距離に関わりなく、画像平面上で同じ線に投影される。次いで、画像平面上の2Dにおける回転軸線の交点が計算され、それによって牽引ヒッチの位置へのベクトル、又は光線が与えられる。
牽引ヒッチの位置を計算するには、更なる幾何学的条件が必要である。
なお、牽引ヒッチの位置は、必ずしも計算する必要がない場合がある。多くのトレーラ後退支援アルゴリズムでは、車両の縦軸に対する相対的なトレーラの角度を計算しさえすればよい。この目的のためには、牽引ヒッチの位置へのベクトルが把握できれば十分であり、牽引ヒッチまでの任意距離(例えば、単位距離)は、推定可能である。
従って、本発明は、車両上のカメラを使用して、トレーラが車両に牽引されている際にトレーラの回転と並進を特定し、これらの測定を使用して牽引ヒッチへのベクトルを特定することに関する。更に、本発明は、このベクトルを使用して、牽引ヒッチの位置を手動で測定する必要なしに牽引ヒッチの位置を特定することを可能とする。牽引ヒッチのベクトル又は位置が計算されると、これを保存し、車両をトレーラに繋ぐ際にドライバを支援するトレーラ後退支援又はトレーラヒッチ支援のために後に使用することもできる。
換言すると、本発明は、トレーラが車両に牽引されている際にトレーラの動き(回転及び並進)を分析することにより、牽引ヒッチへのベクトルを計算する。
未知の牽引ヒッチの位置を用いてトレーラの動きを計算するために使用されるアルゴリズム(例えば、8点基本行列)は、牽引ヒッチの場所を把握しているアルゴリズムよりも大きな誤差を生じやすい。しかし、時間と共に、本発明は牽引ヒッチの場所を識別し、その後システムは、牽引ヒッチの位置又はベクトルを入力として必要とするより正確なトレーラ角度計算方法に切り替わることができる。
トレーラは、牽引ヒッチ周りの回転のみを受けるが、カメラが牽引ヒッチからオフセットしているため、カメラに対して相対的並進を受けたように見えることから、回転に加えて並進が計算される。
一般に、「幾何学的条件」は、牽引ヒッチのベクトルを線又は平面と交差させ、牽引ヒッチまでの距離、したがって牽引ヒッチの位置が計算できるようにする任意の情報であってもよい。
幾つかの例示的な実施形態を、以下に詳細に説明する。
一実施形態によると、幾何学的条件は、既知の外部パラメータ、たとえば、第1、第2及び第3と第4の画像を捕捉するカメラのカメラ位置として具現化され、牽引ヒッチの位置は、トレーラを牽引する車両の中央にあるというものである。既知の外部カメラ位置は、基準位置を提供し、車両上の牽引ヒッチの中心位置までの距離が既知であってもよい。この情報があれば、ベクトル又は光線を、例えば中心平面と交差させて牽引ヒッチの位置を導き出すことができる。
更なる例によると、異なる位置であるが既知の位置に搭載されたカメラを用いて更なる回転軸を特定してもよい。この場合、第2の光線を特定してもよく、カメラと交点の位置が既知であるため、牽引ヒッチの位置を特定することができる。
一実施形態によると、トレーラの回転とトレーラの並進を計算するステップS2は、トレーラの捕捉した第1の画像を捕捉した第2の画像と比較するステップ(ステップS6)と、捕捉した第1の画像におけるトレーラ上の特徴の、捕捉した第2の画像におけるそれらの位置に対する相対的位置を特定するステップ(ステップS7)を更に含む。
第1の画像は、予め、又は走行中に捕捉した画像であってもよく、電子的に保存されていてもよいゼロ姿勢画像であってもよい。画像を走行中に捕捉する場合、画像は、多数の捕捉画像から生成されてもよく、その場合、例えば、ゼロ姿勢として平均値が計算され、生成されたゼロ姿勢画像がメモリに保存される。ゼロ姿勢は、例えば数学的情報として保存してもよく、トレーラがゼロ姿勢で示されている保存画像として提供されてもよい。
回転と並進を特定するために画像を比較する場合、捕捉した画像におけるトレーラ上での特徴対応付けを使用してもよい。これらの特徴対応付けは、特徴検出及びマッチングアルゴリズム、たとえばSIFT(スケール不変特徴変換)、SURF(頑健な特徴量の高速化)又はBRIEF(二値頑健独立基本特徴)を使用して創出される。トレーラを表す画像中の特徴は、背景を表す特徴から、直進較正走行中に実行される学習アルゴリズムによって分離してもよい。この走行中、静的特徴がトレーラの特徴として識別される。トレーラ上の特徴を特定する代替的な方法、たとえばトレーラ上の所定のパターンを見いだし、トレーラが動く際にそのパターン上の特徴を追跡する方法を使用してもよい。或いは、トレーラの外観に関する情報を保存し、トレーラ上の特徴を見いだすために使用してもよい。
第1の画像がこの較正走行中に捕捉されるゼロ姿勢画像である場合、特徴を保存すれば十分であり、そうすれば「ゼロ姿勢画像」はトレーラの特徴のみからなると解釈できる。
一実施形態によると、トレーラの回転とトレーラの並進を計算するステップS2は、計算した第1と第2の回転軸を画像平面に投影すること(ステップS9)を更に含む。回転軸を画像平面に投影することにより、画像平面において1点で交差する線が取得される。画像平面は、理想的なピンホールカメラモデルを使用して3dオブジェクトが投影される仮想平面である。画像平面上の回転軸線の交点は、カメラの光学中心から画像平面上の交点を通り、牽引ヒッチの推定位置に至るベクトルを定義する。
これは、2つの交差する平面であるとも考えられ、それぞれの平面は回転軸とカメラの位置を含有する。これらの平面は、カメラ中心から牽引ヒッチの位置へ至る線又はベクトルで交差する。
上記のような更なる幾何学的条件を使用して、牽引ヒッチの位置を計算することができる。
一実施形態によると、トレーラの回転とトレーラの並進を計算するステップS2は、計算した牽引ヒッチのベクトル又は位置を、トレーラ角度を計算する方法のための入力として使用すること(ステップS8)を更に含む。かかるトレーラ角度を計算する方法は、当業者に公知の方法であってもよい。トレーラヒッチ支援システム又はトレーラ後退支援システムには、最終的には、取得したトレーラの向きの必要な情報が電子的に提供される。
第2の側面によると、トレーラに取り付けた車両の牽引ヒッチの位置へのベクトルを計算するための車両の計算ユニットが提供され、ここで、計算ユニットは、
- 捕捉した第1の姿勢にあるトレーラの第1の画像と、捕捉した第2の姿勢にあるトレーラの第2の画像に基づき、トレーラの回転とトレーラの並進を計算し(ステップS2)、
- 計算したトレーラの回転とトレーラの並進に基づき、第1の姿勢と第2の姿勢の間のトレーラの第1の回転軸を計算し(ステップS3)、
- トレーラの別の画像のペアに対してステップS2及びS3を繰り返すことにより、トレーラの第2の回転軸を計算し(ステップS2*及びS3*)、
- 第1と第2の回転軸の交点を特定して、牽引ヒッチの位置への光線を特定し(ステップS4)、
- 牽引ヒッチの位置への光線と幾何学的条件を使用して、牽引ヒッチの位置を計算する(ステップS5)ように構成されている。
計算ユニットは、1以上のプロセッサ、メモリ、及びカメラへのインターフェースを含んでもよい。更に、とりわけ、牽引ヒッチのベクトル又は位置及びトレーラの向きに関する情報をこれらのシステムに提供するため、又はこの情報を特定せよというリクエストを受信するために、トレーラヒッチ支援システム又はトレーラ後退支援システムへのインターフェースを有してもよい。計算ユニットは、上記の方法に従い、牽引ヒッチのベクトル又は位置及び向きを計算するようになされる。
第3の側面によると、トレーラの画像を捕捉するためのカメラを備え、計算ユニットを備えた車両が提供される。
第4の側面によると、プロセッサ上で実行されると、プロセッサに上記の方法を遂行するように命令するプログラム要素が提供される。
第5の側面によると、前記プログラム要素が保存されているコンピュータ可読媒体が提供される。
例示的実施形態
本発明のこれら及び他の特徴、側面ならびに利点は、添付の図面と下記の説明を参照して、よりよく理解される。
図1は、本発明の一実施形態による、トレーラの牽引ヒッチの位置を計算する方法で使用される第1の画像又はゼロ姿勢画像及び第2の画像の実例を示し、 図2は、本発明の一実施形態による回転軸の実例を示し、 図3は、は、本発明の一実施形態による方法のフロー図を示す。
図1は、本発明の一実施形態による、トレーラの牽引ヒッチの位置を計算する方法で使用される第1の画像110と第2の画像120の実例を示す。第1の画像110は、例えば、図1に示すようにフロント側に特徴112と、牽引用バー113を持つトレーラ111を含有する。同様に、第2の画像120は、同じトレーラ121を含有するが、トレーラ121は、牽引ヒッチ周りに回転しており、例えば、図1に示すようにフロント側に回転し並進した特徴122と、回転した牽引用バー123を持つ。トレーラ111上の画像特徴112は、例えば、学習プロセスにより識別されてもよい。例示的実施形態において、学習プロセスは、直線的に前進している際に画像110内の画像特徴を検出し追跡することを含んでもよい。所定時間後、トレーラ111は、車両の背後でゼロ角度にあると推定される。次いで、トレーラ上の識別された画像特徴112は、画像110上で固定した向きを有すると見なすことができ、即ち、画像110中で制止しているように見え、一方で、画像110上の更なる特徴、例えば地面及び他のオブジェクト上の特徴は、画像中を移動する。ゼロ姿勢での画像特徴112は、最終的に保存される。
例示的実施形態において、次いで、第1の姿勢又はゼロ姿勢に対する相対的トレーラ角度を以下のように計算できる。第2の画像120上で、第1の姿勢で識別されたトレーラ画像特徴122が現在のトレーラ姿勢での位置に移動するので、それを追跡する。外部及び内部カメラ較正を使用して、画像特徴122それぞれについて現在の姿勢及び第1の姿勢でのカメラ光線を特定し、ここで、外部及び内部カメラ較正値は、車両上のカメラの搭載構造と、カメラ光学系の内部幾何パラメータを考慮している。次に、第1の姿勢及び現在の姿勢での画像特徴について、カメラ光線を使用して変換行列が計算される。適切な変換行列の一例は、いわゆる「基本行列」である。これは、当業者には周知の多様なアルゴリズム、例えば8点アルゴリズムを使用して計算することができる。8を超える特徴を使用する場合、RanSaC法を使用してアウトライアを除去することもできる。最後に、基本行列又は変換行列から回転と並進の値が抽出される。
図2は、側面図でのカメラ202と牽引ヒッチ203を備える車両201を示す。トレーラは、第1の姿勢208及び第2の207姿勢にあるものとして示されている。姿勢は、ピッチ、ヨー及びロール角を含む牽引ヒッチ周りの回転を含んでもよい。第1の姿勢と第2の姿勢の間のトレーラのヨー、ピッチ及びロール回転は、オイラーの回転定理によって記述される軸-角度表現を使用して表すこともできる。これは、トレーラの回転を、例えばヨー、ピッチ及びロールを含む回転ではなく、固定回転軸又はオイラー軸周りの単一の回転として記述する。第1の姿勢と現在の姿勢の間にトレーラがその周りを回転する軸である回転軸205は、例えば、上記変換の出力となり得る3D空間における不動点206を計算することにより特定することができる。不動点206は、回転軸205上にある。回転軸は牽引ヒッチ203のところで交差し、ここで、更なる条件がなければ、牽引ヒッチ203とカメラ202の間の距離、カメラと回転軸205と特徴209の間の距離は未知であり、したがって、牽引ヒッチの位置もこの段階では未知である。画像に投影されると、これらの軸は線として現れる。
2つの画像に代えて、多数の画像を評価してもよく、そうすると時間の経過と共に、それぞれ向きがわずかに異なる多数の回転軸が蓄積される。例えば、トレーラがピッチの変化を受ける場合、軸は水平となる。トレーラがヨーを受ける場合、軸は垂直となる。
回転軸とカメラ位置を含有する平面を定義する場合、これらの軸は、画像平面において1点で交差する。次いで、これらの線の交点は、牽引ヒッチの位置への光線を特定する。
カメラから牽引ヒッチの位置への光線が与えられると、他の幾何学的仮定を考慮して牽引ヒッチの正確な位置を計算することが可能である。例えば、外部カメラの位置が既知であり、牽引ヒッチがy=0にある場合、牽引ヒッチ光線を車両のリア側に垂直な垂直平面であるy=0平面と、例えば、リア側の中央で交差させることも可能である。
或いは、任意のスケールを選ぶことができる。例えば、牽引ヒッチからカメラまでの距離がこの光線に沿って1メートルであると仮定してもよい。
図3は、トレーラの牽引ヒッチの位置を計算する方法のフロー図である。第1のステップS1において、トレーラの第1の画像とトレーラの第2の画像を捕捉する。第2のステップS2において、捕捉した第1の画像と第2の画像に基づき、第1の画像と第2の画像の間のトレーラの回転とトレーラの並進を計算する。第3のステップS3において、計算したトレーラの回転とトレーラの並進に基づき、第1の画像と第2の画像の間のトレーラの第1の回転軸を計算する。トレーラの第3と第4の画像又は多数の画像それぞれに対し、ステップS1~S3を少なくとも1回であるが、好ましくは、多数回繰り返すことにより、第3の画像又は更なる画像中のトレーラのそれぞれ第2の回転軸又は多数の回転軸を計算する。次のステップS4において、計算した回転軸の交点を特定して牽引ヒッチの位置への光線を特定する。最終ステップS5において、牽引ヒッチの位置への光線と幾何学的条件を使用して、牽引ヒッチの位置を計算する。
ステップS1~S3は、2つの異なる姿勢にあるトレーラを捕捉している画像の任意のペアに対して繰り返すこともでき、従って、牽引ヒッチの位置と交差する回転軸を計算するために使用することができる。
従って、トレーラの動きを追跡することにより、車両に搭載された牽引ヒッチの位置が特定される。追跡は、同じく車両に搭載されたカメラで画像を捕捉することによって遂行される。これにより、手動測定を行うことなく、牽引ヒッチの位置を電子的に特定することが可能である。牽引ヒッチの位置は、保存して、牽引ヒッチの位置を入力として必要とするより正確なトレーラ角度計算アルゴリズムを含み得るトレーラヒッチ支援に提供することができる。
他のアルゴリズムにおいて、牽引ヒッチへのベクトルを更に使用してトレーラ角度を特定してもよい。かかるアルゴリズムは、スケールによって影響を受けないため、牽引ヒッチの位置を把握する必要がない。
トレーラヒッチが正しく検出されているか否かをユーザが特定できるように、牽引ヒッチへのベクトルを表示デバイスに表示してもよい。システムは、投影を画像上に表示するのに牽引ヒッチの位置を把握する必要はなく、牽引ヒッチのベクトルだけで十分である。
このシステムは、トレーラの動きを使用して牽引ヒッチのベクトル又は位置を計算するため、システムは、牽引ヒッチが捕捉された画像に現れない状況でも作動することができる。
システムはまた、前車軸が旋回する2つの車軸を持つトレーラなど、トレーラの2つの旋回軸の位置を計算するようになされてもよい。

Claims (11)

  1. 牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法であって、
    画像捕捉デバイス(202)を使用して、第1の位置におけるトレーラの第1の画像と第2の位置における前記トレーラの第2の画像を捕捉するステップ(ステップS1)
    第1の位置と前記第2の位置の間の前記画像捕捉デバイスに対する相対的な前記トレーラの回転と前記トレーラの並進を計算するステップ(ステップS2)
    計算した前記トレーラの回転と前記トレーラの並進に基づき、前記第1の画像と前記第2の画像の間の前記トレーラの第1の回転軸を計算するステップ(ステップS3)
    前記トレーラの第3及び第4の画像に対してステップS1からS3を繰り返すことにより、前記第3と第4の画像の間の前記トレーラの第2の回転軸を計算するステップ(ステップS1*からS3*)
    前記第1と第2の回転軸の交点を特定して、前記牽引ヒッチの位置へのベクトルを特定するステップ(ステップS4)
    を備える、牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法。
  2. 前記トレーラの回転とトレーラの並進を計算する前記ステップS2が、
    計算した前記牽引ヒッチの位置へのベクトルを、トレーラ角度を計算する方法のための入力として使用すること(ステップS9)をさらに備える、請求項1に記載の、牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法。
  3. 前記牽引ヒッチの位置への光線と幾何学的条件を使用して、前記牽引ヒッチの位置を計算すること(ステップS5)をさらに備える、請求項1又は2に記載の、牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法。
  4. 前記幾何学的条件が、前記第1及び第2の画像を捕捉するカメラの既知の外部カメラ位置として具現化され、前記牽引ヒッチの位置が前記トレーラ(207、208)を牽引する前記車両(201)の中央にあるというものである、請求項3に記載の、牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法。
  5. 前記トレーラの回転とトレーラの並進を計算する前記ステップS2が、
    前記トレーラの前記捕捉した第1の画像を前記捕捉した第2の画像と比較するステップ(ステップS6)、及び
    前記捕捉した第1の画像における前記トレーラの特徴の、前記捕捉した第2の画像における前記トレーラの特徴の位置に対する相対的位置を識別するステップ(ステップS7)をさらに備える請求項1から4のいずれか一項記載の、牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法。
  6. 前記トレーラの回転とトレーラの並進計算する前記ステップS2が、前記ステップS3で計算した前記トレーラの第1の回転軸と、ステップS1*からS3*で計算した前記トレーラの第2の回転軸を画像に投影すること(ステップS8)をさらに備える請求項1から5のいずれか一項に記載の、牽引ヒッチ(203)を介してトレーラ(207、208)に取り付けた車両(201)の前記牽引ヒッチの位置へのベクトルを計算する方法。
  7. トレーラの牽引ヒッチの位置を計算するための車両(201)の計算ユニット(210)であって、
    捕捉した第1の姿勢にある前記トレーラの第1の画像と、捕捉した第2の姿勢にある前記トレーラの第2の画像に基づき、前記トレーラの回転と前記トレーラの並進を計算し(ステップS2)、
    前記計算したトレーラの回転とトレーラの並進に基づき、前記第1の姿勢と前記第2の姿勢の間の前記トレーラの第1の回転軸を計算し(ステップS3)、
    前記トレーラの捕捉した第3の姿勢にある第3の画像と第4の姿勢にある第4の画像に対してステップS2及びS3を繰り返すことにより、前記トレーラの第2の回転軸を計算し(ステップS2*及びS3*)、
    前記第1と第2の回転軸の交点を特定して、前記牽引ヒッチの位置への光線を特定する(ステップS4)ように構成されている、
    計算ユニット。
  8. 前記計算ユニットがさらに、前記牽引ヒッチの位置への前記光線と幾何学的条件を使用して、前記牽引ヒッチの位置を計算する(ステップS5)ように構成されている、請求項7の計算ユニット。
  9. 前記トレーラ(207、208)の画像を捕捉するためのカメラ(202)と、請求項7又は8に記載の計算ユニットを備える、車両(201)。
  10. プロセッサ上で実行されると、請求項1の方法を遂行するようにプロセッサに命令する、プログラム要素。
  11. 請求項8に記載のプログラム要素が保存されている、コンピュータ可読媒体。
JP2019237678A 2019-01-07 2019-12-27 牽引ヒッチの位置を計算する方法 Active JP7444605B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19150591.6A EP3678096B1 (en) 2019-01-07 2019-01-07 Method for calculating a tow hitch position
EP19150591 2019-01-07

Publications (2)

Publication Number Publication Date
JP2020113268A JP2020113268A (ja) 2020-07-27
JP7444605B2 true JP7444605B2 (ja) 2024-03-06

Family

ID=65200583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019237678A Active JP7444605B2 (ja) 2019-01-07 2019-12-27 牽引ヒッチの位置を計算する方法

Country Status (5)

Country Link
US (1) US11407363B2 (ja)
EP (1) EP3678096B1 (ja)
JP (1) JP7444605B2 (ja)
KR (1) KR20200085670A (ja)
CN (1) CN111414794A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019106275A1 (de) * 2019-03-12 2020-09-17 Wabco Gmbh Erfassungssystem und Verfahren zum Ermitteln eines Knickwinkels zwischen zwei Teilfahrzeugen eines Fahrzeug-Gespanns sowie Fahrzeug- Gespann
US11630454B2 (en) 2019-12-09 2023-04-18 Plusai, Inc. System and method for coordinating landmark based collaborative sensor calibration
US11852730B2 (en) 2019-12-09 2023-12-26 Plusai, Inc. System and method for collaborative calibration via landmark
US11087496B2 (en) * 2019-12-09 2021-08-10 Plusai Limited System and method for trailer pose estimation
US11579632B2 (en) 2019-12-09 2023-02-14 Plusai, Inc. System and method for assisting collaborative sensor calibration
US11875682B2 (en) 2019-12-09 2024-01-16 Plusai, Inc. System and method for coordinating collaborative sensor calibration
US11372406B2 (en) 2019-12-09 2022-06-28 Plusai, Inc. System and method for collaborative sensor calibration
DE102019219386A1 (de) * 2019-12-11 2021-06-17 Robert Bosch Gmbh Verfahren zum Kalibrieren von Bilddaten eines bildgebenden Systems für ein Fahrzeuggespann
US11572098B2 (en) * 2020-09-02 2023-02-07 Ford Global Technologies, Llc Hitch angle detection using automotive radar
CN116202424B (zh) * 2023-04-28 2023-08-04 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024064A1 (en) 2011-07-18 2013-01-24 Daniel Robert Shepard Trailer backing up device and table based method
US20150077557A1 (en) 2013-09-16 2015-03-19 Deere & Company Vehicle auto-motion control system
US20170174023A1 (en) 2015-12-17 2017-06-22 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
CN107661629A (zh) 2017-10-26 2018-02-06 广州市雷军游乐设备有限公司 一种牵引绳摆动控制方法、装置、终端设备及存储介质
US20180276839A1 (en) 2017-03-22 2018-09-27 Magna Electronics Inc. Trailer angle detection system for vehicle
WO2018202464A1 (en) 2017-05-03 2018-11-08 Connaught Electronics Ltd. Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014223141B4 (de) * 2014-11-13 2019-06-19 Volkswagen Aktiengesellschaft Bestimmung einer Position eines Anhängerkupplungskopfes
DE102016117284A1 (de) * 2016-09-14 2018-03-15 Connaught Electronics Ltd. Bestimmen einer Position einer Anhängerkupplung
US11014561B2 (en) * 2017-02-01 2021-05-25 Magna Electronics Inc. Vehicle trailer hitch assist system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024064A1 (en) 2011-07-18 2013-01-24 Daniel Robert Shepard Trailer backing up device and table based method
US20150077557A1 (en) 2013-09-16 2015-03-19 Deere & Company Vehicle auto-motion control system
US20170174023A1 (en) 2015-12-17 2017-06-22 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US20180276839A1 (en) 2017-03-22 2018-09-27 Magna Electronics Inc. Trailer angle detection system for vehicle
WO2018202464A1 (en) 2017-05-03 2018-11-08 Connaught Electronics Ltd. Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
CN107661629A (zh) 2017-10-26 2018-02-06 广州市雷军游乐设备有限公司 一种牵引绳摆动控制方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
EP3678096A1 (en) 2020-07-08
KR20200085670A (ko) 2020-07-15
JP2020113268A (ja) 2020-07-27
US11407363B2 (en) 2022-08-09
CN111414794A (zh) 2020-07-14
EP3678096B1 (en) 2021-06-23
US20200215992A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP7444605B2 (ja) 牽引ヒッチの位置を計算する方法
CN110060202B (zh) 一种单目slam算法的初始化方法及系统
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
US11842512B2 (en) Apparatus for determining an angle of a trailer attached to a vehicle
US8831290B2 (en) Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection
CN107111879B (zh) 通过全景环视图像估计车辆自身运动的方法和设备
US20200402257A1 (en) Device and method for calculating a vehicle trailer pose using a camera
EP3193306B1 (en) A method and a device for estimating an orientation of a camera relative to a road surface
JP4803450B2 (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
US20140085409A1 (en) Wide fov camera image calibration and de-warping
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
Tan et al. Inverse perspective mapping and optic flow: A calibration method and a quantitative analysis
KR20220113781A (ko) 환경의 지형을 측정하는 방법
JP2023514846A (ja) 車両トレーラ角度算出方法およびシステム
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
CN110827337A (zh) 确定车载相机的姿态的方法、装置和电子设备
Cheda et al. Camera egomotion estimation in the ADAS context
US11832019B2 (en) Method for harmonizing images acquired from non overlapping camera views
JP7225079B2 (ja) 障害物認識装置
US11993208B2 (en) Image processing system and method
US20230249673A1 (en) Trailer levelling system
CN117372472A (zh) 目标全景图像的生成方法、装置、计算机系统及存储介质

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240222

R150 Certificate of patent or registration of utility model

Ref document number: 7444605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150