JP6486045B2 - 車載カメラのオンライン較正のためのシステム、車両及び方法 - Google Patents

車載カメラのオンライン較正のためのシステム、車両及び方法 Download PDF

Info

Publication number
JP6486045B2
JP6486045B2 JP2014189779A JP2014189779A JP6486045B2 JP 6486045 B2 JP6486045 B2 JP 6486045B2 JP 2014189779 A JP2014189779 A JP 2014189779A JP 2014189779 A JP2014189779 A JP 2014189779A JP 6486045 B2 JP6486045 B2 JP 6486045B2
Authority
JP
Japan
Prior art keywords
camera
vehicle
coordinate system
parameters
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014189779A
Other languages
English (en)
Other versions
JP2015072269A (ja
Inventor
ピーター・ボウン
パンテリス・エアミリオス
ピーター・ギャニオン
デイヴ・ウィバリー
Original Assignee
アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド filed Critical アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド
Publication of JP2015072269A publication Critical patent/JP2015072269A/ja
Application granted granted Critical
Publication of JP6486045B2 publication Critical patent/JP6486045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Description

本発明は、車載カメラのオンライン較正のためのシステム、車両及び方法に関する。
車両が、車両の周辺環境の画像を捉える1台以上のカメラを含むことがある。画像は、物体、例えば道路の車線や交通標識の存在を検知するために使用されたり、また、ドライバーに車両直近の光景を提供したりできる。車両直近の光景は、通常の運転姿勢のドライバーからは死角となる領域をドライバーが見られるようになることから、車両を駐車させる際にドライバーを支援するために使用したり、安全性を向上させるために使用したりできる。危険又は起こり得る危険が捉えられた画像又は複数の画像から検知されてドライバーに警告を与えたり、その情報を、ドライバー支援システムと関連づけて使用し、車両を積極的に制御したり危険を避けたりすることもできる。
典型的には数台、例えば、4台のカメラが車両に備えられる。各カメラからの画像を合成し、鳥瞰図とも言われる上面図形式の360°の画像、又はパノラマビューを提供することができる。隣り合うカメラ、例えば、前方カメラと側方カメラからの画像は、連続した360°の光景を提供するために重なり合う部分があってもよい。
カメラを較正して周辺物に対するカメラの位置及び向きを判定することができる。車両の場合、例えば、複数のカメラの視野を正確に合成して単一のサラウンドビューとしたり、障害物の範囲を正確に判定したりするために、既知の基準点、例えば、前車軸の中心に対するカメラの位置及び向きを判定してもよい。
カメラの較正は、車両の製造時に実行してもよい。しかし、車両が寿命に達するまでに起こりうるずれを補正したり、車両製造後に車両に搭載されたカメラの位置を較正したりするために、車両の走行中に自動的にカメラを較正するシステムが既に開発されている。例えば、DE10 2009 057 996 A1は、車両の位置に対するカメラの位置を判定するシステムを開示している。こうした、車両の移動中にカメラを較正するシステムは、オンライン較正システムと呼ばれることもある。
ドイツ特許公開第10 2009 057 996 A1号 国際公開第2012/143036A1号
本発明の目的は、正確な較正を可能とし、今までよりも少ない処理資源を用いて実施可能な、車載カメラのオンライン較正のための方法及びシステムを提供することである。
本目的は、独立請求項の主題によって達成される。更なる有利な特徴は、従属請求項である。
本目的は、独立請求項の主題によって達成される。更なる有利な特徴は、従属請求項である。
車載カメラのオンライン較正方法が提供される。カメラは、カメラ画像座標系にカメラ回転パラメータφ、θ、ψ及びカメラ並進運動パラメータx、y、zを有し、車両は、車両座標系を有する。方法は、車両が地面に対して移動しているときに平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正すること、及びカメラ回転パラメータφ、θ、ψからは独立してカメラ並進運動パラメータx、yを較正することを備える。
カメラ回転パラメータは、オイラー角φ、θ、ψによって表され、カメラ並進運動パラメータは、デカルト座標系x、y、zによって表される。ただし、zは地面からのカメラの高さであり、xcは車長方向を示し、ycは車幅方向である。カメラ回転パラメータφ、θ、ψ、及び場合により高さzは、平行幾何学的方法、例えばWO2012/143036A1に開示された方法を用いて判定できる。
本発明によると、カメラ回転パラメータφ、θ、ψとは別のステップでカメラの並進運動パラメータx、yが較正される。これにより、回転パラメータと並進運動パラメータとを単一の方法で較正する場合に起こり得る、複数の従属変数を同時に求めようとすることに起因するデータの曖昧さが回避される。
一実施形態においては、第一のステップにおいて、平行幾何学的方法を用いてカメラ回転パラメータ及びカメラ高さzを較正する。これは、この方法はカメラ並進運動パラメータx、yに関する知識が無くても実施可能なためである。従って、完全な較正は、回転パラメータφ、θ、ψ及び高さパラメータzをまず較正すること、及びx、y並進運動パラメータを第二の独立した段階において較正することにより、二段階に分割される。従って、独立したパラメータを同時に求めることに起因する正確さの低下は回避される。
カメラは、1秒当たり多数の画像又はコマを捉えるデジタル又はアナログビデオカメラであってよい。画像を表示しながら画像を捉え、データを保存してもよい。画像中の1つ以上の特徴物を特定し、特徴物の軌跡を追跡するための画像の分析は、データセットの収集と同時に実行してもよいし、収集後に実行してもよい。較正の正確さを更に向上させるため、複数のデータセットを収集してもよい。実際の車両の動きを表すデータ、例えば、車両速度や操舵角を同時に収集し、画像及び/又は画像から得られるデータと関連づけてもよい。
一実施形態においては、カメラ並進パラメータx、yは、車両座標系に対するカメラ並進運動パラメータx、yの差異を判定し、カメラ画像座標系において並進運動パラメータx、yにオフセットを適用することによって較正される。オフセットは、差異を補正するために計算される。
カメラ並進パラメータx、yは、車両が曲線経路に沿って移動しているときに較正できる。従って、一実施形態においては、方法は、車両が曲線経路に沿って移動していることを判定すること、及び、車両が曲線経路に沿って移動しているときにカメラ並進運動パラメータx、yを較正することを含む。ハンドルの位置を車両制御ユニットから得て、車両が直進しているか曲線経路を走行しているかを判定するために評価してもよい。一部の実施形態においては、x、y並進運動パラメータの較正を車両が曲線経路に沿って移動しているときにのみ行うことができる。
一実施形態においては、カメラ並進運動パラメータx、yは、カメラ画像座標系における車両旋回中心と車両座標系における車両旋回中心との差異を判定することによって較正される。
特に、カメラ画像座標系における車両旋回中心は、ある期間にわたってカメラが捉えた少なくとも2枚の画像中の2つ以上の特徴物を追跡し、その2以上の特徴物を地面平面にマッピングし、マッピングされた特徴物に円弧を当てはめ、その円弧からカメラ画像座標系における車両旋回中心を計算することによって判定できる。
車両座標系における車両旋回中心は、車両操舵角を測定し、その車両操舵角から車両座標系における車両旋回中心を計算することによって判定できる。
カメラ画像座標系及び車両座標系における車両旋回中心の位置の差異が判定される場合、カメラ画像座標系における車両旋回中心の位置が車両座標系における車両旋回中心の位置に一致するようにカメラの並進運動パラメータx、yに加算すべきオフセットが判定される。次いで、このオフセットがカメラの並進運動パラメータx、yに適用される。
較正の正確さを更に向上させるため、反時計回りに湾曲している曲線経路及び時計回りに湾曲している曲線経路を車両が移動している、即ち、ドライバーがハンドルを左又は右に切っているときにカメラ並進運動パラメータx、yを較正してもよい。
半径の異なる曲線経路を車両が移動しているとき、即ち、緩やかなカーブ又は急なカーブを左又は右に向かって車両が移動しているときにカメラ並進運動パラメータx、yを較正することによっても、較正の正確さを向上させることができる。
カメラ回転パラメータの較正に使用される平行幾何学的方法は、典型的には、車両が直進している場合に実施されるのみである。従って、更なる実施形態においては、方法は、車両が直進していると判定すること、及び平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正することを含む。例えば、ハンドル角度を用いて車両が直進していると判定してもよい。平行幾何学原理に基づく様々な方法を使用してカメラ回転パラメータ、及び、場合により、カメラの高さzを判定してもよい。
一実施形態においては、平行幾何学的方法は、車両が直進しているときに、ある期間にわたってカメラが捉えた少なくとも2枚の画像から2つ以上の長手方向の特徴物を追跡すること、及び記録された軌跡をカメラ画像座標系から車両座標系にマッピングした場合にそれらが平行となるようにカメラの回転を調節することを含む。
カメラの高さを判定する場合、それは、長手方向の特徴物を追跡しながら車両の速度を記録すること、及びカメラ画像において一定期間内に1つの特徴物が移動した距離を判定することによって実行できる。
カメラの高さは、カメラ画像から測定された距離と車両速度から計算された予測距離との差異を判定し、その差異からカメラの高さにおけるオフセットを計算し、保存されたカメラ高さの値にそのオフセットを加算することによって較正できる。
コンピュータプログラム製品であって、プロセッサ上で実行されると上記実施形態のうちの1つの方法をプロセッサに実行させる、プログラム製品上で具体的に具現化されたコードを備えたコンピュータプログラム製品も提供される。
コンピュータプログラム製品は、データ記憶媒体、例えば、光学式ドライブ、ハードディスク、フラッシュメモリなどであってもよい。本実施形態は、コンピュータプログラムが既存のシステムを改善又は強化するためのものである場合に有用となり得る。
コンピュータプログラムは、画像取込及び/又は画像処理装置またはシステム内のメモリに保存することもできる。本実施形態は、装置及びシステムが車両への装備を目的として提供される場合に使用できる。
少なくとも1台のカメラから画像を受信する第一の入力手段、カメラ並進運動パラメータx、y、zとカメラ回転パラメータφ、θ、ψを保存するメモリ、実際の車両操舵角を受信する第二の入力手段、実際の車両速度を受信する第三の入力手段、及び上記実施形態のうちの1つの方法を実行する処理手段を備える較正ユニットを備えるシステムが提供される。処理手段は、処理手段によって実行されると、処理手段に上記実施形態のうちの1つの方法を実行させる具体的コードを含むメモリを含んでもよい。
システムは、少なくとも1台のカメラ、及びカメラからの画像を表示するディスプレイを更に備えてもよい。
典型的には数台、例えば、4台のカメラが車両に備えられる。各カメラからの画像を合成し、鳥瞰図とも言われる上面図形式の360°の画像、又はパノラマビューを提供することができる。典型的には、隣り合うカメラ、例えば、前方カメラと側方カメラからの画像は、連続した360°の光景を提供するために重なり合う部分があってもよい。2台以上のカメラからの画像を、処理ユニットが実施する別の方法を用いて合成してもよい。本明細書に記載される実施形態のうちの1つの方法を用いたカメラの較正は、様々なカメラで捉えた画像内の特徴物の位置の差異を除去又は低減して「継ぎ目のない」合成画像を提供するために使用することができる。
車両に搭載される少なくとも1台のカメラ、及び上記実施形態のうちの1つのシステムを含む車両が提供される。
添付図面を参照して実施形態を説明する。
車両及び車両座標系の概略図を示す。 カメラ及びカメラを較正するシステムを含む車両の概略図を示す。 車載カメラのオンライン較正方法の概略図を示す。 カメラ並進運動パラメータを較正する方法の概略図を示す。 カメラ回転パラメータを較正する方法の概略図を示す。
図1車両1及び車両座標系x、y、zの概略図を示す。車両座標系は、本実施形態においては、基準点を前車軸の中心とするデカルト座標系である。車両座標系において、方向xは車長方向に、方向yは車幅方向に、方向zは車高方向に延伸する。基準点が前車軸の中心にあることから、−yは車両の左に、+yは車両の右に、−xは前車軸の前方に、+x前車軸の後方に、+Zvは前車軸の上方に、−zは前車軸の下方に延伸する。
図2は、4台のカメラを含む車両1の概略側面図を示す。4台のカメラのうち3台のカメラ2、3、4が車両1の図に示されている。カメラ2は、車両前方の環境を捉えるように配置され、カメラ3は、車両の左側面に面する環境を捉えるように配置され、カメラ4は、車両後方の環境を捉えるように配置され、非表示のカメラが車両の右側面に車両1の右側の環境を捉えるように配置されている。
カメラは視野が広く、車両1直近の完全な360°画像を捉えられるようになっている。ただし、本明細書に記載する方法は、視野がもっと狭いカメラに用いたり、単一のカメラしか含まない車両又は5台以上のカメラを含む車両に用いたりすることもできる。
カメラは、内部パラメータ及び外部パラメータを有する。カメラ外部パラメータは、3つの回転パラメータφ、θ、ψ及び3つの並進運動パラメータx、y、zを含むカメラ画像座標系を規定する。3つの並進運動パラメータx、y、zを図2に示す。
カメラ画像座標系のこれらパラメータは、カメラが捉えた画像中の特徴物の位置が、それらの実世界における位置に対して正確にマッピングできるように、実世界のパラメータ、例えば、車両座標系のパラメータと一致していることが望ましい。このマッピングは、車両近傍の物体、例えば、危険物を検知するために使用できる。この情報は、車両のドライバーに警告を与えるために使用されてもよく、車両ドライバー支援システムが危険を回避するために自動的に適切な措置を講じられるように、ドライバー支援システムに使用されてもよい。
カメラの外部の回転パラメータφ、θ、ψ及び並進運動パラメータx、y、zは、工場で車両にカメラを搭載する際に較正してもよい。ただし、例えば、車両上のカメラの位置がわずかに変化するためにカメラの外部が時間と共に変化することもあれば、車両を製造した後に車両にカメラを取り付けたためにカメラの較正が必要になる場合もある。カメラを較正する1つの方法は、オンライン較正方法を用いてカメラが移動しているときに(カメラは車両に搭載されているので、車両が移動しているときに)カメラを較正することである。
車両1は、カメラから画像を受信できるようにカメラに結合された第一の入力装置7を有する較正ユニット6を含むシステム5、及びカメラからの画像を表示するディスプレイ11を含む。較正ユニット6は、実際の車両操舵角を受信する第二の入力装置8、及び実際の車両速度を受信する第三の入力装置9を更に含む。較正ユニット6は、車両1に搭載されたカメラ2、3、4のうちの少なくとも1台のオンライン較正を行う処理手段10を更に含む。
図3は、車載カメラ、例えば、第一の実施形態による図2に示す車両1に搭載されたカメラ2、3、4のうちの1台をオンライン較正する方法20の概略図を示す。
地面に対して車両が移動しているとき、第一のステップにおいて、平行幾何学的方法21、例えば、WO2012/143036A1に開示される平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正する。第二のステップ22において、カメラ並進運動パラメータx、yを、カメラ回転パラメータφ、θ、ψからは独立して、かつカメラ回転パラメータを較正する方法21からは独立して較正する。
平行幾何学的方法21をまず実施し、第二のステップ22を後から実施してもよい。従って、カメラの回転パラメータφ、θ、ψの較正後に、カメラ並進運動パラメータx、yを較正するために更なる較正が実施される。
方法22において、カメラ並進運動パラメータx、yは、車両座標系、従って、実世界に対するカメラ並進運動パラメータ間の差異を判定することによって較正される。差異が判定される場合、その差異を補正するため、カメラ画像座標系において並進運動パラメータにオフセットが適用される。
カメラ並進運動パラメータx、y、zは、曲線経路に沿って車両が移動しているときに較正される。その結果、第二のステップ22は、車両が地面に対し、曲線経路を移動していると判定するために、車両、例えば、車両制御ユニットから車両速度及びハンドル角度に関するデータ23を受信することを含む。ステップ24においてカメラから画像が受信され、ステップ25において画像と車両からのデータが記録される。ステップ26において、第一の画像内の少なくとも2つの特徴物が特定される。同じカメラが収集したそれに続く画像が更に分析されてこの2つ以上の特徴物の位置が判定され、これらの特徴物の位置が、そのカメラがある期間にわたって捉えた2つ以上の画像上で追跡される。このデータを使用してカメラ画像座標系における車両旋回中心T及び車両座標系における車両旋回中心Tを特定する。
図4は、カメラ画像座標系における車両旋回中心T及び車両座標系における車両旋回中心Tを判定する方法の概略図を示す。曲線経路に沿って移動した後の、後方カメラ3を有する車両1が示されている。図示した例においては、2つの特徴物30、31の地面に対する位置が5枚の画像について判定され、円弧32、33が画像30、31によって形成された軌跡にそれぞれに当てはめられ、これらの円弧32、33から車両Tの旋回中心が計算される。
ハンドル角度に関する車両からの実際のデータを使用して、車両座標系における車両旋回中心Tが計算される。カメラ画像座標系における車両旋回中心Tと車両座標系における車両旋回中心Tとの間の位置が比較され、差異34がある場合、カメラのパラメータx、yに適用されてカメラのx、y並進運動パラメータを較正するオフセット35をこの差異を用いて計算することが可能である。
図3に戻り、カメラ回転パラメータφ、θ、ψを較正するのに用いられる平行幾何学的方法21においては、ステップ24においてカメラからのデータが収集され、ステップ25において、車両が直進しているときに車両からのデータが収集される。
車両が地面に対して直進している場合、カメラ回転パラメータのオンライン較正は、カメラがある期間にわたって捉えた少なくとも2枚の画像における2つ以上の長手方向の特徴物を追跡することによって実行できる。例えば、WO2012/143036A1に開示された平行幾何学的方法が使用できる。
カメラ回転パラメータφ、θ、ψは、長手方向の特徴物の記録された軌跡がカメラ画像座標系から車両座標系へとマッピングされた際にこれが平行となるように調節される。これを図5に示す。
図5は、車両40に搭載された2台のカメラで捉えた画像の概略図を示す。前方カメラ45で捉えた画像41には、2つの長手方向の特徴物42、43、例えば、道路上の車線区分線が示されている。後方カメラ46が捉えた画像44には、同じ2つの長手方向の特徴物42’、43’が捉えられている。画像41に捉えられた長手方向の特徴物42、43と、画像44に捉えられた長手方向の特徴物42’、43’の位置には、オフセット47があることがわかる。2台のカメラ45、46は同じ長手方向の特徴物を捉えたのであるから、長手方向の特徴物の位置は、両画像41、44において同じはずである。従って、差異47を用いて長手方向の特徴物42、43の位置が両画像41、44において同じになるようにカメラ回転パラメータを調整することができる。
平行幾何学的方法を用い、長手方向の特徴物の追跡中に車両の速度を記録することによってカメラの高さzを更に判定してもよい。これにより、カメラ画像において所定期間内に1つの特徴物が移動した距離を判定することが可能となる。三角測量を用いれば、カメラの高さzを判定することができる。
カメラ画像から測定した距離と車両速度から計算した予測距離との差異を判定することによってカメラの高さzを較正することもできる。差異を判定する場合、これを用いて保存されたカメラ高さの値に加算可能なオフセットが計算可能である。
要約すると、回転パラメータと並進運動パラメータとを単一の方法で較正する場合に起こり得る、複数の従属変数を同時に求めようとすることに起因するデータの曖昧さを回避するため、カメラ回転パラメータφ、θ、ψの較正とは別の方法ステップにおいてカメラ並進運動パラメータx、yが較正される。先行技術の平行幾何学的方法、例えばWO2012/143036A1に開示された方法を用いてカメラ回転パラメータφ、θ、ψ、及び場合により高さzを較正することができる。

Claims (13)

  1. 車両(1)上のカメラ(2、3、4)のオンライン較正方法であって、カメラ(2、3、4)はカメラ画像座標系においてカメラ回転パラメータφ、θ、ψ及びカメラ並進運動パラメータx、y、zを有し、車両は車両座標系を有し、
    当該方法は、車両(1)が地面に対して移動しているときに、平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正し、
    カメラ回転パラメータφ、θ、ψからは独立してカメラ並進運動パラメータx、yを較正することを備え、
    当該方法は、車両(1)が曲線経路に沿って移動していることを判定すること、及び車両が曲線経路に沿って移動しているときにカメラ並進運動パラメータx 、y を較正することを更に備え、
    カメラ(2、3、4)がある期間にわたって捉えた少なくとも2枚の画像において2つ以上の特徴物を追跡し、
    2つ以上の特徴物を地面平面に対してマッピンクし、マッピングした特徴物に円弧を当てはめ、
    円弧からカメラ画像座標系における車両旋回中心T を計算し、
    車両操舵角を判定し、
    車両操舵角から車両座標系における車両旋回中心T を計算し、
    カメラ画像座標系における車両旋回中心T と車両座標系における車両旋回中心T との差異を判定し、
    カメラ画像座標系における車両旋回中心T の位置が車両座標系における車両旋回中心T の位置と一致するように、カメラのx 、y 並進運動パラメータに加算すべきオフセットを判定し、
    オフセットをカメラのx 、y 並進運動パラメータに適用することによって、カメラ並進運動パラメータx 、y を較正する当該方法。
  2. 車両座標系に対するカメラ並進運動パラメータx、yの差異を判定し、カメラ画像座標系においてオフセットを並進運動パラメータx、yに適用することによってカメラ並進運動パラメータx、yを較正することを特徴とする請求項1に記載の方法。
  3. カメラ回転パラメータφ、θ、ψを較正した後にカメラ並進運動パラメータx、yを較正することを特徴とする請求項1又は2に記載の方法。
  4. 車両が反時計回りに湾曲している曲線経路及び時計回りに湾曲している曲線経路に沿って移動しているときにカメラ並進運動パラメータx、yを較正することを特徴とする請求項に記載の方法。
  5. 車両が半径の異なる曲線経路を移動しているときにカメラ並進運動パラメータx、yを較正することを特徴とする請求項3〜いずれか1項に記載の方法。
  6. 車両(1)が直進していることを判定すること、及び平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正することを更に備える請求項1〜いずれか1項に記載の方法。
  7. 平行幾何学的方法が、
    車両(1)が直進しているときに、ある期間にわたってカメラが捉えた少なくとも2枚の画像から2つ以上の長手方向の特徴物を追跡すること、
    記録された軌跡が、カメラ画像座標系から車両座標系へとマッピングした際に平行となるようにカメラ回転パラメータを調節することを備えることを特徴とする請求項に記載の方法。
  8. 長手方向の特徴物を追跡しながら車両(1)の速度を記録すること、及びカメラ画像において一定期間内に特徴物が移動した距離を判定することによってカメラ(2、3、4)の高さzを判定することを更に備える請求項7に記載の方法。
  9. カメラ画像から測定された距離と車両速度から計算された推定距離との差異を判定すること、差異からカメラの高さzのオフセットを計算すること、及びオフセットを保存されたカメラの高さzの値に加算することを更に備える請求項8に記載の方法。
  10. コンピュータプログラム製品であって、プロセッサ上で実行されると請求項1〜いずれか1項に記載の方法をプロセッサに実行させる、プログラム製品上で具体的に具現化されたコードを備えたコンピュータプログラム製品。
  11. 少なくとも1台のカメラ(2、3、4)から画像を受信する第一の入力手段(7)、
    カメラ並進運動パラメータx、y、zとカメラ回転パラメータφ、θ、ψを保存するメモリ、
    実際の車両操舵角を受信する第二の入力手段(8)、
    実際の車両速度を受信する第三の入力手段(9)、
    請求項1〜いずれか1項に記載の方法を実行する処理手段(10)を備える較正ユニットを備えるシステム(5)。
  12. 少なくとも1台のカメラ、及びカメラからの画像を表示するディスプレイ(11)を更に備える請求項11に記載のシステム(5)。
  13. 車両(1)であって、車両(1)に搭載された少なくとも1台のカメラ(2、3、4)、及び請求項11又は12に記載のシステム(5)を含む車両(1)。
JP2014189779A 2013-10-01 2014-09-18 車載カメラのオンライン較正のためのシステム、車両及び方法 Active JP6486045B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13186955 2013-10-01
EP13186955.4A EP2858035B1 (en) 2013-10-01 2013-10-01 System, vehicle and method for online calibration of a camera on a vehicle

Publications (2)

Publication Number Publication Date
JP2015072269A JP2015072269A (ja) 2015-04-16
JP6486045B2 true JP6486045B2 (ja) 2019-03-20

Family

ID=49293523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014189779A Active JP6486045B2 (ja) 2013-10-01 2014-09-18 車載カメラのオンライン較正のためのシステム、車両及び方法

Country Status (4)

Country Link
US (1) US9792683B2 (ja)
EP (1) EP2858035B1 (ja)
JP (1) JP6486045B2 (ja)
CN (1) CN104517283B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
US10473458B2 (en) * 2015-10-06 2019-11-12 Snap-On Incorporated Self-calibrating wheel aligner with improved portability
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
CN105698737B (zh) * 2016-01-29 2018-08-21 深圳市美好幸福生活安全系统有限公司 用于安全预警产品的校准系统和方法
SE541447C2 (en) * 2016-11-18 2019-10-01 Scania Cv Ab An arrangement for monitoring the surrounding area of a vehicle, a vehicle comprising such an arrangement and a method for monitoring the surrounding area of a vehicle
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
DE102017221940A1 (de) * 2017-12-05 2019-06-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Fahrerassistenzsystem zum Steuern eines Kraftfahrzeugs und Kraftfahrzeug
EP3531376B1 (en) * 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
EP3534333A1 (en) 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
CN110246184B (zh) * 2018-03-07 2021-06-11 杭州海康威视数字技术股份有限公司 一种车载相机外参确定方法、装置、设备及系统
DE102018204451A1 (de) 2018-03-22 2019-09-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
CN111798521B (zh) * 2019-04-09 2023-10-31 Oppo广东移动通信有限公司 标定方法、装置、存储介质及电子设备
CN114494399A (zh) * 2021-12-15 2022-05-13 北京罗克维尔斯科技有限公司 车载环视参数的验证方法及装置、电子设备和存储介质
US20230326077A1 (en) * 2022-04-12 2023-10-12 GM Global Technology Operations LLC System and method for online camera to ground alignment
WO2024121668A1 (en) * 2022-12-06 2024-06-13 Precision Planting Llc Calibrations for a vision based system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6690840B1 (en) * 2000-02-08 2004-02-10 Tektronix, Inc. Image alignment with global translation and linear stretch
JP3796449B2 (ja) * 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
JP4743818B2 (ja) * 2003-04-04 2011-08-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
DE102007043905A1 (de) * 2007-09-14 2008-05-29 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera
JP5221765B2 (ja) * 2008-10-01 2013-06-26 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
DE102009057996A1 (de) 2009-11-12 2011-05-19 Daimler Ag Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
RU2548649C2 (ru) * 2010-09-06 2015-04-20 Айсин Сейки Кабусики Кайся Устройство содействия вождению
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
FR2972061B1 (fr) * 2011-02-24 2013-11-15 Mobiclip Procede de calibrage d'un dispositif de prise de vue stereoscopique
WO2012143036A1 (en) 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
EP2618305B1 (de) * 2012-01-20 2014-04-30 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras

Also Published As

Publication number Publication date
JP2015072269A (ja) 2015-04-16
EP2858035A1 (en) 2015-04-08
CN104517283A (zh) 2015-04-15
US9792683B2 (en) 2017-10-17
CN104517283B (zh) 2019-04-23
US20150092058A1 (en) 2015-04-02
EP2858035B1 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
JP6486045B2 (ja) 車載カメラのオンライン較正のためのシステム、車両及び方法
US20220019815A1 (en) Generating an image of the surroundings of an articulated vehicle
JP7461720B2 (ja) 車両位置決定方法及び車両位置決定装置
CN106054191B (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
CN106054174B (zh) 使用雷达和摄像机用于横越交通应用的融合方法
US10508912B2 (en) Road surface shape measuring device, measuring method, and non-transitory computer-readable medium
US20120182426A1 (en) Vehicle-surroundings monitoring device
US11958485B2 (en) Vehicle control method and apparatus
CN112771591B (zh) 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法
JP2013052754A (ja) 駐車支援装置
JP2004120661A (ja) 移動体周辺監視装置
CN113063415A (zh) 车辆及其导航方法、惯性导航系统的修正方法、存储介质
JP6115429B2 (ja) 自車位置認識装置
JP6322023B2 (ja) 計測装置、及びそれを用いた故障診断装置
JP3925285B2 (ja) 走行路環境検出装置
JP4020071B2 (ja) 周囲状況表示装置
JP6387172B2 (ja) ステアリング装置
JP7056379B2 (ja) 車両用走行制御装置
JP4997604B2 (ja) 個人用移動車両運転支援装置
Su et al. Online Camera Orientation Calibration Aided by A High-Speed Ground-View Camera
JP2009210499A (ja) タイヤ径情報補正装置
JP7225079B2 (ja) 障害物認識装置
GB2580400A (en) A control system, system and method for providing assistance to an occupant of a vehicle
GB2571585A (en) Vehicle control method and apparatus
US20240020868A1 (en) Vehicle and method of controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190219

R150 Certificate of patent or registration of utility model

Ref document number: 6486045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250