JP6486045B2 - 車載カメラのオンライン較正のためのシステム、車両及び方法 - Google Patents
車載カメラのオンライン較正のためのシステム、車両及び方法 Download PDFInfo
- Publication number
- JP6486045B2 JP6486045B2 JP2014189779A JP2014189779A JP6486045B2 JP 6486045 B2 JP6486045 B2 JP 6486045B2 JP 2014189779 A JP2014189779 A JP 2014189779A JP 2014189779 A JP2014189779 A JP 2014189779A JP 6486045 B2 JP6486045 B2 JP 6486045B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- coordinate system
- parameters
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Description
Claims (13)
- 車両(1)上のカメラ(2、3、4)のオンライン較正方法であって、カメラ(2、3、4)はカメラ画像座標系においてカメラ回転パラメータφ、θ、ψ及びカメラ並進運動パラメータxc、yc、zcを有し、車両は車両座標系を有し、
当該方法は、車両(1)が地面に対して移動しているときに、平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正し、
カメラ回転パラメータφ、θ、ψからは独立してカメラ並進運動パラメータxc、ycを較正することを備え、
当該方法は、車両(1)が曲線経路に沿って移動していることを判定すること、及び車両が曲線経路に沿って移動しているときにカメラ並進運動パラメータx c 、y c を較正することを更に備え、
カメラ(2、3、4)がある期間にわたって捉えた少なくとも2枚の画像において2つ以上の特徴物を追跡し、
2つ以上の特徴物を地面平面に対してマッピンクし、マッピングした特徴物に円弧を当てはめ、
円弧からカメラ画像座標系における車両旋回中心T c を計算し、
車両操舵角を判定し、
車両操舵角から車両座標系における車両旋回中心T v を計算し、
カメラ画像座標系における車両旋回中心T c と車両座標系における車両旋回中心T v との差異を判定し、
カメラ画像座標系における車両旋回中心T c の位置が車両座標系における車両旋回中心T v の位置と一致するように、カメラのx c 、y c 並進運動パラメータに加算すべきオフセットを判定し、
オフセットをカメラのx c 、y c 並進運動パラメータに適用することによって、カメラ並進運動パラメータx c 、y c を較正する当該方法。 - 車両座標系に対するカメラ並進運動パラメータxc、ycの差異を判定し、カメラ画像座標系においてオフセットを並進運動パラメータxc、ycに適用することによってカメラ並進運動パラメータxc、ycを較正することを特徴とする請求項1に記載の方法。
- カメラ回転パラメータφ、θ、ψを較正した後にカメラ並進運動パラメータxc、ycを較正することを特徴とする請求項1又は2に記載の方法。
- 車両が反時計回りに湾曲している曲線経路及び時計回りに湾曲している曲線経路に沿って移動しているときにカメラ並進運動パラメータxc、ycを較正することを特徴とする請求項3に記載の方法。
- 車両が半径の異なる曲線経路を移動しているときにカメラ並進運動パラメータxc、ycを較正することを特徴とする請求項3〜4のいずれか1項に記載の方法。
- 車両(1)が直進していることを判定すること、及び平行幾何学的方法を用いてカメラ回転パラメータφ、θ、ψを較正することを更に備える請求項1〜5のいずれか1項に記載の方法。
- 平行幾何学的方法が、
車両(1)が直進しているときに、ある期間にわたってカメラが捉えた少なくとも2枚の画像から2つ以上の長手方向の特徴物を追跡すること、
記録された軌跡が、カメラ画像座標系から車両座標系へとマッピングした際に平行となるようにカメラ回転パラメータを調節することを備えることを特徴とする請求項6に記載の方法。 - 長手方向の特徴物を追跡しながら車両(1)の速度を記録すること、及びカメラ画像において一定期間内に特徴物が移動した距離を判定することによってカメラ(2、3、4)の高さzcを判定することを更に備える請求項7に記載の方法。
- カメラ画像から測定された距離と車両速度から計算された推定距離との差異を判定すること、差異からカメラの高さzcのオフセットを計算すること、及びオフセットを保存されたカメラの高さzcの値に加算することを更に備える請求項8に記載の方法。
- コンピュータプログラム製品であって、プロセッサ上で実行されると請求項1〜9のいずれか1項に記載の方法をプロセッサに実行させる、プログラム製品上で具体的に具現化されたコードを備えたコンピュータプログラム製品。
- 少なくとも1台のカメラ(2、3、4)から画像を受信する第一の入力手段(7)、
カメラ並進運動パラメータxc、yc、zcとカメラ回転パラメータφ、θ、ψを保存するメモリ、
実際の車両操舵角を受信する第二の入力手段(8)、
実際の車両速度を受信する第三の入力手段(9)、
請求項1〜9のいずれか1項に記載の方法を実行する処理手段(10)を備える較正ユニットを備えるシステム(5)。 - 少なくとも1台のカメラ、及びカメラからの画像を表示するディスプレイ(11)を更に備える請求項11に記載のシステム(5)。
- 車両(1)であって、車両(1)に搭載された少なくとも1台のカメラ(2、3、4)、及び請求項11又は12に記載のシステム(5)を含む車両(1)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13186955 | 2013-10-01 | ||
EP13186955.4A EP2858035B1 (en) | 2013-10-01 | 2013-10-01 | System, vehicle and method for online calibration of a camera on a vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015072269A JP2015072269A (ja) | 2015-04-16 |
JP6486045B2 true JP6486045B2 (ja) | 2019-03-20 |
Family
ID=49293523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014189779A Active JP6486045B2 (ja) | 2013-10-01 | 2014-09-18 | 車載カメラのオンライン較正のためのシステム、車両及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9792683B2 (ja) |
EP (1) | EP2858035B1 (ja) |
JP (1) | JP6486045B2 (ja) |
CN (1) | CN104517283B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
EP3125196B1 (en) * | 2015-07-29 | 2018-02-21 | Continental Automotive GmbH | Drive-by calibration from static targets |
US10473458B2 (en) * | 2015-10-06 | 2019-11-12 | Snap-On Incorporated | Self-calibrating wheel aligner with improved portability |
EP3174007A1 (en) * | 2015-11-30 | 2017-05-31 | Delphi Technologies, Inc. | Method for calibrating the orientation of a camera mounted to a vehicle |
CN105698737B (zh) * | 2016-01-29 | 2018-08-21 | 深圳市美好幸福生活安全系统有限公司 | 用于安全预警产品的校准系统和方法 |
SE541447C2 (en) * | 2016-11-18 | 2019-10-01 | Scania Cv Ab | An arrangement for monitoring the surrounding area of a vehicle, a vehicle comprising such an arrangement and a method for monitoring the surrounding area of a vehicle |
DE102016224095A1 (de) * | 2016-12-05 | 2018-06-07 | Robert Bosch Gmbh | Verfahren zum Kalibrieren einer Kamera und Kalibriersystem |
DE102017221940A1 (de) * | 2017-12-05 | 2019-06-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Fahrerassistenzsystem zum Steuern eines Kraftfahrzeugs und Kraftfahrzeug |
EP3531376B1 (en) * | 2018-02-21 | 2020-09-30 | Ficosa Adas, S.L.U. | Calibrating a camera of a vehicle |
EP3534333A1 (en) | 2018-02-28 | 2019-09-04 | Aptiv Technologies Limited | Method for calibrating the position and orientation of a camera relative to a calibration pattern |
CN110246184B (zh) * | 2018-03-07 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 一种车载相机外参确定方法、装置、设备及系统 |
DE102018204451A1 (de) | 2018-03-22 | 2019-09-26 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems |
CN109782755B (zh) * | 2018-12-27 | 2022-05-31 | 广东飞库科技有限公司 | 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv |
CN111798521B (zh) * | 2019-04-09 | 2023-10-31 | Oppo广东移动通信有限公司 | 标定方法、装置、存储介质及电子设备 |
CN114494399A (zh) * | 2021-12-15 | 2022-05-13 | 北京罗克维尔斯科技有限公司 | 车载环视参数的验证方法及装置、电子设备和存储介质 |
US20230326077A1 (en) * | 2022-04-12 | 2023-10-12 | GM Global Technology Operations LLC | System and method for online camera to ground alignment |
WO2024121668A1 (en) * | 2022-12-06 | 2024-06-13 | Precision Planting Llc | Calibrations for a vision based system |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
US6690840B1 (en) * | 2000-02-08 | 2004-02-10 | Tektronix, Inc. | Image alignment with global translation and linear stretch |
JP3796449B2 (ja) * | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
JP4743818B2 (ja) * | 2003-04-04 | 2011-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
DE102007043905A1 (de) * | 2007-09-14 | 2008-05-29 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera |
JP5221765B2 (ja) * | 2008-10-01 | 2013-06-26 | ハイ キー リミテッド | 画像取込装置の較正方法および較正システム |
JP4751939B2 (ja) * | 2009-03-31 | 2011-08-17 | アイシン精機株式会社 | 車載カメラの校正装置 |
DE102009057996A1 (de) | 2009-11-12 | 2011-05-19 | Daimler Ag | Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem |
JP5299231B2 (ja) * | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
RU2548649C2 (ru) * | 2010-09-06 | 2015-04-20 | Айсин Сейки Кабусики Кайся | Устройство содействия вождению |
JP5454934B2 (ja) * | 2010-09-21 | 2014-03-26 | アイシン精機株式会社 | 運転支援装置 |
FR2972061B1 (fr) * | 2011-02-24 | 2013-11-15 | Mobiclip | Procede de calibrage d'un dispositif de prise de vue stereoscopique |
WO2012143036A1 (en) | 2011-04-18 | 2012-10-26 | Connaught Electronics Limited | Online vehicle camera calibration based on continuity of features |
US9357208B2 (en) * | 2011-04-25 | 2016-05-31 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
EP2618305B1 (de) * | 2012-01-20 | 2014-04-30 | ESG Elektroniksystem- und Logistik-GmbH | Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras |
-
2013
- 2013-10-01 EP EP13186955.4A patent/EP2858035B1/en active Active
-
2014
- 2014-09-18 JP JP2014189779A patent/JP6486045B2/ja active Active
- 2014-09-25 CN CN201410496131.3A patent/CN104517283B/zh active Active
- 2014-10-01 US US14/503,580 patent/US9792683B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015072269A (ja) | 2015-04-16 |
EP2858035A1 (en) | 2015-04-08 |
CN104517283A (zh) | 2015-04-15 |
US9792683B2 (en) | 2017-10-17 |
CN104517283B (zh) | 2019-04-23 |
US20150092058A1 (en) | 2015-04-02 |
EP2858035B1 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6486045B2 (ja) | 車載カメラのオンライン較正のためのシステム、車両及び方法 | |
US20220019815A1 (en) | Generating an image of the surroundings of an articulated vehicle | |
JP7461720B2 (ja) | 車両位置決定方法及び車両位置決定装置 | |
CN106054191B (zh) | 车轮检测和其在物体跟踪以及传感器配准中的应用 | |
CN106054174B (zh) | 使用雷达和摄像机用于横越交通应用的融合方法 | |
US10508912B2 (en) | Road surface shape measuring device, measuring method, and non-transitory computer-readable medium | |
US20120182426A1 (en) | Vehicle-surroundings monitoring device | |
US11958485B2 (en) | Vehicle control method and apparatus | |
CN112771591B (zh) | 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法 | |
JP2013052754A (ja) | 駐車支援装置 | |
JP2004120661A (ja) | 移動体周辺監視装置 | |
CN113063415A (zh) | 车辆及其导航方法、惯性导航系统的修正方法、存储介质 | |
JP6115429B2 (ja) | 自車位置認識装置 | |
JP6322023B2 (ja) | 計測装置、及びそれを用いた故障診断装置 | |
JP3925285B2 (ja) | 走行路環境検出装置 | |
JP4020071B2 (ja) | 周囲状況表示装置 | |
JP6387172B2 (ja) | ステアリング装置 | |
JP7056379B2 (ja) | 車両用走行制御装置 | |
JP4997604B2 (ja) | 個人用移動車両運転支援装置 | |
Su et al. | Online Camera Orientation Calibration Aided by A High-Speed Ground-View Camera | |
JP2009210499A (ja) | タイヤ径情報補正装置 | |
JP7225079B2 (ja) | 障害物認識装置 | |
GB2580400A (en) | A control system, system and method for providing assistance to an occupant of a vehicle | |
GB2571585A (en) | Vehicle control method and apparatus | |
US20240020868A1 (en) | Vehicle and method of controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6486045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |