JP6058256B2 - 車載カメラ姿勢検出装置および方法 - Google Patents
車載カメラ姿勢検出装置および方法 Download PDFInfo
- Publication number
- JP6058256B2 JP6058256B2 JP2011131323A JP2011131323A JP6058256B2 JP 6058256 B2 JP6058256 B2 JP 6058256B2 JP 2011131323 A JP2011131323 A JP 2011131323A JP 2011131323 A JP2011131323 A JP 2011131323A JP 6058256 B2 JP6058256 B2 JP 6058256B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- posture
- image
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Description
ンシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第1および第2の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段とを備えている。
次に、ずれ量算出部32は、キャリブレーションシート200の設計位置からのずれ量X,Y,Rを算出する(ステップ112)。ここで、XはX方向のずれ量、YはY方向のずれ量、Rは回転方向のずれ量である。図5は、3つのずれ量X,Y,Rの関係を示す図である。図5において、Aは設計位置に配置されたキャリブレーションシート200内の一点を示しており、Bは実際に配置されたキャリブレーションシート200内の対応点を示している。
y’=y+d …(7)
すなわち、(6)式の右辺は全て既知の値であり、ずれ量算出部32は(6)式を用いることでずれ量X,Y,Rを算出することができる。
=Rx(rv1)・Ry(rr1)・Rz(rh1) …(8)
ここで、Rx(rv)、Ry(rh)、Rz(rr)は、以下に示す回転行列である。
=Ry(−R)・Rx(rv1)・Ry(rh1)・Rz(rr1) …(12)
(12)式の右辺は全て既知の値なので、展開して以下のように置く。
12 画像取込部
14 画像メモリ
20 移動前画像格納部
22 移動後画像格納部
24 移動前カメラ姿勢推定部
26 移動後カメラ姿勢推定部
30 移動距離算出部
32 ずれ量算出部
34 カメラ姿勢決定部
40 表示装置
42 表示処理部
44 補助線作成部
46 移動終了判定部
50 操作部
100 車載カメラ姿勢検出装置
200 キャリブレーションシート
Claims (9)
- 車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出装置であって、
前記カメラで撮影された前記キャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、
前記移動前画像格納手段に格納された移動前画像に基づいて前記カメラの姿勢を推定する第1の姿勢推定手段と、
車両を想定している値としての所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、
前記移動後画像格納手段に格納された移動後画像に基づいて前記カメラの姿勢を推定する第2の姿勢推定手段と、
前記第1および第2の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第1および第2の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
を備えることを特徴とする車載カメラ姿勢検出装置。 - 請求項1に記載された車載カメラ姿勢検出装置において、
車両が実際に移動した距離は、前記第1および第2の姿勢推定手段によって得られた姿勢推定値に基づいて算出することを特徴とする車載カメラ姿勢検出装置。 - 請求項1または2に記載された車載カメラ姿勢検出装置において、
前記シートずれ量算出手段は、前記カメラが設計位置に設置されている場合を想定し、前記カメラの設計位置と、前記第1および第2の姿勢推定手段による推定結果と、前記キャリブレーションシートの所定位置からのずれ量との関係に基づいて、前記ずれ量の算出を行うことを特徴とする車載カメラ姿勢検出装置。 - 請求項1〜3のいずれか一項に記載された車載カメラ姿勢検出装置において、
前記カメラ姿勢決定手段は、前記第1および第2の姿勢推定手段によって推定されたカメラ角度と、実際のカメラ角度と、前記シートずれ量算出手段によって算出された前記キャリブレーションシートの回転方向のずれ量との関係に基づいて、前記実際のカメラ角度を決定することを特徴とする車載カメラ姿勢検出装置。 - 請求項1〜4のいずれか一項に記載された車載カメラ姿勢検出装置において、
前記カメラ姿勢決定手段は、前記第1の姿勢推定手段によって推定された姿勢推定値を用いて前記カメラの姿勢を決定することを特徴とする車載カメラ姿勢検出装置。 - 請求項1〜5のいずれか一項に記載された車載カメラ姿勢検出装置において、
前記車両の移動は直線状に行われることを特徴とする車載カメラ姿勢検出装置。 - 請求項1〜6のいずれか一項に記載された車載カメラ姿勢検出装置において、
車両が移動中に確認用画像を表示装置に表示する表示処理手段をさらに備え、
前記確認用画像には、車両の移動とともに前記確認用画像内で移動する目印マークと前記確認用画像内で表示位置が固定された補助線とが含まれており、車両の前記所定距離の移動が終了するタイミングで、前記目印マークが前記補助線を超えるように表示が行われることを特徴とする車載カメラ姿勢検出装置。 - 請求項1〜7のいずれか一項に記載された車載カメラ姿勢検出装置において、
前記カメラによって撮影された画像に基づいて、車両の所定距離の移動が終了したか否かを判定し、移動が終了したときに所定の通知を行う移動終了判定手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。 - 車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいて前記カメラの姿勢を検出する車載カメラ姿勢検出方法であって、
前記カメラで撮影された前記キャリブレーションシートの画像に基づいて前記カメラの姿勢を第1の姿勢推定手段によって推定し、
車両を想定している値としての所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像に基づいて前記カメラの姿勢を第2の姿勢推定手段によって推定し、
前記第1および第2の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量をシートずれ量算出手段によって算出し、
前記第1および第2の姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢をカメラ姿勢決定手段によって決定することを特徴とする車載カメラ姿勢検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011131323A JP6058256B2 (ja) | 2011-06-13 | 2011-06-13 | 車載カメラ姿勢検出装置および方法 |
US13/489,835 US9361687B2 (en) | 2011-06-13 | 2012-06-06 | Apparatus and method for detecting posture of camera mounted on vehicle |
EP12171485.1A EP2535869B1 (en) | 2011-06-13 | 2012-06-11 | Apparatus and method for detecting posture of camera mounted on vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011131323A JP6058256B2 (ja) | 2011-06-13 | 2011-06-13 | 車載カメラ姿勢検出装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013001155A JP2013001155A (ja) | 2013-01-07 |
JP6058256B2 true JP6058256B2 (ja) | 2017-01-11 |
Family
ID=46798983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011131323A Active JP6058256B2 (ja) | 2011-06-13 | 2011-06-13 | 車載カメラ姿勢検出装置および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9361687B2 (ja) |
EP (1) | EP2535869B1 (ja) |
JP (1) | JP6058256B2 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2447672B (en) | 2007-03-21 | 2011-12-14 | Ford Global Tech Llc | Vehicle manoeuvring aids |
US9723274B2 (en) | 2011-04-19 | 2017-08-01 | Ford Global Technologies, Llc | System and method for adjusting an image capture setting |
US9854209B2 (en) | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US9506774B2 (en) | 2011-04-19 | 2016-11-29 | Ford Global Technologies, Llc | Method of inputting a path for a vehicle and trailer |
US9969428B2 (en) | 2011-04-19 | 2018-05-15 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
US9926008B2 (en) | 2011-04-19 | 2018-03-27 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
US9374562B2 (en) | 2011-04-19 | 2016-06-21 | Ford Global Technologies, Llc | System and method for calculating a horizontal camera to target distance |
US9500497B2 (en) | 2011-04-19 | 2016-11-22 | Ford Global Technologies, Llc | System and method of inputting an intended backing path |
US9555832B2 (en) | 2011-04-19 | 2017-01-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US9683848B2 (en) | 2011-04-19 | 2017-06-20 | Ford Global Technologies, Llc | System for determining hitch angle |
JP5899021B2 (ja) * | 2012-03-28 | 2016-04-06 | 本田技研工業株式会社 | 車両への携帯情報端末の取付位置判別方法 |
JP6025365B2 (ja) * | 2012-04-04 | 2016-11-16 | 京セラ株式会社 | 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法 |
US9592851B2 (en) | 2013-02-04 | 2017-03-14 | Ford Global Technologies, Llc | Control modes for a trailer backup assist system |
US9511799B2 (en) | 2013-02-04 | 2016-12-06 | Ford Global Technologies, Llc | Object avoidance for a trailer backup assist system |
DE102013012930A1 (de) * | 2013-08-02 | 2015-02-05 | Connaught Electronics Ltd. | Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug |
JP6277652B2 (ja) * | 2013-09-30 | 2018-02-14 | 株式会社デンソー | 車両周辺画像表示装置及びカメラの調整方法 |
FR3015660B1 (fr) * | 2013-12-19 | 2020-06-05 | Continental Automotive France | Procede, support et systeme de calibration d'une camera d'un vehicule |
CN103854291B (zh) * | 2014-03-28 | 2017-08-29 | 中国科学院自动化研究所 | 四自由度双目视觉系统中的摄像机标定方法 |
US20140232871A1 (en) * | 2014-05-01 | 2014-08-21 | Caterpillar Inc. | Method for manually calibrating a camera mounted on vehicle |
KR101592740B1 (ko) * | 2014-07-24 | 2016-02-15 | 현대자동차주식회사 | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 |
KR102288399B1 (ko) * | 2014-10-30 | 2021-08-10 | 현대모비스 주식회사 | 차량 경보 장치 |
US9533683B2 (en) | 2014-12-05 | 2017-01-03 | Ford Global Technologies, Llc | Sensor failure mitigation system and mode management |
US9522677B2 (en) | 2014-12-05 | 2016-12-20 | Ford Global Technologies, Llc | Mitigation of input device failure and mode management |
DE102014225875A1 (de) * | 2014-12-15 | 2016-06-16 | Robert Bosch Gmbh | Kamerasystem und Verfahren zum Betreiben eines Kamerasystems |
US9607242B2 (en) | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
KR101670845B1 (ko) | 2015-04-14 | 2016-10-31 | 주식회사 와이즈오토모티브 | 차량에 장착된 카메라의 캘리브레이션 장치 및 방법 |
US9896130B2 (en) | 2015-09-11 | 2018-02-20 | Ford Global Technologies, Llc | Guidance system for a vehicle reversing a trailer along an intended backing path |
US9836060B2 (en) | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
CN105631853B (zh) * | 2015-11-06 | 2018-01-30 | 湖北工业大学 | 车载双目相机标定及参数验证方法 |
US10112646B2 (en) | 2016-05-05 | 2018-10-30 | Ford Global Technologies, Llc | Turn recovery human machine interface for trailer backup assist |
KR101907086B1 (ko) * | 2017-01-11 | 2018-10-11 | 주식회사 만도 | 차량용 카메라 조절 장치 및 방법 |
CN109086650B (zh) * | 2017-06-14 | 2022-04-12 | 现代摩比斯株式会社 | 校准方法和校准设备 |
CN107481292B (zh) * | 2017-09-05 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 车载摄像头的姿态误差估计方法和装置 |
JP6975003B2 (ja) * | 2017-09-29 | 2021-12-01 | 株式会社デンソー | 周辺監視装置およびその校正方法 |
US10657654B2 (en) * | 2017-12-28 | 2020-05-19 | Denso Ten Limited | Abnormality detection device and abnormality detection method |
CN108062776B (zh) * | 2018-01-03 | 2019-05-24 | 百度在线网络技术(北京)有限公司 | 相机姿态跟踪方法和装置 |
JP7314486B2 (ja) * | 2018-09-06 | 2023-07-26 | 株式会社アイシン | カメラキャリブレーション装置 |
CN109389650B (zh) * | 2018-09-30 | 2021-01-12 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
US11055870B2 (en) | 2019-07-24 | 2021-07-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle auxiliary camera |
CN112990117B (zh) * | 2021-04-21 | 2021-08-17 | 智道网联科技(北京)有限公司 | 基于智能驾驶系统的安装数据处理方法及装置 |
DE102021209296B4 (de) | 2021-08-25 | 2023-04-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bestimmen der Bewegung eines mit wenigstens einer Videokamera zur Bilderfassung ausgestatteten Objekts |
KR102488180B1 (ko) * | 2021-11-22 | 2023-01-13 | 주식회사 알엔웨어 | 멀티카메라 장치 |
CN115174879B (zh) * | 2022-07-18 | 2024-03-15 | 峰米(重庆)创新科技有限公司 | 投影画面校正方法、装置、计算机设备和存储介质 |
CN115278184B (zh) * | 2022-07-18 | 2024-03-15 | 峰米(重庆)创新科技有限公司 | 投影画面校正方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7307655B1 (en) | 1998-07-31 | 2007-12-11 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying a synthesized image viewed from a virtual point of view |
JP4556873B2 (ja) * | 2003-10-21 | 2010-10-06 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
US8199970B2 (en) | 2006-06-06 | 2012-06-12 | Nec Corporation | Moving amount calculation system and obstacle detection system |
JP4857143B2 (ja) * | 2007-02-20 | 2012-01-18 | アルパイン株式会社 | カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法 |
JP2008219063A (ja) | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2009129001A (ja) | 2007-11-20 | 2009-06-11 | Sanyo Electric Co Ltd | 運転支援システム、車両、立体物領域推定方法 |
US8373763B2 (en) * | 2008-05-22 | 2013-02-12 | GM Global Technology Operations LLC | Self calibration of extrinsic camera parameters for a vehicle camera |
JP5339124B2 (ja) * | 2008-09-30 | 2013-11-13 | アイシン精機株式会社 | 車載カメラの校正装置 |
WO2010038224A1 (en) | 2008-10-01 | 2010-04-08 | Hi-Key Limited | A method and a system for calibrating an image capture device |
KR100939761B1 (ko) * | 2008-10-02 | 2010-01-29 | 삼성전기주식회사 | 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템 |
JP5456330B2 (ja) * | 2009-02-04 | 2014-03-26 | アルパイン株式会社 | 画像表示装置及びそのカメラ取り付け角度算出方法 |
JP2010188765A (ja) * | 2009-02-16 | 2010-09-02 | Alpine Electronics Inc | 測光領域決定装置および測光領域決定方法 |
DE102009001742A1 (de) * | 2009-03-23 | 2010-09-30 | Robert Bosch Gmbh | Verfahren sowie Vorrichtung zum Bestimmen der Position und Ausrichtung einer Fahrerassistenzsystem-Kamera eines Fahrzeugs zu dem Fahrzeug |
JP4831374B2 (ja) * | 2009-03-27 | 2011-12-07 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置、運転支援方法、及び運転支援プログラム |
KR101023275B1 (ko) * | 2009-04-06 | 2011-03-18 | 삼성전기주식회사 | 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛 |
JP2011047725A (ja) * | 2009-08-26 | 2011-03-10 | Alpine Electronics Inc | 撮像装置の取り付け位置の推定方法およびキャリブレーションシステム |
CN201576093U (zh) * | 2009-12-04 | 2010-09-08 | 刘宛莲 | 一种带彩色标尺线的后视倒车雷达系统 |
-
2011
- 2011-06-13 JP JP2011131323A patent/JP6058256B2/ja active Active
-
2012
- 2012-06-06 US US13/489,835 patent/US9361687B2/en active Active
- 2012-06-11 EP EP12171485.1A patent/EP2535869B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9361687B2 (en) | 2016-06-07 |
EP2535869B1 (en) | 2017-06-07 |
US20120314073A1 (en) | 2012-12-13 |
EP2535869A3 (en) | 2013-12-25 |
JP2013001155A (ja) | 2013-01-07 |
EP2535869A2 (en) | 2012-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6058256B2 (ja) | 車載カメラ姿勢検出装置および方法 | |
EP3367677B1 (en) | Calibration apparatus, calibration method, and calibration program | |
JP4555876B2 (ja) | 車載カメラのキャリブレーション方法 | |
JP4803450B2 (ja) | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 | |
JP4690476B2 (ja) | 車載カメラの校正装置 | |
JP5898475B2 (ja) | 車載カメラシステム及びその較正方法、及びその較正プログラム | |
JP4803449B2 (ja) | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 | |
US20130002861A1 (en) | Camera distance measurement device | |
US20100194886A1 (en) | Camera Calibration Device And Method, And Vehicle | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
KR102538592B1 (ko) | 탑-뷰 영상 생성 장치 및 그 방법 | |
JP5081313B2 (ja) | 車載カメラの校正装置 | |
WO2015029443A1 (ja) | 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム | |
CN111279354A (zh) | 图像处理方法、设备及计算机可读存储介质 | |
KR101583663B1 (ko) | 차량용 카메라의 교정판 제공 방법 | |
JP5173551B2 (ja) | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 | |
US9330319B2 (en) | Apparatus for compensating camera image and operating method thereof | |
US20160121806A1 (en) | Method for adjusting output video of rear camera for vehicles | |
JP4682830B2 (ja) | 車載画像処理装置 | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
JP2013005032A (ja) | 車載カメラ姿勢検出装置 | |
JP4855278B2 (ja) | カメラパラメータ取得装置 | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP2009212734A (ja) | 自動校正単眼ステレオ視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160725 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6058256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |