JP5208147B2 - 車載カメラのカメラキャリブレーション装置 - Google Patents
車載カメラのカメラキャリブレーション装置 Download PDFInfo
- Publication number
- JP5208147B2 JP5208147B2 JP2010051492A JP2010051492A JP5208147B2 JP 5208147 B2 JP5208147 B2 JP 5208147B2 JP 2010051492 A JP2010051492 A JP 2010051492A JP 2010051492 A JP2010051492 A JP 2010051492A JP 5208147 B2 JP5208147 B2 JP 5208147B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- lens distortion
- vehicle
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 claims description 63
- 238000012937 correction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Description
上記コントローラは、
上記車載カメラから、車両の進行方向にそれぞれ実質的に平行な直線状の2本の区間線が設けられた道路の入力画像を取得し、
複数の異なるレンズ歪みパラメータに基づいて上記入力画像を補正して第1の補正画像をそれぞれ生成し、
上記各第1の補正画像において、上記各区間線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、
最良の評価値に対応するレンズ歪みパラメータを決定し、
上記決定されたレンズ歪みパラメータに基づいて上記入力画像を補正して第2の補正画像を生成し、
上記第2の補正画像において、上記各区間線に対応する2本の直線を検出し、検出された2本の直線の交点を消失点位置として決定することを特徴とする。
図1は、本発明の実施の形態1に係るカメラキャリブレーション装置の構成を示すブロック図であり、図2は、図1の画像認識装置2を備えた車両3を示す概略図である。実施の形態1のカメラキャリブレーション装置では、画像認識装置2が、車載カメラ1で撮影された画像を入力として画像認識を行い、車載カメラ1のレンズ歪みパラメータを決定するとともに、消失点位置を決定する。
X=(x−x0)×(1+k1×r2+k2×r4)+x0
[数2]
Y=(y−y0)×(1+k1×r2+k2×r4)+y0
[数3]
r2=(x−x0)2+(y−y0)2
図10は、本発明の実施の形態2に係る画像認識処理を示すフローチャートである。実施の形態1では1つの元画像に基づいてレンズ歪みパラメータと消失点位置を決定したが、実施の形態2では、所定時間間隔で連続した複数個の画像(時系列画像)を入力として使用する。実施の形態2では、連続する複数個の画像を同じレンズ歪みパラメータによりそれぞれ補正したときの補正の安定度を評価してレンズ歪みパラメータを決定し、これにより、実施の形態1よりも高精度にレンズ歪みパラメータ及び消失点位置を求めることが可能になる。評価する安定度の指標としては、複数の画像を同じレンズ歪みパラメータによりそれぞれ補正したときの評価値の和を用いることができる。
図12は、本発明の実施の形態3に係るカメラキャリブレーション装置の構成を示すブロック図1であり、図13は、図12のカメラキャリブレーション装置を備えた車両3を示す概略図である。実施の形態3のカメラキャリブレーション装置は、決定されたレンズ歪みパラメータ及び消失点位置をディスプレイ5に表示し、ユーザが入力装置4を介してレンズ歪みパラメータ及び消失点位置を確認してさらに調整できることを特徴とする。
図16は、本発明の実施の形態4に係るカメラキャリブレーション装置の構成を示すブロック図である。実施の形態4のカメラキャリブレーション装置では、画像内における車両3の左右端位置を画像認識装置2Bに入力することができる。
Claims (6)
- 画像認識処理を実行するコントローラを備えた、車載カメラのカメラキャリブレーション装置であって、
上記コントローラは、
上記車載カメラから、車両の進行方向にそれぞれ実質的に平行な直線状の2本の区間線が設けられた道路の入力画像を取得し、
複数の異なるレンズ歪みパラメータに基づいて上記入力画像をそれぞれ補正して複数の第1の補正画像を生成し、
上記各第1の補正画像において、上記各区間線に対応する直線を検出し、直線検出結果に基づいて、補正の妥当性を評価するための評価値を計算し、
最良の評価値に対応するレンズ歪みパラメータを決定し、
上記決定されたレンズ歪みパラメータに基づいて上記入力画像を補正して第2の補正画像を生成し、
上記第2の補正画像において、上記各区間線に対応する2本の直線を検出し、検出された2本の直線の交点を消失点位置として決定することを特徴とする車載カメラのカメラキャリブレーション装置。 - 上記コントローラは、
上記車載カメラから複数の入力画像を取得し、
上記各入力画像に対して上記第1の補正画像の生成及び上記評価値の計算を実行し、
上記レンズ歪みパラメータの決定において、異なるレンズ歪みパラメータ毎に、上記各入力画像に対応する評価値の総和を計算し、最良の評価値の総和に対応するレンズ歪みパラメータを決定することを特徴とする請求項1記載の車載カメラのカメラキャリブレーション装置。 - 上記評価値の計算は、
上記第1の補正画像内の右側の区画線に対してハフ変換を実行して、上記右側の区画線に対する直線候補の投票値を取得することと、
上記右側の区画線に対する直線候補の投票値のうちで最高の投票値を決定することと、
上記第1の補正画像内の左側の区画線に対してハフ変換を実行して、上記左側の区画線に対する直線候補の投票値を取得することと、
上記左側の区画線に対する直線候補の投票値のうちで最高の投票値を決定することと、
上記決定された2つの最高の投票値の合計を評価値とすることとを含むことを特徴とする請求項1又は2記載の車載カメラのカメラキャリブレーション装置。 - 上記評価値の計算は、
上記第1の補正画像の上側において、上記各区間線に対応する2本の直線を検出し、検出された2本の直線の交点を第1の消失点位置として決定することと、
上記第1の補正画像の下側において、上記各区間線に対応する2本の直線を検出し、検出された2本の直線の交点を第2の消失点位置として決定することと、
上記第1及び第2の消失点位置の間の距離を評価値とすることとを含むことを特徴とする請求項1又は2記載の車載カメラのカメラキャリブレーション装置。 - 上記車載カメラのカメラキャリブレーション装置は、
ユーザ入力情報を取得する入力手段と、
上記第2の補正画像及び上記消失点位置を表示する表示手段とをさらに備え、
上記コントローラは、上記ユーザ入力情報に応じて上記決定されたレンズ歪みパラメータ及び消失点位置を調整することを特徴とする請求項1〜4のいずれか1つに記載の車載カメラのカメラキャリブレーション装置。 - 上記コントローラは、車両の左右端位置の情報を上記入力手段から取得し、
上記表示手段は、車両の左右端の延長線を示す左右端ガイド線をさらに表示することを特徴とする請求項5記載の車載カメラのカメラキャリブレーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010051492A JP5208147B2 (ja) | 2010-03-09 | 2010-03-09 | 車載カメラのカメラキャリブレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010051492A JP5208147B2 (ja) | 2010-03-09 | 2010-03-09 | 車載カメラのカメラキャリブレーション装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011185753A JP2011185753A (ja) | 2011-09-22 |
JP5208147B2 true JP5208147B2 (ja) | 2013-06-12 |
Family
ID=44792230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010051492A Expired - Fee Related JP5208147B2 (ja) | 2010-03-09 | 2010-03-09 | 車載カメラのカメラキャリブレーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5208147B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103458181A (zh) * | 2013-06-29 | 2013-12-18 | 华为技术有限公司 | 镜头畸变参数调节方法、装置及摄像设备 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013108371A1 (ja) * | 2012-01-17 | 2013-07-25 | パイオニア株式会社 | 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体 |
WO2014045344A1 (ja) * | 2012-09-18 | 2014-03-27 | トヨタ自動車株式会社 | 車載カメラのfoe設定装置及びfoe設定方法 |
JP6410411B2 (ja) * | 2013-06-20 | 2018-10-24 | キヤノン株式会社 | パターンマッチング装置及びパターンマッチング方法 |
WO2017122552A1 (ja) | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
JP6541590B2 (ja) | 2016-02-03 | 2019-07-10 | クラリオン株式会社 | カメラキャリブレーション装置 |
KR102543523B1 (ko) * | 2016-09-09 | 2023-06-15 | 현대모비스 주식회사 | 카메라의 오차 보정 시스템 및 방법 |
JP7150709B2 (ja) | 2017-05-30 | 2022-10-11 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
EP3467775A1 (en) | 2017-10-03 | 2019-04-10 | Fujitsu Limited | Estimating program, estimating method, and estimating system for camera parameter |
JP7037413B2 (ja) * | 2018-03-28 | 2022-03-16 | 京セラ株式会社 | 撮像装置、移動体、および撮像方法 |
CN111812691B (zh) * | 2019-04-11 | 2023-09-12 | 北京魔门塔科技有限公司 | 一种车载终端及图像帧检测处理方法、装置 |
CN111223150A (zh) * | 2020-01-15 | 2020-06-02 | 电子科技大学 | 一种基于双消失点的车载摄像头外参数标定方法 |
CN111507924B (zh) * | 2020-04-27 | 2023-09-29 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3820874B2 (ja) * | 2000-11-22 | 2006-09-13 | 日産自動車株式会社 | 車両用画像処理装置 |
JP2002245440A (ja) * | 2001-02-14 | 2002-08-30 | Toshiba Corp | 自己位置計測装置及びその方法 |
JP2002259995A (ja) * | 2001-03-06 | 2002-09-13 | Nissan Motor Co Ltd | 位置検出装置 |
JP4820221B2 (ja) * | 2006-06-29 | 2011-11-24 | 日立オートモティブシステムズ株式会社 | 車載カメラのキャリブレーション装置およびプログラム |
JP4565396B2 (ja) * | 2006-06-29 | 2010-10-20 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
JP4955609B2 (ja) * | 2008-05-30 | 2012-06-20 | 三菱電機株式会社 | 消失点追跡方法及び消失点追跡装置 |
-
2010
- 2010-03-09 JP JP2010051492A patent/JP5208147B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103458181A (zh) * | 2013-06-29 | 2013-12-18 | 华为技术有限公司 | 镜头畸变参数调节方法、装置及摄像设备 |
CN103458181B (zh) * | 2013-06-29 | 2016-12-28 | 华为技术有限公司 | 镜头畸变参数调节方法、装置及摄像设备 |
Also Published As
Publication number | Publication date |
---|---|
JP2011185753A (ja) | 2011-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5208147B2 (ja) | 車載カメラのカメラキャリブレーション装置 | |
JP5792091B2 (ja) | 物体検出装置及び物体検出方法 | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4406381B2 (ja) | 障害物検出装置及び方法 | |
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
US20130002861A1 (en) | Camera distance measurement device | |
EP2624575A1 (en) | Image processing device and image capturing device using same | |
US10127702B2 (en) | Image processing device and image processing method | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
KR20120072020A (ko) | 자율주행 시스템의 주행정보 인식 방법 및 장치 | |
JP2011058812A (ja) | 視差算出方法、および視差算出装置 | |
JP2009085651A (ja) | 画像処理システム | |
JP2014215719A (ja) | 車種判定装置 | |
JP5548212B2 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
JP3709879B2 (ja) | ステレオ画像処理装置 | |
JP2012159469A (ja) | 車両用画像認識装置 | |
JP6086424B2 (ja) | 車載画像処理装置 | |
JP2010170488A (ja) | 車線認識装置、及び車線認識方法 | |
JP2014106739A (ja) | 車載画像処理装置 | |
JP2009188635A (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
KR102060113B1 (ko) | 캘리브레이션 시스템 및 방법 | |
CN113240750A (zh) | 三维空间信息测算方法及装置 | |
JP2009092551A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP2012159470A (ja) | 車両用画像認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5208147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |