JP5864984B2 - 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム - Google Patents
車載カメラ用画像補正方法および車載カメラ用画像補正プログラム Download PDFInfo
- Publication number
- JP5864984B2 JP5864984B2 JP2011209695A JP2011209695A JP5864984B2 JP 5864984 B2 JP5864984 B2 JP 5864984B2 JP 2011209695 A JP2011209695 A JP 2011209695A JP 2011209695 A JP2011209695 A JP 2011209695A JP 5864984 B2 JP5864984 B2 JP 5864984B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vehicle
- road surface
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
(1−1.構成)
図1は、本発明の第1実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置10の一例を示すブロック図である。
次に、本実施形態に係る車載カメラ用画像補正装置10の動作の一例について説明する。
図3は、図1に示す車載カメラ用画像補正装置10により、形状や寸法が既知の図形を用いることなく真上視点の動きベクトルへの変換式を求めることにより車載カメラ11の現在の取り付け角度を求める際の手順を示すフローチャートである。図3において、Sに数字を付した符号はフローチャートの各ステップを示す。
そこで、それぞれの角度補正を独立して行うために、焦点方向ベクトルと画面の上方向ベクトルを指定することによる一般的な変換行列(変換式)の作成方法を使用する。
R[2][0] = -Fx
R[2][1] = -Fy
R[2][2] = Fz
d2 = √(R[2][0]・R[2][0] + R[2][1]・R[2][1] + R[2][2]・R[2][2])
R[2][0] = R[2][0] / d2
R[2][1] = R[2][1] / d2
R[2][2] = R[2][2] / d2
R[0][0] = -Uy・R[2][2] - Uz・R[2][1]
R[0][1] = -Uz・R[2][0] - Ux・R[2][2]
R[0][2] = Ux・R[2][1] + Uy・R[2][0]
d0 = √(R[0][0]・R[0][0] + R[0][1]・R[0][1] + R[0][2]・R[0][2])
R[0][0] = R[0][0] / d0
R[0][1] = R[0][1] / d0
R[0][2] = R[0][2] / d0
R[1][0] = R[2][1]・R[0][2] - R[2][2]・R[0][1]
R[1][1] = R[2][2]・R[0][0] - R[2][0]・R[0][2]
R[1][2] = R[2][0]・R[0][1] - R[2][1]・R[0][0]
d1 = √(R[1][0]・R[1][0] + R[1][1]・R[1][1] + R[1][2]・R[1][2])
R[1][0] = R[1][0] / d1
R[1][1] = R[1][1] / d1
R[1][2] = R[1][2] / d1
φx = arctan(-R[2][1] / R[2][2]) (2)
φy = arctan(R[2][0] / R[2][2]) (3)
φz = arctan(R[0][1] / R[0][0]) (4)
したがって、変換行列を用いれば、それぞれの軸の回転角度を独立してまとめて補正することができる。
上述の通り、x軸回転角度ずれとy軸回転角度ずれは、動きベクトル(u、v、w)のu/wのx方向の分布から求めることができる。以下、より詳細に説明する。
u/w = a・x + b (5)
このときx=0での傾きbをy軸回転補正量として使用する場合、
φy = arctan(b) (6)
となる。
(FOEx - x) / FOEz = u / w = a・x + b
FOEx = (a・x + b)・FOEz + x
が得られる。この式にxに2点x1およびx2を代入してFOEzを求めると、
(a・x1 + b)・FOEz + x1 = (a・x2 + b)・FOEz + x2
FOEz = -1/a
となる。したがって、補正したいx軸回転角度φxは次のように書ける。
φx = -arctan(f / FOEz) = arctan(f・a) (7)
上述の通り、z軸回転角度ずれは、z方向の動きベクトルの大きさwのx方向の分布から求めることができる。以下、より詳細に説明する。
xに対し、x=0で線対称な2点であるx=fとx=−fを代入し、z軸回転したときの|w|が同じ長さに見えればよい。まず2点をそれぞれ計算すると下記のような座標になる。
(f, f, a・f + b)
(-f, f, -a・f + b)
この各点を次のようにz軸周りに回転させる。
y2 = y1・cos(φz) + x1・sin(φz)
z2 = z1
(a・f + b)/(f・cos(φz) + f・sin(φz))=(-a・f + b)/(f・cos(φz) - f・sin(φz))
(a・f + b)・(cos(φz) - sin(φz)) = (-a・f + b)・(cos(φz) + sin(φz))
-2・b・ sin(φz) = -2・a・f・cos(φz)
φz = arctan(a・f / b) (9)
動きベクトルの分布がx方向ではなくz方向に散らばっているとする場合、x軸回転補正は、z軸回転補正と同様に、長さを考慮した計算方法を用いてz方向のベクトルwの大きさのz方向の分布から求めることができる。この場合、x軸回転補正は式(9)に準じた計算処理で行い、y軸回転補正は上述した式(6)にもとづいて行ってもよい。
式(1)−(9)を用いることにより各軸の回転補正結果を得ることができるが、動きベクトルのばらつきを軽減するためには、次の条件の1つまたは複数を満たすように補正処理を行うことが好ましい。
次に、第1の方法(ルックアップテーブル16を更新しつつ動きベクトルを真上視点に近づけていく方法)について説明する。
次に、第2の方法(動きベクトルを射影変換することにより真上視点に近づけていく方法)について説明する。
図9は、本発明の第2実施形態に係る車載カメラ用画像補正方法を実施するための車載カメラ用画像補正装置10Aの一例を示すブロック図である。
11 車載カメラ
12 制御部
13 特徴路面検出部
14 画像メモリ
15 平面画像生成部
16 ルックアップテーブル
17 動きベクトル検出部
18 カメラ角度算出部
21 カメラ投影面
31 車両情報取得部
Claims (10)
- 車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の3軸の各軸周りに独立に回転補正させるための式であって、前記3軸のそれぞれの計算対象軸以外の軸の回転角度ずれが無く計算対象軸のみが回転角度ずれしているものとして前記3軸のそれぞれの回転角度を独立に求めて前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有し、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記3軸のそれぞれの計算対象軸以外の軸の回転角度ずれが無く計算対象軸のみが回転角度ずれしているものとして前記3軸のそれぞれの回転角度を独立に求めて得られた変換式を用いて前記検出された動きベクトルを変換し、変換後の動きベクトルにもとづいて前記ルックアップテーブルを更新し、更新後のルックアップテーブルを用いて平面画像を生成し、動きベクトルを検出することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記変換後の回転補正量が所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
車載カメラ用画像補正方法。 - 車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の3軸の各軸周りに独立に回転補正させるための式である前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有し、
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向の分布を無視した動きベクトルの分布から、路面法線方向軸周りの回転角度と、前記進行方向および前記路面法線方向に垂直な方向軸周りの回転角度と、を求めるステップを有する、
車載カメラ用画像補正方法。 - 車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の3軸の各軸周りに独立に回転補正させるための式である前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有し、
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向の分布を無視した動きベクトルの前記進行方向成分の大きさの分布から、進行方向軸周りの回転角度を求めるステップを有する、
車載カメラ用画像補正方法。 - 車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の3軸の各軸周りに独立に回転補正させるための式である前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有し、
前記カメラの前記車両に対する取り付け角度を求めるステップは、
前記動きベクトルの検出位置の前記車両の進行方向および路面法線方向に互いに直交する方向の分布を無視した動きベクトルの前記進行方向成分の大きさの分布から、路面法線方向軸周りの回転角度と、進行方向および前記路面法線方向に垂直な方向軸周りの回転角度を求めるステップを有する、
車載カメラ用画像補正方法。 - 車両に取り付けられたカメラが前記車両の周囲を撮像するステップと、
前記カメラにより撮像された画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを、真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の3軸の各軸周りに独立に回転補正させるための式である前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルへの変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を有し、
前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップであり、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記検出された動きベクトルが真上視点の動きベクトルに近づくように変換式を用いて射影変換することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、射影変換された動きベクトルの回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記射影変換された動きベクトルの回転補正量が前記所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
車載カメラ用画像補正方法。 - 前記動きベクトルを検出するステップは、
前記カメラにより撮像された画像内の路面画像が特徴点を含む路面画像であるか否かを判定するステップと、
前記路面画像が前記特徴点を含む路面画像であると判定されると、この特徴点を含む路面画像にもとづいて動きベクトルを検出するステップと、
を有する、
請求項1ないし5のいずれか1項に記載の車載カメラ用画像補正方法。 - 前記カメラにより撮像された画像を記憶部に複数フレーム格納するステップ、
をさらに有し、
前記特徴点を含む路面画像にもとづいて動きベクトルを検出するステップは、
前記路面画像が前記特徴点を含む路面画像であると判定されると、この判定から複数フレーム過去の画像を前記記憶部から取り出して、これらの過去の画像を用いて前記特徴点を含む路面画像にもとづいて動きベクトルを検出するステップである、
請求項6記載の車載カメラ用画像補正方法。 - 前記真上視点の動きベクトルへの変換式を作成するステップは、
前記繰り返すステップの繰り返しごとに、前記検出された動きベクトルのうち前記車両の進行方向成分の大きさが平均値から所定の範囲外に属するものを除いて変換を行うとともに、繰り返しごとに前記所定の範囲を狭める、
請求項1ないし7のいずれか1項に記載の車載カメラ用画像補正方法。 - 前記検出された動きベクトルにもとづいて前記車両の加速度が所定の加速度以下であるか否かを判定するステップと、
前記検出された動きベクトルにもとづいて前記車両の舵角が所定の舵角以下であるか否かを判定するステップと、
の少なくとも一方のステップをさらに有し、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記所定の加速度以下であると判定された後または前記所定の舵角以下であると判定された後に前記カメラにより撮像された画像内の路面画像にもとづいて検出された動きベクトルに対して、前記変換式を用いて真上視点の動きベクトルに変換するステップである、
請求項1ないし8のいずれか1項に記載の車載カメラ用画像補正方法。 - コンピュータに、
車両に取り付けられたカメラが撮像した前記車両の周囲の画像を取得するステップと、
前記カメラにより撮像された画像に対してルックアップテーブルを用いて平面画像を生成し、複数の前記平面画像内の路面画像にもとづいて動きベクトルを検出するステップと、
前記検出された動きベクトルを真上視点の動きベクトルとなるように前記車両の進行方向軸、路面法線方向軸ならびに前記進行方向軸および路面法線方向軸に直交する路面平行方向軸の3軸の各軸周りに独立に回転補正させるための式であって、前記3軸のそれぞれの計算対象軸以外の軸の回転角度ずれが無く計算対象軸のみが回転角度ずれしているものとして前記3軸のそれぞれの回転角度を独立に求めて前記真上視点の動きベクトルへの変換式を作成するステップと、
前記真上視点の動きベクトルの変換に用いられた前記変換式から前記カメラの前記車両に対する取り付け角度を求めるステップと、
を実行させるための車載カメラ用画像補正プログラムであって、
前記真上視点の動きベクトルへの変換式を作成するステップは、
前記3軸のそれぞれの計算対象軸以外の軸の回転角度ずれが無く計算対象軸のみが回転角度ずれしているものとして前記3軸のそれぞれの回転角度を独立に求めて得られた変換式を用いて前記検出された動きベクトルを変換し、変換後の動きベクトルにもとづいて前記ルックアップテーブルを更新し、更新後のルックアップテーブルを用いて平面画像を生成し、動きベクトルを検出することを繰り返すステップと、
前記繰り返すステップの繰り返しごとに、回転補正量が所定の補正量以下になったか否かを判定するステップと、
を有し、
前記取り付け角度を求めるステップは、
前記回転補正量が所定の補正量以下になったか否かを判定するステップにおいて前記変換後の回転補正量が所定の補正量以下になったと判定されると、この判定された真上視点の動きベクトルの変換に用いられた変換式から前記カメラの前記車両に対する取り付け角度を求めるステップである、
車載カメラ用画像補正プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209695A JP5864984B2 (ja) | 2011-09-26 | 2011-09-26 | 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209695A JP5864984B2 (ja) | 2011-09-26 | 2011-09-26 | 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013074325A JP2013074325A (ja) | 2013-04-22 |
JP5864984B2 true JP5864984B2 (ja) | 2016-02-17 |
Family
ID=48478502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011209695A Expired - Fee Related JP5864984B2 (ja) | 2011-09-26 | 2011-09-26 | 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5864984B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9800780B2 (en) | 2013-05-16 | 2017-10-24 | Sony Corporation | Image processing device, image processing method, and program to capture an image using fisheye lens |
KR102288399B1 (ko) * | 2014-10-30 | 2021-08-10 | 현대모비스 주식회사 | 차량 경보 장치 |
JP2017158142A (ja) * | 2016-03-04 | 2017-09-07 | 株式会社デンソー | キャリブレーション装置 |
JP7297595B2 (ja) * | 2019-08-23 | 2023-06-26 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
JP7256734B2 (ja) * | 2019-12-12 | 2023-04-12 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
JP4015051B2 (ja) * | 2002-04-22 | 2007-11-28 | 松下電器産業株式会社 | カメラ補正装置 |
JP2008203992A (ja) * | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
JP2009129001A (ja) * | 2007-11-20 | 2009-06-11 | Sanyo Electric Co Ltd | 運転支援システム、車両、立体物領域推定方法 |
US8373763B2 (en) * | 2008-05-22 | 2013-02-12 | GM Global Technology Operations LLC | Self calibration of extrinsic camera parameters for a vehicle camera |
JP2010245628A (ja) * | 2009-04-01 | 2010-10-28 | Mitsubishi Electric Corp | カメラ校正装置 |
-
2011
- 2011-09-26 JP JP2011209695A patent/JP5864984B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013074325A (ja) | 2013-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5864984B2 (ja) | 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム | |
JP6594039B2 (ja) | 画像処理装置、方法及びプログラム | |
WO2018196391A1 (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
JP4015051B2 (ja) | カメラ補正装置 | |
JP4958279B2 (ja) | 物体検出装置 | |
JP5729158B2 (ja) | 駐車支援装置および駐車支援方法 | |
US20110298988A1 (en) | Moving object detection apparatus and moving object detection method | |
JP2018523865A (ja) | 情報処理方法、デバイス、および端末 | |
JPWO2010146695A1 (ja) | 画像処理装置および画像処理方法 | |
KR20160119444A (ko) | 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 | |
JP2017100705A (ja) | ステレオカメラセンサを用いた車両用の予測的サスペンション制御 | |
JP5612915B2 (ja) | 移動体検出装置及び移動体検出方法 | |
JP2009290645A (ja) | 車載装置 | |
WO2017216998A1 (ja) | 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム | |
JP2013129264A (ja) | 車載カメラのキャリブレーション方法及び車載カメラのキャリブレーション装置 | |
JP2018092596A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム | |
JP6536529B2 (ja) | 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 | |
JP5588332B2 (ja) | 車両用画像処理装置および車両用画像処理方法 | |
JP2005318568A (ja) | 画像補正装置、および画像補正方法 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP2012123751A (ja) | 車両用画像処理装置および車両用画像処理方法 | |
JP4026641B2 (ja) | 物体検出装置、および物体検出方法 | |
JP2005170290A (ja) | 障害物検出装置 | |
EP3709265A1 (en) | Road surface area detection device | |
JP5330341B2 (ja) | 車載カメラを用いた測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5864984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |