JP5833887B2 - 自車移動推定方法および自車移動推定プログラム - Google Patents
自車移動推定方法および自車移動推定プログラム Download PDFInfo
- Publication number
- JP5833887B2 JP5833887B2 JP2011236394A JP2011236394A JP5833887B2 JP 5833887 B2 JP5833887 B2 JP 5833887B2 JP 2011236394 A JP2011236394 A JP 2011236394A JP 2011236394 A JP2011236394 A JP 2011236394A JP 5833887 B2 JP5833887 B2 JP 5833887B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- vector
- image
- movement
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
wu = -(x・y / f)・Rx + ((f・f + x・x) / f)・Ry - y・Rz
wv = -((f・f + y・y) / f)・Rx + (x・y / f )・Ry + x・Rz
tu = (f・Tx - x・Tz) / z
tv = (f・Ty - y・Tz) / z
cu = tu + wu
cv = tv + wv
z = (Dgnd・f / cos(θgnd)) / (y - FOEy) (zはZmaxで制限)
θgnd = atan(FOEy / f)
(pu、pv)と(tu + wu、tv + wv)
(pu - wu、pv - wv)と(tu、tv)
s1 = ThS・|R|・|T| / (|Rs|・|Ts|)
(s1がThSより小さい場合はs1 = ThS)
|R|:自車移動パラメータの回転成分の大きさ
|T|:自車移動パラメータの並進成分の大きさ
|Rs|:大きいとする自車移動パラメータの回転成分の大きさ
|Ts|:大きいとする自車移動パラメータの並進成分の大きさ
s2 = s1・(√(f・f + x・x + y・y)) / f
s3 = s2・Zmax / z
Rlx = Rz
Rly = Ry
Rlz = -Rx
Tlx = Tz
Tly = Ty
Tlz = -Tx
Rrx = -Rz
Rry = Ry
Rrz = Rx
Trx = -Tz
Try = Ty
Trz = Tx
z = (Dgnd・f / cos(θgnd)) / (y - FOEy・x / f) (zはZmaxで制限)
θgnd = atan(FOEy / f)
z = (Dgnd・f / cos(θgnd)) / (y + FOEy・x / f) (zはZmaxで制限)
θgnd = atan(FOEy / f)
FOEx = 0
FOEy = 一定(キャリブレーション必須)
Rx = 0
Ry = 可変(計算する対象)
Rz = (-FOEy / f)・Ry
Tx = 0
Ty = (FOEy / f)・Tz
Tz = 可変(計算する対象)
Rx = (-FOEx / f)・Ry
Tx = (FOEx / f)・Tz
Ans = (1 / n)・Σ((√(X・X + Y・Y))・(f / F)・(z / Zmax))
X = u - wu
Y = v - wv
F = √(f・f + x・x + y・y)
wu = -(x・y / f)・Rx + ((f・f + x・x) / f)・Ry - y・Rz
wv = -((f・f + y・y) / f)・Rx + (x・y / f)・Ry + x・Rz
上記により得られた結果によっては、ほとんど動かない場合や動きすぎる場合がある。このため、最大最小制限を入れる。次に、それぞれの自車移動パラメータに固有の比例定数をかけて、それを制限とする。また、最初にキャリブレーションするなどして初期値がある程度信用できる場合は、初期値側(止まっている側)への変化量の制限を、2倍ゆるくするなどで緩和して、初期値側へ行きやすくしてもよい。
θfl = (1 / n)・Σacos(x / f) (= 90°〜135°)
Ufr = (1 / n)・Σ(u・(f / √(f・f + x・x))・(z / Zmax))
θfr = (1 / n)・Σacos(x / f) (= 45°〜90°)
Usl = (1 / n)・Σ(u・(f / √(f・f + x・x))・(z / Zmax))
θsl = 180°- (1 / n)・Σasin(x / f) (= 135°〜180°)
Usr = (1 / n)・Σ(u・(f / √(f・f + x・x))・(z / Zmax))
θsr = -(1 / n)・Σasin(x / f) (= 0°〜45°)
f・Tz / Zmax = -(Ufl - Uro) / cos(θfl)
f・Tz / Zmax = -(Ufr - Uro) / cos(θfr)
f・Tz / Zmax = -(Usl - Uro) / cos(θsl)
f・Tz / Zmax = -(Usr - Uro) / cos(θsr)
Ry = Uro / f
θsr = 45°/ 2
θfr =θsr + 45°
θfl =θfr + 45°
θsl =θfl + 45°
Ry = Uro / f
Ufl = Ufl - Uro
Ufr = Ufr - Uro
Usl = Usl - Uro
Usr = Usr - Uro
Ufl ≒ -Ufr
Usl ≒ -Usr
Usl / cos(θ) ≒ Ufl / cos(90°-θ)
→Usl ≒ Ufl / tan(θ)
Usl / cos(θ) = f・Tz / Zmax
→Tz = Zmax・Usl / (f・cos(θ))
Tz = Zmax・((Usl-Usr)/2) / (f・cos(θ))
Tz = Zmax・((Usl-Usr+(Ufl-Ufr)/tan(θ))/4) / (f・cos(θ))
Tz = Zmax・Usl / (f・cos(θ))
Tz = -Zmax・Usr / (f・cos(θ))
Ufl - Uro ≒ -(Ufr - Uro)
Usl - Uro ≒ -(Usr - Uro)
Usl - Uro ≒ (Ufl - Uro) / tan(θ)
Rx = (-FOEx / f)・Ry
Rz = (-FOEy / f)・Ry
Tx = (FOEx / f)・Tz
Ty = (FOEy / f)・Tz
Rz = (-FOEy / f)・Ry
Ry = Rz / (-FOEy / f)
FOEy = -f・Rz / Ry
Ty = (FOEy / f)・Tz
Rx = (-FOEx / f)・Ry
Tx = (FOEx / f)・Tz
画面方向へ前進中 Tz = -A・|Ry|
画面方向から後進中 Tz = A・|Ry|
B = A・|Tz|
B = A・|Tz|
画面方向へ前進中 Tz < A
画面方向から後進中 Tz > -A
Aは小さい正の値となる。
Rx = 0
Ry = 0
Rz = 0
Tz = A
Tx = (FOEx / f)・Tz
Ty = (FOEy / f)・Tz
Rx = (-FOEx / f)・Ry
Rz = (-FOEy / f)・Ry
Tx = (FOEx / f)・Tz
Ty = (FOEy / f)・Tz
wu = -(x・y / f)・Rx + ((f・f + x・x) / f)・Ry - y・Rz
wv = -((f・f + y・y) / f)・Rx + (x・y / f )・Ry + x・Rz
tu = (f・Tx - x・Tz) / z
tv = (f・Ty - y・Tz) / z
Axr = -FOEy / f
Axt = FOEy / f
ΔRx = Axr・ΔRy
ΔTx = Axt・ΔTz
Ayr = -FOEy / f
Ayt = FOEy / f
ΔRz = Ayr・ΔRy
ΔTy = Ayt・ΔTz
Δwu = (-(x・y / f) ・Axr + (f・f + x・x) / f - y・Ayr)・ΔRy
Δwv = (-((f・f + y・y) / f) ・Axr + x・y / f + x・Ayr)・ΔRy
Δtu = (f・Axt - x)・ΔTz / z
Δtv = (f・Ayt - y)・ΔTz / z
u - (wu + Δwu) = tu + Δtu
v - (wv + Δwv) = tv + Δtv
v - wv = tv
→v - (-((f・f + y・y) / f) ・Axr + x・y / f + x・Ayr)・Ry= (f・Ayt - y)・(Tz + ΔTz) / z
→ΔTz = (v - (-((f・f + y・y) / f) ・Axr + x・y / f + x・Ayr)・Ry)・z / (f・Ayt - y) - Tz
u - wu = tu
→u - (-(x・y / f) ・Axr + (f・f + x・x) / f - y・Ayr)・(Ry + ΔRy) = (f・Axt - x)・(Tz + ΔTz) / z
→ΔRy = (u - (f・Axt - x)・(Tz + ΔTz) / z) / (-(x・y / f) ・Axr + (f・f + x・x) / f - y・Ayr) - Ry
11 カメラ
12 主制御部
13 記憶部
21 平面画像生成部
22 動きベクトル検出部
23 背景ベクトル検出部
24 自車移動算出部
25 物体ベクトル処理部
Claims (10)
- 車両に設けられたカメラが所定のフレーム周期で前記車両の周囲を撮像するステップと、
前記カメラにより撮像された複数の画像間の動きベクトルを検出するステップと、
検出された動きベクトルから自車の移動パラメータを求めるステップと、
前記自車の移動パラメータを求める際に利用された前記複数の画像の撮像の後に前記カメラにより撮像された新たな画像を用いて新たに動きベクトルを検出するステップと、
前記新たな画像を用いて前記新たに検出された動きベクトルのうち、前記複数の画像を利用して求められた前記自車の移動パラメータに対応する自車の移動ベクトルとの比較で所定の閾値以内であるものを背景ベクトルとして検出するステップと、
この背景ベクトルを用いて新たに自車の移動パラメータを求めるステップと、
を有する自車移動推定方法。 - 前記自車の移動パラメータに対応する自車の移動ベクトルは、
前記車両から所定の距離離れた位置としてもしくは路面上として求められる、
請求項1記載の自車移動推定方法。 - 前記車両の周囲を撮像するステップは、
前記車両に設けられた魚眼カメラが所定のフレーム周期で前記車両の正面画像、左画像および右画像を含む魚眼画像を撮像するステップであり、
前記検出された動きベクトルから自車の移動パラメータを求めるステップは、
前記魚眼画像に含まれる前記正面画像、左画像および右画像のそれぞれから前記自車の移動パラメータを求めるステップであり、
前記背景ベクトルとして検出するステップは、
前記正面画像、左画像および右画像のそれぞれから前記背景ベクトルを検出するステップであり、
前記新たに自車の移動パラメータを求めるステップは、
前記正面画像、左画像および右画像のそれぞれから検出された前記背景ベクトルから自車の移動パラメータを求め、この前記正面画像、左画像および前記右画像のそれぞれから求められた自車の移動パラメータにもとづいて新たに自車の移動パラメータを求めるステップである、
請求項1または2に記載の自車移動推定方法。 - 前記新たに自車の移動パラメータを求めるステップは、
前記背景ベクトルのうち、全ての前記背景ベクトルの平均から所定の範囲内にある背景ベクトルを用いて新たに自車の移動パラメータを求めるステップである、
請求項1ないし3のいずれか1項に記載の自車移動推定方法。 - 前記車両の周囲の画像を複数に分割し、分割領域ごとに前記背景ベクトルを検出するステップと、
前記分割領域ごとに検出された前記背景ベクトルにもとづいて前記自車の移動パラメータのうち並進成分の前記車両の進行方向成分および前記自車の移動パラメータのうち回転成分の路面法線方向軸周り成分を求める仮パラメータ算出ステップと、
前記並進成分の前記車両の進行方向成分および前記回転成分の路面法線方向軸周り成分の値が前記仮パラメータ算出ステップで求められた値からそれぞれ所定の値以内となるよう、前記新たに求められた自車の移動パラメータを制限するステップと、
をさらに有する、
請求項1ないし4のいずれか1項に記載の自車移動推定方法。 - 前記車両の挙動上の制限を用いて前記新たに求められた自車の移動パラメータを制限するステップ、
をさらに有する、
請求項1ないし5のいずれか1項に記載の自車移動推定方法。 - 前記車両の周囲の画像のうち下側の画像領域に含まれる前記車両近傍の画像から車両近傍路面の動きベクトルを取得するステップと、
前記車両近傍路面の動きベクトルを用いて前記新たに求められた自車の移動パラメータを補正するステップと、
をさらに有する、
請求項1ないし6のいずれか1項に記載の自車移動推定方法。 - 前記車両近傍路面の動きベクトルを用いて前記新たに求められた自車の移動パラメータを補正するステップを実行した後に新たに検出された動きベクトルのうち、前記補正後の自車の移動パラメータに対応する自車の移動ベクトルとの比較で前記所定の閾値よりも小さい差以内であるものを背景ベクトルとして検出するステップ、
をさらに有する、
請求項7記載の自車移動推定方法。 - 前記車両の複数個所に設けられた複数のカメラのそれぞれにより、互いに異なる前記車両の周囲画像が撮像されるステップ、
をさらに有し、
前記複数のカメラのそれぞれに撮像された画像にもとづいて得られる複数の自車の移動パラメータの1つを前記新たに求められた自車の移動パラメータとする、
請求項1ないし8のいずれか1項に記載の自車移動推定方法。 - コンピュータに、
車両に設けられたカメラが所定のフレーム周期で撮像した前記車両の周囲の画像を取得するステップと、
前記カメラにより撮像された複数の画像間の動きベクトルを検出するステップと、
検出された動きベクトルから自車の移動パラメータを求めるステップと、
前記自車の移動パラメータを求める際に利用された前記複数の画像の撮像後に前記カメラにより撮像された新たな画像を用いて新たに動きベクトルを検出するステップと、
前記新たな画像を用いて前記新たに検出された動きベクトルのうち、前記複数の画像を利用して求められた前記自車の移動パラメータに対応する自車の移動ベクトルとの比較で所定の閾値以内であるものを背景ベクトルとして検出するステップと、
この背景ベクトルを用いて新たに自車の移動パラメータを求めるステップと、
を実行させるための自車移動推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011236394A JP5833887B2 (ja) | 2011-10-27 | 2011-10-27 | 自車移動推定方法および自車移動推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011236394A JP5833887B2 (ja) | 2011-10-27 | 2011-10-27 | 自車移動推定方法および自車移動推定プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013097390A JP2013097390A (ja) | 2013-05-20 |
JP2013097390A5 JP2013097390A5 (ja) | 2014-11-27 |
JP5833887B2 true JP5833887B2 (ja) | 2015-12-16 |
Family
ID=48619315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011236394A Expired - Fee Related JP5833887B2 (ja) | 2011-10-27 | 2011-10-27 | 自車移動推定方法および自車移動推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5833887B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107123128A (zh) * | 2017-04-24 | 2017-09-01 | 南京邮电大学 | 一种保证准确性的车辆运动状态估计方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160075135A (ko) | 2014-12-19 | 2016-06-29 | 현대모비스 주식회사 | 자동차 물체인식 시스템 및 그 동작방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4893212B2 (ja) * | 2006-10-04 | 2012-03-07 | トヨタ自動車株式会社 | 周辺監視装置 |
US8098889B2 (en) * | 2007-01-18 | 2012-01-17 | Siemens Corporation | System and method for vehicle detection and tracking |
JP2008203992A (ja) * | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
JP2010002985A (ja) * | 2008-06-18 | 2010-01-07 | Alpine Electronics Inc | 動きベクトル算出装置、障害物検出装置および動きベクトル算出方法 |
JP5388059B2 (ja) * | 2009-07-02 | 2014-01-15 | 国立大学法人九州工業大学 | 背景画像推定に基づく物体検出方法及び物体検出装置 |
-
2011
- 2011-10-27 JP JP2011236394A patent/JP5833887B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107123128A (zh) * | 2017-04-24 | 2017-09-01 | 南京邮电大学 | 一种保证准确性的车辆运动状态估计方法 |
CN107123128B (zh) * | 2017-04-24 | 2019-07-16 | 南京邮电大学 | 一种保证准确性的车辆运动状态估计方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2013097390A (ja) | 2013-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7038345B2 (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
JP5108605B2 (ja) | 運転支援システム及び車両 | |
KR102240197B1 (ko) | 사발형 이미징 시스템에서의 물체 추적 | |
JP4970926B2 (ja) | 車両周辺監視装置 | |
JP5083841B2 (ja) | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 | |
US20090015675A1 (en) | Driving Support System And Vehicle | |
US11233983B2 (en) | Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium | |
JP2009290645A (ja) | 車載装置 | |
US20200286244A1 (en) | Image processing method and apparatus | |
EP2922045A1 (en) | Detection device, method, and program | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP6803570B2 (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム | |
JP6151535B2 (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
CN110651295A (zh) | 图像处理设备、图像处理方法和程序 | |
US20160037154A1 (en) | Image processing system and method | |
JP5173551B2 (ja) | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 | |
JP5833887B2 (ja) | 自車移動推定方法および自車移動推定プログラム | |
JP5695405B2 (ja) | 車両用画像処理装置および車両用画像処理方法 | |
US9280826B2 (en) | Distance determination using a monoscopic imager in a vehicle | |
CN111260538B (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
KR102479253B1 (ko) | 차량용 카메라 영상 기반 공차 보정 방법 | |
JP2021051348A (ja) | 物体距離推定装置及び物体距離推定方法 | |
JP5827561B2 (ja) | 立体物判定装置 | |
JP2017224228A (ja) | 制御装置、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141008 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5833887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |