JP6865660B2 - 距離算出装置および距離算出パラメータの設定方法 - Google Patents
距離算出装置および距離算出パラメータの設定方法 Download PDFInfo
- Publication number
- JP6865660B2 JP6865660B2 JP2017173771A JP2017173771A JP6865660B2 JP 6865660 B2 JP6865660 B2 JP 6865660B2 JP 2017173771 A JP2017173771 A JP 2017173771A JP 2017173771 A JP2017173771 A JP 2017173771A JP 6865660 B2 JP6865660 B2 JP 6865660B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- camera
- stereo camera
- detection
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
上記ステレオカメラは、車両の進行方向の路面の基準画像を取得する第1のカメラと、上記路面の参照画像を取得する第2のカメラとを有する。
上記メモリは、水平距離が既知である検出基準点の水平方向の視差と、上記基準画像における上記検出基準点の位置と、上記第1及び第2のカメラの光軸間距離と、水平方向に対する上記ステレオカメラの設置角度とに関する情報に基づいて予め設定された基準パラメータを記憶する。
上記演算処理回路は、上記基準パラメータを用いて、上記ステレオカメラと上記路面上の検出対象点までの水平距離を算出する。
BF値={d0L0+Bsinθc(x2+y2)1/2}/cosθc
の関係式を用いることができる。
これにより、ステレオカメラの焦点距離や画素サイズ等を演算パラメータを用いることなく、検出対象点までの水平距離を算出することができる。
上記ステレオカメラにおける第1のカメラで取得された基準画像と、上記ステレオカメラにおける第2のカメラで取得された参照画像とに基づいて、上記検出基準点の水平方向の視差が算出される。
上記ステレオカメラから上記検出基準点までの水平距離と、上記視差と、上記基準画像における上記検出基準点の位置と、上記第1及び第2のカメラの光軸間距離と、水平方向に対する上記ステレオカメラの設置角度とに関する情報に基づいて、上記ステレオカメラにより撮像される検出対象点までの水平距離を算出するための基準パラメータが設定される。
本実施形態は、ステレオカメラによって撮影された複数の画像を用いて、車両前方の路面上の検出対象点までの距離を算出する距離算出装置および距離算出方法、並びに、ステレオカメラを用いた距離計測システムにおける距離算出パラメータの設定方法に関するものである。
D1=(B・f)/|x1−x2|
なお、撮像素子101は、典型的には、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子で構成される。
L=D1・cosθ
により算出される。
また、検出対象点Kの高さh[m]は、
h=H−D1・sinθ …(1)
により算出される。
ここで、Hは、カメラ10R,10Lの光軸11R,11Lの路面Rからの高さ[m]である。
D1=(Dx2+Dy2+Dy3)1/2 …(2)
Dx=B・x/d …(3)
Dy=B・y/d …(4)
Dz=B・f/(d・ΔCCD) …(5)
ここで、x、yは、ステレオカメラ10の画像上での検出対象点Kの座標位置である。
θ=cos−1(Dz/D1) …(6)
L=D1cos(θ+θc) …(7)
(7)式を用いることで、ステレオカメラ10の傾きを考慮して検出対象点Kまでの水平距離Lを算出することができる。
BF値=B・f/ΔCCD …(8)
本実施形態の距離算出パラメータの設定方法は、ステレオカメラを用いた距離算出装置の距離算出パラメータの設定方法であって、以下のステップを有する。
まず、水平距離(L0)が既知である検出基準点がステレオカメラ10で撮像される。
続いて、第1のカメラ10Lで取得された基準画像13Lと、第2のカメラ10Rで取得された参照画像13Rとに基づいて、検出基準点P1の水平方向の視差(d0)が算出される。
続いて、ステレオカメラ10から検出基準点P1までの水平距離(L0)と、上述のようにして算出された視差(d0)と、基準画像13Lにおける検出基準点P1の位置(x,y)と、カメラ間距離(B)と、水平方向に対するステレオカメラ10の設置角度(θc)とに関する情報に基づいて、ステレオカメラ10により撮像される検出対象点までの水平距離L(図3参照)を算出するための基準パラメータ(BF値)を設定する。
なお、(8)式の導出方法については後述する。
続いて、上述した(9)式の導出方法について説明する。
(7)式におけるcos(θ+θc)は、加法定理により以下のように示される。
cos(θ+θc)=cosθ・cosθc−sinθ・sinθc …(10)
(6)式より、
cosθ=cos{cos−1(Dz/D1)}=Dz/D1 …(11)
同様に、(6)式より、
sinθ=sin{cos−1(Dz/D1)}={1−(Dz/D1)2}1/2 …(12)
(7)、(10)〜(12)式より、
L0=D1[(Dz/D1)cosθc−{1−(Dz/D1)2}1/2sinθc]
したがって、
L0=Dz cosθc−(D12−Dz2)1/2sinθc …(13)
(2)式より、
(D12−Dz2)1/2=(Dx2+Dy2+Dz2−Dz2)1/2=(Dx2+Dy2)1/2
これを(13)式に代入して、
L0=Dz cosθc−(Dx2+Dy2)1/2sinθc …(14)
一方、(3)および(4)式より、
(Dx2+Dy2)1/2={(Bx/d 0)2+(By/d 0)2}1/2
={(B/d 0)2(x2+y2)}1/2
したがって、
(Dx2+Dy2)1/2=(B/d 0)(x2+y2)1/2 …(15)
(14)式に(15)式を代入して、
L0=Dz cosθc−(B/d 0)(x2+y2)1/2sinθc …(16)
(5)および(8)式より、
Dz=B・f/(d 0・ΔCCD)=BF値/d 0
これを(16)式に代入して、
L0=(BF値/d 0)cosθc−(B/d 0)(x2+y2)1/2sinθc
したがって、
BF値={d 0・L0+B sinθc(x2+y2)1/2}/cosθc
となり、(9)式が導かれる。
続いて、本実施形態の距離算出装置について説明する。
同図に示すように、本実施形態の距離算出装置100は、ステレオカメラ10と、演算処理回路20と、メモリ30とを備える。なお、メモリ30は、演算処理回路20内に設けられてもよい。
続いて、距離算出装置100の典型的な動作について説明する。図6は、距離算出装置100(演算処理回路20)による路面変位検出の手順を示すフローチャートである。
さらに演算処理回路20は、基準パラメータ(BF値)、(1)および(2)式を用いて、検出対象点Kの高さ(路面変位h)に関する情報が生成される(S105)。
20…演算処理回路
30…メモリ
100…距離算出装置
Claims (3)
- 車両の進行方向の路面の基準画像を取得する第1のカメラと、前記路面の参照画像を取得する第2のカメラとを有するステレオカメラと、
水平距離が既知である検出基準点の水平方向の視差と、前記基準画像における前記検出基準点の位置と、前記第1及び第2のカメラの光軸間距離と、水平方向に対する前記ステレオカメラの設置角度とに関する情報に基づいて予め設定された基準パラメータを記憶するメモリと、
前記基準パラメータを用いて、前記ステレオカメラと前記路面上の検出対象点までの水平距離を算出する演算処理回路と
を具備し、
前記ステレオカメラから前記検出基準点までの水平距離をL 0 [m]、前記検出基準点の水平方向の視差をd 0 [pixel]、前記基準画像における前記検出基準点の画素座標を(x,y)、前記光軸間距離をB[mm]、前記ステレオカメラの設置角度をθc[deg]、前記基準パラメータをBF値としたとき、前記基準パラメータは、
BF値={d 0 L 0 +Bsinθc(x 2 +y 2 ) 1/2 }/cosθc
の関係を満たす
距離算出装置。 - 請求項1に記載の距離算出装置であって、
前記演算処理回路は、前記基準パラメータを用いて、前記検出対象点の高さをさらに算出する
距離算出装置。 - ステレオカメラを用いた距離算出装置の距離算出パラメータの設定方法であって、
水平距離が既知である検出基準点を前記ステレオカメラで撮像し、
前記ステレオカメラにおける第1のカメラで取得された基準画像と、前記ステレオカメラにおける第2のカメラで取得された参照画像とに基づいて、前記検出基準点の水平方向の視差を算出し、
前記ステレオカメラから前記検出基準点までの水平距離をL 0 [m]、前記視差をd 0 [pixel]、前記基準画像における前記検出基準点の画素座標を(x,y)、前記第1及び第2のカメラの光軸間距離をB[mm]、水平方向に対する前記ステレオカメラの設置角度をθc[deg]としたとき、前記ステレオカメラにより撮像される検出対象点までの水平距離を算出するための基準パラメータであるBF値を
BF値={d 0 L 0 +Bsinθc(x 2 +y 2 ) 1/2 }/cosθc
の式で算出する
距離算出パラメータの設定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173771A JP6865660B2 (ja) | 2017-09-11 | 2017-09-11 | 距離算出装置および距離算出パラメータの設定方法 |
PCT/JP2018/031627 WO2019049708A1 (ja) | 2017-09-11 | 2018-08-28 | 距離算出装置および距離算出パラメータの設定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173771A JP6865660B2 (ja) | 2017-09-11 | 2017-09-11 | 距離算出装置および距離算出パラメータの設定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019049468A JP2019049468A (ja) | 2019-03-28 |
JP6865660B2 true JP6865660B2 (ja) | 2021-04-28 |
Family
ID=65634874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017173771A Active JP6865660B2 (ja) | 2017-09-11 | 2017-09-11 | 距離算出装置および距離算出パラメータの設定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6865660B2 (ja) |
WO (1) | WO2019049708A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3223863B2 (ja) * | 1997-01-09 | 2001-10-29 | 富士電機株式会社 | 測距装置 |
JP4106163B2 (ja) * | 1999-09-27 | 2008-06-25 | 株式会社東芝 | 障害物検出装置及びその方法 |
JP4172684B2 (ja) * | 2002-04-12 | 2008-10-29 | 富士重工業株式会社 | 画像補正装置および画像補正方法 |
JP4032052B2 (ja) * | 2004-11-30 | 2008-01-16 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
JP6044868B2 (ja) * | 2012-06-26 | 2016-12-14 | 株式会社リコー | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 |
-
2017
- 2017-09-11 JP JP2017173771A patent/JP6865660B2/ja active Active
-
2018
- 2018-08-28 WO PCT/JP2018/031627 patent/WO2019049708A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2019049468A (ja) | 2019-03-28 |
WO2019049708A1 (ja) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6577661B2 (ja) | 路面変位検出装置およびサスペンション制御方法 | |
JP6209648B1 (ja) | ステレオカメラの設置パラメータ校正方法 | |
JP5434608B2 (ja) | 測位装置及び測位方法 | |
JP6895371B2 (ja) | 情報処理装置及びサスペンション制御方法 | |
US20190139177A1 (en) | Device for detecting road surface state | |
JP6455164B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6396729B2 (ja) | 立体物検出装置 | |
WO2017042998A1 (ja) | 車載用ステレオカメラ装置、およびその補正方法 | |
JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
JP6865660B2 (ja) | 距離算出装置および距離算出パラメータの設定方法 | |
JP3599255B2 (ja) | 車両用環境認識装置 | |
JP7311407B2 (ja) | 姿勢推定装置、および、姿勢推定方法 | |
JP7009209B2 (ja) | カメラずれ検出装置、カメラずれ検出方法および異常検出装置 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
WO2015182771A1 (ja) | 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム | |
JP6699902B2 (ja) | 画像処理装置及び画像処理方法 | |
US11599971B2 (en) | Image processing device | |
JP7457574B2 (ja) | 画像処理装置 | |
JP2014238558A (ja) | 撮像装置及び視差検出方法 | |
EP3051494B1 (en) | Method for determining an image depth value depending on an image region, camera system and motor vehicle | |
JP2020042716A (ja) | 異常検出装置および異常検出方法 | |
JP6515547B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム | |
WO2023067867A1 (ja) | 車載制御装置、および、3次元情報取得方法 | |
JP7236352B2 (ja) | 姿勢推定装置、および、姿勢推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201021 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210301 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210308 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6865660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |