JP7145770B2 - 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム - Google Patents
車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム Download PDFInfo
- Publication number
- JP7145770B2 JP7145770B2 JP2019010808A JP2019010808A JP7145770B2 JP 7145770 B2 JP7145770 B2 JP 7145770B2 JP 2019010808 A JP2019010808 A JP 2019010808A JP 2019010808 A JP2019010808 A JP 2019010808A JP 7145770 B2 JP7145770 B2 JP 7145770B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- inter
- error
- camera
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Description
(第1の実施の形態)
[車間距離測定装置の構成]
図1は、第1の実施の形態の車間距離測定装置1の構成を示す図である。車間距離測定装置1は、車両に搭載されたカメラ10と、車両の現在位置を検出して位置情報を取得するGPS/IMU11と、カメラ10にて撮影した画像とGPS/IMU11からの位置情報とに基づいて先行車両までの車間距離を推定する距離算出部12と、距離算出部12にて推定した車間距離の誤差のスケールを算出する誤差スケール算出部13と、誤差スケールの算出に用いられる誤差モデルを記憶した誤差モデル記憶部14と、求めた車間距離および誤差のスケールを出力する出力部15とを備えている。カメラ10は、例えば、CCDカメラ10である。
図6は、本実施の形態の車間距離測定装置の動作を示すフローチャートである。
車間距離測定装置1は、カメラ10にて進行方向の画像を撮影し、その画像を距離算出部12に入力する(S10)。同時に、車間距離測定部は、GPS/IMU11にて自車両の位置情報を取得し、距離算出部12に入力する(S11)。
図8は、車間距離測定装置1で用いる誤差モデルを生成する誤差モデル生成装置20の構成を示す図である。まず、誤差モデル生成装置20の概要について説明する。図9は、車間距離Dを求める際に用いる主なセンサ値を示す図である。自車両の位置(X,Y,Z)と、カメラ10のピッチ角φと、画像に映る先行車両の下端の位置座標yがある。なお、fは焦点距離、Hはカメラ10の高さである。
図11は、第2の実施の形態の車間距離測定装置2の構成を示す図である。第2の実施の形態の基本的な構成は、第1の実施の形態の車間距離測定装置1と同じであり、車間距離とその誤差スケールを求める。第2の実施の形態の車間距離測定装置2による車間距離の測定の仕方は第1の実施の形態の車間距離測定装置1と同じである。第2の実施の形態の車間距離測定装置2では、誤差スケール算出部16が誤差スケール算出式を用いて誤差のスケールを算出する点が異なる。
第3の実施の形態では、カメラで撮影した画像から車間距離を推定する装置で用いられる学習モデルを生成する学習モデル生成装置3について説明する。学習モデルを生成するためには、教師データとして、カメラ画像とそのカメラ画像に映る先行車両までの車間距離の正解データのセットが必要であるが、一般的に、大量の教師データを準備することは容易なことではない。第3の実施の形態の学習モデル生成装置3では、道路を走行した際に前方を撮影した映像と当該映像の各フレームに対応する自車両の位置情報とを用いて、学習モデルを生成する。
3 学習モデル生成装置
10 カメラ
11 GPS/IMU
12 距離算出部
13,16 誤差スケール算出部
14,17 誤差モデル記憶部
15 出力部
20 誤差モデル生成装置
21 道路構造情報入力部
22 シミュレーション部
23 車両配置部
24 真値計算部
25 誤差設定部
26 距離算出部
27 誤差スケール算出部
28 誤差解析部
29 誤差モデル記憶部
30 入力部
31 距離算出部
32 誤差スケール算出部
33 誤差モデル記憶部
34 モデル生成部
35 学習モデル記憶部
Claims (13)
- 車両に搭載されたカメラと、
前記車両の位置情報を検出する位置情報検出部と、
前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部と、
前記誤差モデル記憶部に記憶された誤差のスケールのモデルを参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出する誤差スケール算出部と、
前記車間距離および誤差のスケールを出力する出力部と、
を備える車間距離測定装置。 - 前記誤差モデル記憶部には、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに、前記車間距離の誤差のスケールを関連付けたルックアップテーブルの形式で、前記誤差のスケールのモデルが記憶されている請求項1に記載の車間距離測定装置。
- 車両に搭載されたカメラと、
前記車両の位置情報を検出する位置情報検出部と、
前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出する誤差スケール算出部と、
前記車間距離および誤差のスケールを出力する出力部と、
を備える車間距離測定装置。 - 車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルの生成装置であって、
道路の構造情報を入力する道路構造情報入力部と、
前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するシミュレーション部と、
前記カメラの光学中心から先行車両の下端までの前記画像内での長さと前記カメラのピッチ角の変位とを変数として、前記車間距離の誤差のスケールを解析する誤差解析部と、
を備える誤差モデル生成装置。 - カメラにて撮影した画像から車間距離を推定する学習モデルを生成する生成装置であって、
先行車両が映る映像と当該映像の各フレームに対応する車両の位置情報を入力する入力部と、
前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系における前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部と、
前記誤差モデル記憶部に記憶された誤差のスケールのモデルを参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出する誤差スケール算出部と、
複数の前記画像について求めた車間距離および誤差のスケールを教師データとして、画像から車間距離を求める学習モデルを生成するモデル生成部と、
を備える学習モデル生成装置。 - カメラにて撮影した画像から車間距離を推定する学習モデルを生成する生成装置であって、
先行車両が映る映像と当該映像の各フレームに対応する車両の位置情報を入力する入力部と、
前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系における前記カメラの光学中心と前記下端とを結ぶ直線を求め、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める距離算出部と、
前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出する誤差スケール算出部と、
複数の前記画像について求めた車間距離および誤差のスケールを教師データとして、画像から車間距離を求める学習モデルを生成するモデル生成部と、
を備える学習モデル生成装置。 - 前記モデル生成部は、前記誤差のスケールが大きいほど、損失関数に与える影響を小さくして学習を行う請求項5または6に記載の学習モデル生成装置。
- 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定する方法であって、
車間距離測定装置に前記カメラにて撮影された画像を入力するステップと、
前記車間距離測定装置に前記車両の位置情報を検出するステップと、
前記車間距離測定装置が、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
前記車間距離測定装置が、前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部を参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出するステップと、
前記車間距離測定装置が、前記車間距離および誤差のスケールを出力するステップと、
を備える車間距離測定方法。 - 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定する方法であって、
車間距離測定装置に前記カメラにて撮影された画像を入力するステップと、
前記車間距離測定装置に前記車両の位置情報を検出するステップと、
前記車間距離測定装置が、前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
前記車間距離測定装置が、前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出するステップと、
前記車間距離測定装置が、前記車間距離および誤差のスケールを出力するステップと、
を備える車間距離測定方法。 - 車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルの生成方法であって、
誤差モデル生成装置に道路の構造情報を入力するステップと、
前記誤差モデル生成装置が、前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するステップと、
前記誤差モデル生成装置が、前記カメラのピッチ角の変位と前記カメラの光学中心から先行車両の下端までの前記画像内での長さを変数として、前記車間距離の誤差のスケールを解析するステップと、
を備える誤差モデル生成方法。 - 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定するためのプログラムであって、コンピュータに、
前記カメラにて撮影された画像を入力するステップと、
前記車両の位置情報を入力するステップと、
前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
前記カメラの光学中心から先行車両の下端までの前記画像内での長さと、前記第1の位置と前記第2の位置との間での前記カメラのピッチ角の変位とを変数とする誤差のスケールのモデルを記憶した誤差モデル記憶部を参照し、前記カメラの光学中心から先行車両の下端までの前記画像内での長さとカメラのピッチ角の変位とに基づいて、前記車間距離の誤差のスケールを算出するステップと、
前記車間距離および誤差のスケールを出力するステップと、
を実行させるプログラム。 - 車両に搭載されたカメラにて撮影された画像と前記車両の位置情報とに基づいて、先行車両との車間距離を測定するためのプログラムであって、コンピュータに、
前記カメラにて撮影された画像を入力するステップと、
前記車両の位置情報を入力するステップと、
前記車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求めるステップと、
前記第1の位置における路面に対する前記第2の位置における路面の傾きと前記カメラの光学中心から先行車両の下端までの前記画像内での長さとに基づいて、誤差のスケールを算出するステップと、
前記車間距離および誤差のスケールを出力するステップと、
を実行させるプログラム。 - 車両が第1の位置にあるときに先行車両を撮影した画像において先行車両の下端を識別し、世界座標系において前記カメラの光学中心と前記下端とを結ぶ直線を求めると共に、前記車両が走行することにより逐次得られる位置情報に基づいて道路の形状を求め、前記直線が前記道路と交差する第2の位置を求めることにより、前記車両が前記第1の位置にあったときの先行車両との車間距離を求める車間距離測定装置において、当該車間距離の誤差を推定するための誤差モデルを生成するためのプログラムであって、コンピュータに、
道路の構造情報を入力するステップと、
前記第1の位置と先行車両の位置をランダムに決定し、前記道路の構造情報を用いて、先行車両までの車間距離の真値を計算すると共に、前記道路構造によって定まるカメラの回転角、車両の位置の真値に対して、ランダムに発生させた誤差を逐次付加して、前記第2の位置を求めることにより車間距離を計算すると共に、計算された車間距離の真値に対する誤差を計算するステップと、
前記カメラのピッチ角の変位と前記カメラの光学中心から先行車両の下端までの前記画像内での長さを変数として、前記車間距離の誤差のスケールを解析するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019010808A JP7145770B2 (ja) | 2019-01-25 | 2019-01-25 | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019010808A JP7145770B2 (ja) | 2019-01-25 | 2019-01-25 | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020118575A JP2020118575A (ja) | 2020-08-06 |
JP7145770B2 true JP7145770B2 (ja) | 2022-10-03 |
Family
ID=71891977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019010808A Active JP7145770B2 (ja) | 2019-01-25 | 2019-01-25 | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7145770B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899525A (zh) * | 2020-08-18 | 2020-11-06 | 重庆紫光华山智安科技有限公司 | 距离测量方法、装置、电子设备及存储介质 |
CN113227708B (zh) * | 2021-03-30 | 2023-03-24 | 深圳市锐明技术股份有限公司 | 确定俯仰角的方法、装置及终端设备 |
KR102365554B1 (ko) * | 2021-10-18 | 2022-02-18 | 김창원 | 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003237509A (ja) | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
JP2013109455A (ja) | 2011-11-18 | 2013-06-06 | Clarion Co Ltd | 画像処理装置、車両システム、及び、画像処理方法 |
JP2015079388A (ja) | 2013-10-17 | 2015-04-23 | 株式会社デンソーアイティーラボラトリ | 車間距離測定装置、車間距離測定方法、およびプログラム |
JP2016050832A (ja) | 2014-08-29 | 2016-04-11 | 株式会社デンソー | 光飛行型測距装置 |
JP2018190045A (ja) | 2017-04-28 | 2018-11-29 | 日立オートモティブシステムズ株式会社 | 車両電子制御装置 |
-
2019
- 2019-01-25 JP JP2019010808A patent/JP7145770B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003237509A (ja) | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
JP2013109455A (ja) | 2011-11-18 | 2013-06-06 | Clarion Co Ltd | 画像処理装置、車両システム、及び、画像処理方法 |
JP2015079388A (ja) | 2013-10-17 | 2015-04-23 | 株式会社デンソーアイティーラボラトリ | 車間距離測定装置、車間距離測定方法、およびプログラム |
JP2016050832A (ja) | 2014-08-29 | 2016-04-11 | 株式会社デンソー | 光飛行型測距装置 |
JP2018190045A (ja) | 2017-04-28 | 2018-11-29 | 日立オートモティブシステムズ株式会社 | 車両電子制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020118575A (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
US10268201B2 (en) | Vehicle automated parking system and method | |
EP2858008B1 (en) | Target detecting method and system | |
CN106803271B (zh) | 一种视觉导航无人机的摄像机标定方法及装置 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
JP5023186B2 (ja) | 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム | |
JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
JP2007263669A (ja) | 3次元座標取得装置 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN111798487B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
JP2006053757A (ja) | 平面検出装置及び検出方法 | |
JP2010085240A (ja) | 車両用画像処理装置 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
JP2009198445A (ja) | 対象物検出装置及び方法 | |
CN112907678A (zh) | 车载相机外参姿态动态估计方法、装置、计算机设备 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP2009139325A (ja) | 車両用走行路面検出装置 | |
CN115797490B (zh) | 基于激光视觉融合的建图方法及系统 | |
JP2011209070A (ja) | 画像処理装置 | |
JP2017182564A (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
US11461928B2 (en) | Location estimation apparatus | |
JP6668740B2 (ja) | 道路面推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |