JP6260233B2 - 情報処理装置、カメラ取付角度の推定方法、及びプログラム - Google Patents
情報処理装置、カメラ取付角度の推定方法、及びプログラム Download PDFInfo
- Publication number
- JP6260233B2 JP6260233B2 JP2013248826A JP2013248826A JP6260233B2 JP 6260233 B2 JP6260233 B2 JP 6260233B2 JP 2013248826 A JP2013248826 A JP 2013248826A JP 2013248826 A JP2013248826 A JP 2013248826A JP 6260233 B2 JP6260233 B2 JP 6260233B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- vehicle
- captured image
- camera
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 101
- 230000010365 information processing Effects 0.000 title claims description 21
- 230000008569 process Effects 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000003550 marker Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 description 37
- 238000012545 processing Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
上記のような車線逸脱警報装置は、車載カメラの取付角度が許容誤差の範囲内で正しく設定されていないと適切に機能しない可能性がある。そのため、車載カメラの取付角度を調整する仕組みについても検討が行われている。
図1を参照しながら、第1実施形態について説明する。図1は、第1実施形態に係る情報処理装置の一例を示した図である。
演算部12は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などのプロセッサである。また、演算部12は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの電子回路であってもよい。演算部12は、例えば、記憶部11又は他のメモリに記憶されたプログラムを実行する。
<2.第2実施形態>
次に、第2実施形態について説明する。
まず、図2及び図3を参照しながら、第2実施形態に係る車線逸脱警報装置100の取付例などについて説明する。この説明の中で、以降の説明に用いるパラメータの表記についても述べる。
[2−2.車線逸脱警報装置の機能]
次に、図4を参照しながら、車線逸脱警報装置100の機能について説明する。図4は、第2実施形態に係る車線逸脱警報装置が有する機能の一例を示したブロック図である。なお、ここでは、車線逸脱警報装置100が有する機能のうち、制御装置102の機能を中心に説明する。
また、車線検出部122は、抽出したエッジ画像を用いて車線区分線を検出する。車線検出部122により検出された車線区分線の情報は、パラメータ推定部123に入力される。
…(2)
パラメータ推定部123により計算された変位ΔEは、平行判定部124に入力される。また、パラメータ推定部123により計算された角度Θdは、角度推定部125に入力される。平行判定部124は、パラメータ推定部123により入力された変位ΔEを保持する。また、平行判定部124は、変位ΔEと閾値ThEとを比較する。変位ΔEが閾値ThEよりも小さい場合、平行判定部124は、車両Cが車線区分線に対して平行に走行していると判定する。つまり、平行判定部124は、車両Cが平行区間を走行中であると判定する。
以上、車線逸脱警報装置100の機能について説明した。なお、後述するように、平行判定部124及び角度推定部125などの機能は適宜変更することが可能である。
次に、図5〜図7を参照しながら、第2実施形態に係る取付角度の推定方法について説明する。
まず、図5を参照しながら、平行区間の車線区分線に基づく角度Θ0の推定方法(以下、推定方法#1)について説明する。図5は、第2実施形態に係る取付角度の推定方法について説明するための第1の図である。図5には、時刻t1から時刻t5までに車両Cが走行した様子及び変位ΔEの変化が模式的に記載されている。
(2−3−2.複数の短縮平行区間の車線区分線に基づく角度推定)
次に、図6を参照しながら、複数の短縮平行区間の車線区分線に基づく角度Θ 0 の推定(以下、推定方法#2)について説明する。図6は、第2実施形態に係る取付角度の推定方法について説明するための第2の図である。図6には、時刻t1から時刻t7までに車両Cが走行した様子及び変位ΔEの変化が模式的に記載されている。
推定方法#2によれば、長い平行区間が得られない場合でも、カメラ101の取付角度Θ0を推定することができるようになる。
次に、図7を参照しながら、車線区分線の劣化などへの対応について説明する。図7は、第2実施形態に係る取付角度の推定方法について説明するための第3の図である。
また、車両Cの片側にある車線区分線は検出されるが、その反対側にある車線区分線は検出されない場合もある。このような場合、車両Cから車線中心までの距離Eを計算することができない。そのため、片側の車線区分線が未検出の区間で撮像された撮像画像は、取付角度Θ0の推定処理に利用しない。
次に、図8〜図14を参照しながら、車線逸脱警報装置100が実行する処理の流れについて説明する。
まず、図8〜図10を参照しながら、平行区間の車線区分線に基づく角度推定の処理フローについて説明する。
まず、図8を参照しながら、全体的な処理の流れについて説明する。
(S101)車線検出部122は、記憶部121に格納された撮像画像を読み出す。なお、記憶部121には、カメラ101により撮像された撮像画像が格納されている。
角度推定部125は、平行区間において撮像された撮像画像の数が閾値T0以上であるか否かを判定する。撮像画像の数が閾値T0以上である場合、角度推定部125は、平行区間における角度Θdを用いて、カメラ101の光軸方向と車両Cの進行方向とが成す角度Θ0を推定する。
(S106)逸脱判定部126は、パラメータ推定部123により計算された距離Eや角度Θdなどのパラメータ、及び角度推定部125により推定された角度Θ0に基づき、車両Cから車線区分線までの距離M(上記の式(1)を参照)を計算する。逸脱判定部126は、計算した距離Mに基づいて車両Cが車線から逸脱しそうか否かを判定する。距離Mが大きければ逸脱の可能性が低く、距離Mが小さければ逸脱の可能性が高い。
ここで、図9を参照しながら、S105の処理について、さらに説明する。
(S111)平行判定部124は、車両Cの進行方向を検出する。例えば、平行判定部124は、パラメータ推定部123により入力された変位ΔEに基づき、車両Cの進行方向が車線区分線に対して平行であるか否かを判定する。
ここで、図10を参照しながら、S111の処理について、さらに説明する。
(S121)パラメータ推定部123は、車線検出部122により検出された車線区分線の情報に基づき、カメラ101の光軸方向と車線区分線とが成す角度Θd及び距離Eなどを計算する。このとき、パラメータ推定部123は、上記の式(3)に基づいて、路面上における車線区分線の位置や距離Eを計算するために路面上の車線位置をモデル化し、撮像画像上の位置情報から路面上の位置情報などに変換する。
(2−4−2.複数の短縮平行区間の車線区分線に基づく角度推定)
次に、図11〜図14を参照しながら、複数の短縮平行区間の車線区分線に基づく角度推定の処理フローについて説明する。
上述した平行区間の車線区分線に基づく角度推定の処理フローとの違いは、図8に示した処理のうち、S105の処理にある。そこで、全体的な処理フローについては詳細な説明を省略し、図11を参照しながら、S105に相当する処理フローについて説明する。
ここで、図12〜図14を参照しながら、図11に示した処理フローの具体例(カウンタの遷移に基づく処理の流れ)について、さらに説明する。
(S223)角度推定部125は、カウンタPcnt、Qcnt、Tcntを0に初期化する。これは、取付角度Θ0の推定処理がThP以内に完了しない場合には初期化が行われることを示している。S223の処理が完了すると、処理はS224に進む。
(S226)角度推定部125は、カウンタQcntを1増加させる。
(S232)角度推定部125は、登録した対象フレームに対応する車両Cの走行区間を対象区間として登録する。そして、角度推定部125は、カウンタTcntを1増加させる。カウンタTcntは、登録した対象区間の数を示すカウンタである。カウンタTcntを対象区間数カウンタと呼ぶ場合がある。また、角度推定部125は、カウンタQcntを0に初期化する。
(S236)角度推定部125は、撮像画像をNGフレーム(非平行走行中に撮像された撮像画像)と判定する。また、角度推定部125は、カウンタScntを1増加させる。なお、カウンタScntは、NGフレームの数を示すカウンタである。カウンタScntをNGフレームカウンタと呼ぶ場合がある。
以上、複数の短縮平行区間の車線区分線に基づく角度推定の処理フローについて説明した。
次に、図15を参照しながら、車線逸脱警報装置100が有する機能のうち、制御装置102の機能を実現することが可能なハードウェアの例について説明する。図15は、第2実施形態に係る制御装置が有する機能を実現することが可能なハードウェアの一例を示した図である。なお、スマートフォンやカーナビゲーションシステムなどは、図15に例示したハードウェアを有する情報処理装置の一例である。
以上説明したように、第2実施形態では、カメラで撮像した撮像画像から車線を検出し、検出した車線とカメラとの位置関係を推定し、車両の横方向に関する位置変動を計測し、位置変動が一定時刻安定している平行区間を検出する方法を提案した。さらに、平行区間で撮像された撮像画像を利用して、カメラと車線とが成す角度から、カメラの取付角度を推定する方法を提案した。これらの方法により、車線に対して車両が斜めに直進するシーンを除外し、カメラの取付角度を高精度に推定することが可能になる。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。
11 記憶部
12 演算部
20 カメラ
C 車両
L1、L2、L3 車線区分線
LL、LR 車線
R1、R2 区間
E 距離
Claims (9)
- 車両に設置されたカメラにより撮像された撮像画像が格納される記憶部と、
車線を区切る車線区分線を前記撮像画像から検出し、前記車両が前記車線区分線に対して平行な向きに走行している区間で撮像された前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を推定する演算部とを有し、
前記演算部は、補助線がある区間における前記車線区分線の検出結果を破棄する、
情報処理装置。 - 前記演算部は、前記撮像画像に基づいて前記車両が走行している車線の中心から前記車両までの距離を計算し、前記距離の変化が設定した閾値よりも小さい場合に前記車両が前記車線区分線に対して平行な向きに走行していると判定する、
請求項1に記載の情報処理装置。 - 前記演算部は、複数の前記区間のそれぞれについて前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を決めるパラメータを計算し、複数の前記パラメータの統計値に基づいて前記カメラの光軸方向を推定する、
請求項1又は2に記載の情報処理装置。 - 前記演算部は、前記撮像画像から検出された前記車線区分線の種類、本数、曲率、及び、前記車両の両側にある2本の前記車線区分線の平行度合いの少なくとも1つが、設定された条件を満たさない場合、当該車線区分線の検出結果を破棄する、
請求項1〜3のいずれか1項に記載の情報処理装置。 - 前記演算部は、前記撮像画像に含まれる前記車線区分線に基づいて前記車両が前記車線を逸脱しそうか否かを判定する、
請求項1〜4のいずれか1項に記載の情報処理装置。 - コンピュータが、
車両に設置されたカメラにより撮像された撮像画像が格納される記憶部から、前記撮像画像を取得し、
車線を区切る車線区分線を前記撮像画像から検出し、補助線がある区間における前記車線区分線の検出結果を破棄し、前記車両が前記車線区分線に対して平行な向きに走行している区間で撮像された前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を推定する、
カメラ取付角度の推定方法。 - コンピュータに、
車両に設置されたカメラにより撮像された撮像画像が格納される記憶部から、前記撮像画像を取得し、
車線を区切る車線区分線を前記撮像画像から検出し、補助線がある区間における前記車線区分線の検出結果を破棄し、前記車両が前記車線区分線に対して平行な向きに走行している区間で撮像された前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を推定する
処理を実行させる、プログラム。 - 前記演算部は、片側の車線区分線が未検出の区間における前記車線区分線の検出結果を破棄する、
請求項1に記載の情報処理装置。 - 前記演算部は、連続線以外の線種で表示される補助線がある区間における前記車線区分線の検出結果を破棄する、
請求項1に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248826A JP6260233B2 (ja) | 2013-12-02 | 2013-12-02 | 情報処理装置、カメラ取付角度の推定方法、及びプログラム |
EP14192436.5A EP2879117B1 (en) | 2013-12-02 | 2014-11-10 | Information processing apparatus, camera mounting angle estimation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248826A JP6260233B2 (ja) | 2013-12-02 | 2013-12-02 | 情報処理装置、カメラ取付角度の推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015106323A JP2015106323A (ja) | 2015-06-08 |
JP6260233B2 true JP6260233B2 (ja) | 2018-01-17 |
Family
ID=51868871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013248826A Expired - Fee Related JP6260233B2 (ja) | 2013-12-02 | 2013-12-02 | 情報処理装置、カメラ取付角度の推定方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP2879117B1 (ja) |
JP (1) | JP6260233B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131062A1 (ja) | 2017-01-10 | 2018-07-19 | 三菱電機株式会社 | 走行路認識装置及び走行路認識方法 |
EP3570262A4 (en) * | 2017-01-10 | 2019-12-18 | Mitsubishi Electric Corporation | VEHICLE DETECTION DEVICE AND METHOD DETECTION METHOD |
JP7419469B1 (ja) | 2022-09-26 | 2024-01-22 | 株式会社デンソーテン | 情報処理装置、情報処理方法およびプログラム |
WO2024202034A1 (ja) * | 2023-03-31 | 2024-10-03 | 本田技研工業株式会社 | ドライブレコーダ及びその制御方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3424334B2 (ja) * | 1994-06-21 | 2003-07-07 | 日産自動車株式会社 | 走行路検出装置 |
JP2001171544A (ja) | 1999-12-20 | 2001-06-26 | Nissan Motor Co Ltd | 車載カメラの光軸ずれ検出装置 |
JP3841142B2 (ja) * | 2000-02-16 | 2006-11-01 | 三菱自動車工業株式会社 | 車両用撮像装置 |
KR100941271B1 (ko) * | 2007-03-30 | 2010-02-11 | 현대자동차주식회사 | 자동차용 차선이탈 방지 방법 |
JP5359516B2 (ja) * | 2008-07-29 | 2013-12-04 | 日産自動車株式会社 | 車両運転支援装置及び車両運転支援方法 |
JP4876147B2 (ja) * | 2009-06-30 | 2012-02-15 | クラリオン株式会社 | 車線判定装置及びナビゲーションシステム |
JP5424111B2 (ja) * | 2009-12-07 | 2014-02-26 | トヨタ自動車株式会社 | 車線逸脱防止支援装置 |
KR101276871B1 (ko) * | 2009-12-14 | 2013-06-18 | 안동대학교 산학협력단 | 차량 충돌 방지 장치 및 방법 |
JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
JP5747482B2 (ja) * | 2010-03-26 | 2015-07-15 | 日産自動車株式会社 | 車両用環境認識装置 |
DE102011001903A1 (de) * | 2011-04-08 | 2012-10-11 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug |
JP2013183311A (ja) * | 2012-03-02 | 2013-09-12 | Isuzu Motors Ltd | 車載カメラの姿勢角推定装置及び検出システム |
-
2013
- 2013-12-02 JP JP2013248826A patent/JP6260233B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-10 EP EP14192436.5A patent/EP2879117B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2879117A1 (en) | 2015-06-03 |
EP2879117B1 (en) | 2016-11-16 |
JP2015106323A (ja) | 2015-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101526816B1 (ko) | 차선 추정 시스템 및 그 방법 | |
JP4962581B2 (ja) | 区画線検出装置 | |
US10943131B2 (en) | Image based lane marking classification | |
JP6260233B2 (ja) | 情報処理装置、カメラ取付角度の推定方法、及びプログラム | |
CN110298307B (zh) | 一种基于深度学习的异常停车实时检测方法 | |
US9031773B2 (en) | Apparatus and method for detecting narrow road in front of vehicle | |
JP2019124683A (ja) | オブジェクト速度推定方法と装置及び画像処理機器 | |
JP2006268199A (ja) | 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両 | |
CN111932901A (zh) | 道路车辆跟踪检测设备、方法及存储介质 | |
CN110858405A (zh) | 车载摄像头的姿态估计方法、装置和系统及电子设备 | |
KR102635090B1 (ko) | 자동차의 카메라 피치를 캘리브레이션하는 방법 및 장치, 그리고, 이를 위한 소멸점 추정 모델을 컨티뉴얼 러닝시키는 방법 | |
JP6658868B2 (ja) | 走路検出方法及び走路検出装置 | |
WO2021093335A1 (en) | Method for automatically labeling lane changing intention based on high-noise trajectory data of vehicle | |
JP5590774B2 (ja) | 物体検出装置 | |
CN107480592B (zh) | 一种多车道检测方法及跟踪方法 | |
CN107672591B (zh) | 用于确定车道的控制系统和控制方法 | |
KR101628547B1 (ko) | 주행 차선 확인 장치 및 방법 | |
JP6115429B2 (ja) | 自車位置認識装置 | |
US20200193184A1 (en) | Image processing device and image processing method | |
JP2018073275A (ja) | 画像認識装置 | |
JP2009169618A (ja) | 路側境界面検出装置 | |
KR20150055345A (ko) | 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치 | |
JP4462533B2 (ja) | 路面走行レーン検出装置 | |
JP2012137362A (ja) | 走行道路推定装置、方法およびプログラム | |
KR101266623B1 (ko) | 차량간 거리 추정방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6260233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |