JP5549812B2 - 白線端検出方法及びそれを利用した駐車支援装置 - Google Patents
白線端検出方法及びそれを利用した駐車支援装置 Download PDFInfo
- Publication number
- JP5549812B2 JP5549812B2 JP2010162816A JP2010162816A JP5549812B2 JP 5549812 B2 JP5549812 B2 JP 5549812B2 JP 2010162816 A JP2010162816 A JP 2010162816A JP 2010162816 A JP2010162816 A JP 2010162816A JP 5549812 B2 JP5549812 B2 JP 5549812B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- image
- edge
- data string
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この駐車支援装置においては、画像処理技術により、超広角の撮影手段(バックカメラ等)の画像を、歪みを補正した歪み補正画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
上述の歪み補正画像は、周囲の視野を確保しつつ駐車枠(駐車スペース)の白線が直線として見えるため、駐車枠に接近するときに有効な画像である。また、上述の俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、白線と自車両との関係が直観的に分かりやすいことから、駐車位置に近づいたときに有効な画像である。
このとき、白線の後端は、上下が対の一定サイズのウィンドウ(図15のareaUとareaD参照。)を設定し、ピクセル(Pixel)数をカウントして、上下のピクセル数の差が最も大きい箇所を白線の端点としていた。
このとき、歪み補正画像は周囲の視野を確保しつつ白線が直線として見えるため、駐車枠に接近するときに有効な画像である。
前記俯瞰画像は車両に近接するエリアの距離感が掴み易いこと、白線と自車両との関係が直感的に分かり易いことから、駐車位置に近づいたときに有効な画像である。
従来、歪み補正画像と俯瞰画像との切換は、運転者が自らスイッチ操作をしていたが、駐車後退時は周囲確認やハンドル操作などの運転タスクが集中するため、画像切換のスイッチ操作が煩わしいという不都合があった。
前記歪み補正画像と俯瞰画像とを自動的に切り換える方法としては、カメラ画像から左右の白線を検出して自車両と白線とが平行になった場合に、白線の後端を検出して車両と白線後端との距離がしきい値以下になったら、画像切換を自動で行う手法がある。
このとき、前記撮像手段202は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段203は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段204は、撮像手段202により撮像された後方画像(図10(a)参照。)を映像記録部205に取り込み、映像切換え判定部206に入力している。
そして、この映像切換え判定部206からのデータを後方画像の歪みを補正して歪み補正画像にする歪み補正変換部207と、撮像手段202により撮像された後方画像を俯瞰画像に変換する俯瞰変換部208と、前記歪み補正変換部207と俯瞰変換部208とに接続し、歪み補正映像を俯瞰映像に自動切換えして、前記表示手段203に表示する(図10(b)参照。)映像出力部209とを備えている。
前記駐車支援装置201のシステム動作用プログラムがスタート(301)すると、前記撮像手段202からのカメラ映像を映像記録部205に取り込んで記録する処理(302)に移行する。
そして、このカメラ映像を記録する処理(302)の後に、白線の位置と角度を算出する処理(303)に移行する。
この白線の位置と角度を算出する処理(303)の後に、車両と白線が平行であるか否かの判断(304)に移行する。
そして、車両と白線が平行であるか否かの判断(304)において、判断(304)がYESの場合には、白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理(305)に移行する一方、判断(304)がNOの場合には、歪み補正映像に変換する処理(308)に移行する。
前記白線端の検出、及び、輪留めの検出、車速パルスのカウントを行う処理(305)の後には、画像を切り換えるか否かの判断(306)に移行する。
この画像を切り換えるか否かの判断(306)において、判断(306)がYESの場合には、俯瞰映像に変換する処理(307)に移行し、判断(307)がNOの場合には、歪み補正映像に変換する処理(308)に移行する。
そして、俯瞰映像に変換する処理(307)、及び、歪み補正映像に変換する処理(308)の後には、前記表示手段203に映像出力を行う処理(309)に移行し、その後に前記駐車支援装置201のシステム動作用プログラムのエンド(310)に移行する。
前記駐車支援装置201の白線端検出用プログラムがスタート(401)すると、前記撮像手段202から入力された映像を記録(図12参照。)する処理(402)に移行する。
そして、記録された映像から縦エッジの抽出及び俯瞰画像に変換(図13参照。)する処理(403)に移行する。
この処理(403)には、俯瞰画像上のエッジ点を投票点としてハフ変換(図14参照。)による左右の白線の検出を行う処理(404)に移行する。この処理(404)においては、白線の傾きを検出する。
つまり、図14に示す如く、画像の各候補点p(x,y)からθminからθmaxまでのρの値を計算して、ρ−θ空間に投票する。画面の右半分と左半分とのそれぞれで投票点数が最も高かった箇所(ρL、θL)と(ρR、θR)を左右それぞれの白線とする。
その後、白線後端の検出を行うために、図15に示す如く、検出した白線上に一定幅のウィンドウをセットする処理(405)に移行する。
そして、上下エリア内の点数の差を計算する処理(406)を行う。つまり、ウィンドウ上に小領域areaUとareaDを設定し、各エリア内のエッジ点数をカウントし、その差分値dif_yを求める。
その後は、差が最大となる位置を求める処理(407)に移行し、前記駐車支援装置201の白線端検出用プログラムをエンド(408)とする。つまり、上述の差が最大となる位置を求める処理(407)においては、差分値dif_yの値が最も大きいypeakを白線の後端とするものである。
しかし、上述した従来手法においては、白線の後端の検出性能がエッジ点数をカウントする小領域areaUとareaDのサイズに左右される。
つまり、白線がきれいではっきりしている場合は良いが、白線に擦れや汚れがある場合や、白線に土や枯葉が乗っている場合など、白線のエッジ画像が途切れ途切れになったときには対応できないという不都合がある。
特に、直線の途中が長く途切れている場合には対応できないという不都合がある。
小領域のサイズを変えれば対応できるが、サイズを大きくし過ぎると上下の端の領域が検出できなくなってしまうという不都合がある。
また、画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とすることを特徴とする。
更に、自車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、この表示手段に表示する画像を歪みを補正した歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備え、白線の端を検出する白線端検出方法を利用した駐車支援装置において、請求項1または2に記載の白線端検出方法により白線の端を検出し、検出された駐車枠の白線の端と自車両との距離に基づいて前記表示手段に表示する画像を切り換えることを特徴とする。
また、白線の前端を検出することができる。
更に、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができるため、画像の表示切換タイミングの精度を向上することができる。
図1において、1は駐車支援装置である。
この駐車支援装置1は、図1に示す如く、自車両後方を撮像する撮像手段2と、画像を表示する表示手段3と、撮像手段2により撮像された自車両の後方画像を表示手段3に表示させる制御手段4とを備えている。
このとき、前記撮像手段2は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
また、前記表示手段3は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
更に、前記制御手段4は、前記撮像手段2により撮像した後方画像の歪みを補正する歪み補正手段5と、前記撮像手段2により撮像した後方画像を俯瞰画像に変換する画像変換手段6と、表示切換制御手段7とを備えている。
このとき、前記駐車支援装置1は、白線端を検出する後述する白線端検出方法により白線端を検出し、検出された駐車枠の白線端と前記自車両との距離に基づいて、前記表示切換制御手段7によって、前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える構成を有する。
従って、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線端を検出することができるため、画像の表示切換タイミングの精度を向上することができる。
詳述すれば、前記ウインドウ内の各行でエッジ点を横方向にスキャンし、前記エッジが存在する場所を1、エッジが存在しない場所を0として、1次元のデータ列、つまり、図6に示す如く、縦のデータ列を作成する。
そして、図6の縦のデータ列を、図2に示す如く、横にして表示し、データ列の1からNまでの各要素(「各点」とも換言できる。)において、データ列の各要素よりも上側の領域のデータを反転させる。
例えば、図3に示す如く、i=10のときは、1から9までのデータを反転(0なら1に、1なら0に)させる。
また、反転後のデータを含めて、1からNまでの全体のデータを合計し、i=10における合計値とする。なお、合計値の代わりに、平均値を使用することも可能である。そして、i=1からNまでの各要素において上述した処理を行う。
更に、各要素における合計値が最大となるiを求め、この位置を白線の後端とする。つまり、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の後端とするものである。
図4の例では、i=8の16が最大であるため、白線の後端となる。
従って、白線に擦れや汚れがある場合や白線に土や枯葉等が乗っている場合でも、白線の後端を検出することができる。
つまり、従来手法では、検出精度が上下領域のサイズとしきい値とに依存してたため、例えば図7(a)に示す如く、途中で擦れているような白線を検出できなかった。これに対して、この発明の提案手法においては、図7(b)に示す如く、白線全体の点数をカウントするため、途中で擦れているような白線でも検出可能である。
つまり、上述した白線の後端を検出する方策とは逆に、白線の前端を検出する方策とする。
このとき、前記データ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とするものである。
従って、白線の前端を検出することができる。
そして、縦のデータ列を作成する処理(102)の後に、Y座標値の開始位置をセット、つまり、i=1とする処理(103)に移行する。
また、Y座標値の開始位置をセット、つまり、i=1とする処理(103)の後には、1〜i−1までのデータを反転させる処理(104)の後に、1〜Nまでのデータを合計する処理(105)に移行する。
そして、終了位置に到達したか否かの判断(106)に移行する。
この終了位置に到達したか否かの判断(106)において、判断(106)がNOの場合には、iを+1加算する処理(107)に移行し、その後に上述した1〜i−1までのデータを反転させる処理(104)に戻る。
更に、判断(106)がYESの場合には、合計値が最大となる位置を求める処理(108)に移行し、その後に、前記駐車支援装置1の白線後端検出用プログラムのエンド(109)に移行する。
2 撮像手段
3 表示手段
4 制御手段
5 歪み補正手段
6 画像変換手段
7 表示切換制御手段
Claims (3)
- 画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも上側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の後端とすることを特徴とする白線端検出方法。
- 画像からエッジを抽出して、このエッジを抽出した画像を俯瞰画像に変換し、この俯瞰画像からハフ変換により白線を検出し、この白線上に一定幅のウインドウを設定し、縦方向の白線に対して前記ウインドウ内を横方向にスキャンして、前記エッジが存在する場所を1、エッジが存在しない場所を0として縦のデータ列を作成し、このデータ列の各要素に対して、データ列の各要素よりも下側の領域のデータを反転させ、データ列のデータが1の要素数を合計し、合計値が最大となる要素の位置を白線の前端とすることを特徴とする白線端検出方法。
- 自車両後方を撮像する撮像手段と、この撮像手段により撮像した後方画像の歪みを補正する歪み補正手段と、前記撮像手段により撮像した後方画像を俯瞰画像に変換する画像変換手段と、画像を表示する表示手段と、この表示手段に表示する画像を歪みを補正した歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段とを備え、白線の端を検出する白線端検出方法を利用した駐車支援装置において、請求項1または2に記載の白線端検出方法により白線の端を検出し、検出された駐車枠の白線の端と自車両との距離に基づいて前記表示手段に表示する画像を切り換えることを特徴とする白線端検出方法を利用した駐車支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010162816A JP5549812B2 (ja) | 2010-07-20 | 2010-07-20 | 白線端検出方法及びそれを利用した駐車支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010162816A JP5549812B2 (ja) | 2010-07-20 | 2010-07-20 | 白線端検出方法及びそれを利用した駐車支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012027534A JP2012027534A (ja) | 2012-02-09 |
JP5549812B2 true JP5549812B2 (ja) | 2014-07-16 |
Family
ID=45780420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010162816A Active JP5549812B2 (ja) | 2010-07-20 | 2010-07-20 | 白線端検出方法及びそれを利用した駐車支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5549812B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5914114B2 (ja) * | 2012-03-30 | 2016-05-11 | 富士通テン株式会社 | 駐車支援装置、及び駐車支援方法 |
CN110758246B (zh) * | 2018-07-25 | 2021-06-04 | 广州小鹏汽车科技有限公司 | 一种自动泊车方法及装置 |
CN110544386A (zh) * | 2019-09-18 | 2019-12-06 | 奇瑞汽车股份有限公司 | 车位识别方法、装置及存储介质 |
CN117292381B (zh) * | 2023-11-24 | 2024-02-27 | 杭州速腾电路科技有限公司 | 一种印刷电路板的序列号读取方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4696691B2 (ja) * | 2005-05-27 | 2011-06-08 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP5120227B2 (ja) * | 2008-11-21 | 2013-01-16 | スズキ株式会社 | 輪止検出装置及び後方画像表示装置 |
JP2010126059A (ja) * | 2008-11-28 | 2010-06-10 | Suzuki Motor Corp | 車両用駐車支援装置 |
-
2010
- 2010-07-20 JP JP2010162816A patent/JP5549812B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012027534A (ja) | 2012-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574235B2 (ja) | 駐車枠検出装置及び駐車枠検出方法 | |
JP5667629B2 (ja) | 車両周辺のモニタ方法 | |
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
JP6316976B2 (ja) | 車載画像認識装置 | |
US10783665B2 (en) | Apparatus and method for image processing according to vehicle speed | |
US20100172547A1 (en) | On-vehicle image processing device | |
JP5549812B2 (ja) | 白線端検出方法及びそれを利用した駐車支援装置 | |
JP5464324B2 (ja) | 駐車時における運転支援装置及び方法 | |
JP2006318364A (ja) | 画像処理装置 | |
US20100002078A1 (en) | Periphery monitoring apparatus | |
US20200380275A1 (en) | Parking assist apparatus | |
JP6086424B2 (ja) | 車載画像処理装置 | |
JP2014165638A (ja) | 画像処理装置、撮像装置、移動体制御システム及びプログラム | |
JP5510900B2 (ja) | 駐車支援装置 | |
EP3107063A1 (en) | Method for processing camera images | |
JP2020077251A (ja) | 周辺監視装置 | |
JP4702802B2 (ja) | 車両方位補正システム | |
JP5155204B2 (ja) | 白線検出装置 | |
JPH08172620A (ja) | 車両用画像入力手段 | |
JP5166111B2 (ja) | 車両周辺監視装置 | |
JP2012096585A (ja) | 駐車支援装置 | |
US10242460B2 (en) | Imaging apparatus, car, and variation detection method | |
JP6274936B2 (ja) | 運転支援装置 | |
JP4739833B2 (ja) | 車両停止検出装置、カーナビゲーション装置 | |
JP2006178667A (ja) | 車両用映像補正装置及び車両用映像補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140506 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5549812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |