JPWO2010140578A1 - 画像処理装置、画像処理方法、及び画像処理用プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理用プログラム Download PDFInfo
- Publication number
- JPWO2010140578A1 JPWO2010140578A1 JP2011518445A JP2011518445A JPWO2010140578A1 JP WO2010140578 A1 JPWO2010140578 A1 JP WO2010140578A1 JP 2011518445 A JP2011518445 A JP 2011518445A JP 2011518445 A JP2011518445 A JP 2011518445A JP WO2010140578 A1 JPWO2010140578 A1 JP WO2010140578A1
- Authority
- JP
- Japan
- Prior art keywords
- boundary line
- paint
- blank
- candidate
- lateral boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000012795 verification Methods 0.000 claims abstract description 74
- 238000012360 testing method Methods 0.000 claims abstract description 60
- 238000011156 evaluation Methods 0.000 claims description 77
- 239000003973 paint Substances 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 19
- 238000012854 evaluation process Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 124
- 238000010586 diagram Methods 0.000 description 19
- 230000000737 periodic effect Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本発明は、破線状のレーンマークの認識において、誤認識を低減し、安定した認識性能を実現する画像処理装置を提供する。取得した画像情報からラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段150と、検出されたラテラル境界線候補等がラテラル境界線等であるか否かを検定する検定手段160と、ラテラル境界線等であると検定されたときのラテラル境界線候補等を含む検定情報を履歴情報として記憶するとともに、履歴情報に対応する車速情報を記憶する記憶手段130と、履歴情報及び車速情報を用いて、次のフレームにおけるラテラル境界線等の位置を推定する推定手段140と、を備え、記憶手段130は、推定されたラテラル境界線等の位置を含む推定情報を記憶し、検定手段160は、検定時点において記憶手段130に記憶されている推定情報を用いて検定する(図2)。
Description
(関連出願についての記載)
本発明は、日本国特許出願:特願2009−133223号(2009年6月2日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像処理装置、画像処理方法、及び画像処理用プログラムに関し、特に、道路面にペイントされたレーンマークを認識するための画像処理装置、画像処理方法、及び画像処理用プログラムに関する。
本発明は、日本国特許出願:特願2009−133223号(2009年6月2日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像処理装置、画像処理方法、及び画像処理用プログラムに関し、特に、道路面にペイントされたレーンマークを認識するための画像処理装置、画像処理方法、及び画像処理用プログラムに関する。
道路面にペイントされたレーンマーク(白線)を認識する技術として、例えば、特許文献1に記載の白線検出方法がある。この白線検出方法では、撮像手段により得られた走行路面の画像中で明度変化の大きい画素を選択し、車両に近い所定範囲内の画素のうちその座標が直線に乗るものを抽出してかかる直線を白線エッジと判定するとともに、上記直線に乗る最後の画素を始点として、車両から遠い画像方向へ所定の範囲で次の画素を探索して、この範囲で探索された画素を次の白線エッジと判定している。
Greg Welch and Gary Bishop, An Introduction to the Kalman Filter, UNC-Chapel Hill, TR95-041, July 24, 2006.
なお、上記特許文献ならびに非特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
特許文献1に記載の白線検出方法では、破線状の白線を検出する場合、破線をなす複数の周期的(規則的)なパタンをもつレーンマーク間のブランク(空白)領域周辺において、レーンマーク以外の物体をレーンマークとして検出してしまうおそれがある。つまり、走行中の車両に搭載された撮像手段が取得する画像においては、破線状の白線においてブランク領域などの存在により、レーンマークが部分的に画像内に映らない場合があるところ、特許文献1に記載の白線検出方法では、白線のようなレーンマークが常に画像内で検出されることを前提にしているため、このような場合に、隣接レーンの車両外縁等の大きな輝度変化が発生する箇所を誤って白線エッジとして検出してしまうおそれがある。
特許文献1に記載の白線検出方法では、破線状の白線を検出する場合、破線をなす複数の周期的(規則的)なパタンをもつレーンマーク間のブランク(空白)領域周辺において、レーンマーク以外の物体をレーンマークとして検出してしまうおそれがある。つまり、走行中の車両に搭載された撮像手段が取得する画像においては、破線状の白線においてブランク領域などの存在により、レーンマークが部分的に画像内に映らない場合があるところ、特許文献1に記載の白線検出方法では、白線のようなレーンマークが常に画像内で検出されることを前提にしているため、このような場合に、隣接レーンの車両外縁等の大きな輝度変化が発生する箇所を誤って白線エッジとして検出してしまうおそれがある。
本発明の主な課題は、破線状のレーンマークの認識において、誤認識を低減し、安定した認識性能を実現する画像処理装置、画像処理方法、及び画像処理用プログラムを提供することである。
本発明の第1の視点においては、画像処理装置(レーンマーク認識装置)において、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段と、前記候補検出手段で検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する検定手段と、前記検定手段でレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶する記憶手段と、前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定する推定手段と、を備え、前記記憶手段は、前記推定手段で推定されたラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報を用いて検定することを特徴とする。
本発明の前記画像処理装置において、前記候補検出手段は、前記画像情報から前記ラテラル境界線候補の組を検出するラテラル境界線候補検出手段と、前記ラテラル境界線候補検出手段で検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出するペイント−ブランク境界線候補検出手段と、を備えることが好ましい。
本発明の前記画像処理装置において、前記ラテラル境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより2本の近似直線を前記ラテラル境界線候補の組として検出し、前記ペイント−ブランク境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする近似直線を手前側から2本抽出し、抽出された2本の近似直線をペイント−ブランク境界線候補として検出することが好ましい。
本発明の前記画像処理装置において、前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することが好ましい。
本発明の前記画像処理装置において、前記検定手段は、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することが好ましい。
本発明の前記画像処理装置において、前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することが好ましい。
本発明の前記画像処理装置において、前記評価値は、前記推定位置をμとする正規分布によって決定され、前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することが好ましい。
本発明の前記画像処理装置において、前記記憶手段は、レーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を記憶し、前記検定手段は、検定時点において前記記憶手段に推定情報が記憶されていないときに、前記事前情報を用いて検定することが好ましい。
本発明の第2の視点においては、画像処理方法(レーンマーク認識方法)において、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記画像情報から前記ラテラル境界線候補の組を検出し、検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出することが好ましい。
本発明の前記画像処理方法において、前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより2本の近似直線を前記ラテラル境界線候補の組として検出し、前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする近似直線を手前側から2本抽出し、抽出された2本の近似直線をペイント−ブランク境界線候補として検出することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することが好ましい。
本発明の前記画像処理方法において、前記評価値は、前記推定位置をμとする正規分布によって決定され、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定することが好ましい。
本発明の第3の視点においては、画像処理用プログラム(レーンマーク認識用プログラム)において、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶する処理をコンピュータに実行させ、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記画像情報から前記ラテラル境界線候補の組を検出し、検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより2本の近似直線を前記ラテラル境界線候補の組として検出し、前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする近似直線を手前側から2本抽出し、抽出された2本の近似直線をペイント−ブランク境界線候補として検出する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記評価値は、前記推定位置をμとする正規分布によって決定され、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定する処理をコンピュータに実行させることが好ましい。
本発明によれば、レーンマークの認識において、誤認識を低減し、安定した認識性能を実現することができる。特に、ペイント領域とブランク領域からなる周期的なパタンをもつレーンマークの認識において、誤認識を削減することが可能である。その理由は、レーンマークにおけるラテラル境界線及びペイント−ブランク境界線(ペイント領域とブランク領域の位置)の推定を行って、レーンマーク候補におけるラテラル境界線候補及びペイント−ブランク境界線候補を検定することにより、ブランク領域と推定された位置にペイント領域を検出するような場合にこのレーンマーク候補を非レーンマークと判別する事ができる。これにより、対象画像内に破線のブランク領域が映り、ペイント領域がほとんど映らないようなシーンにおいて、隣接車両等の外乱を原因として検出されたレーンマーク候補を誤ってレーンマークと認識するような誤認識を排除する事ができる。
本発明の実施形態1に係る画像処理装置では、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段(図2の150)と、前記候補検出手段で検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する検定手段(図2の160)と、前記検定手段でレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶する記憶手段(図2の130)と、前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定する推定手段(図2の140)と、を備え、前記記憶手段は、前記推定手段で推定されたラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報を用いて検定する。
本発明の実施形態2に係る画像処理方法では、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し(図10のステップA2、A3)、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し(図10のステップA4)、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し(図10のステップA5)、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し(図10のステップA7)、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し(図10のステップA7)、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定する。
本発明の実施形態3に係る画像処理用プログラムでは、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し(図10のステップA2、A3)、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し(図10のステップA4)、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し(図10のステップA5)、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し(図10のステップA7)、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶(図10のステップA7)する処理をコンピュータに実行させ、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定する。
本発明の実施例1に係る画像処理装置について図面を用いて説明する。図1は、本発明の実施例1に係る画像処理装置を含む車両の構成を模式的に示したブロック図である。図2は、本発明の実施例1に係る画像処理装置の構成を模式的に示したブロック図である。図3は、本発明の実施例1に係る画像処理装置での認識対象となるレーンマークを説明するための模式図であり、(A)広域図、(B)破線型のレーンマークの拡大図である。図4は、本発明の実施例1に係る画像処理装置において画像処理対象となる画像情報の座標系を説明するための模式図であり、(A)カメラ画像座標系、(B)俯瞰画像座標系である。図5は、本発明の実施例1に係る画像処理装置における候補検出部の動作を説明するための工程ごとの模式図であり、(A)画像情報、(B)横方向のエッジ点の抽出イメージ、(C)ラテラル境界線候補となる近似直線の抽出イメージである。図6は、本発明の実施例1に係る画像処理装置における候補検出部の動作を説明するための工程ごとの模式図であり、(A)ラテラル境界線候補の検出イメージ、(B)縦方向のエッジ点の抽出イメージ、(C)ペイント−ブランク境界線の検出イメージである。図7は、本発明の実施例1に係る画像処理装置における検定部の動作を説明するための模式図である。図8は、本発明の実施例1に係る画像処理装置におけるペイント−ブランク位置推定機能で推定されるレーンマーク(破線型)の周期的パタンを説明するための模式図である。図9は、本発明の実施例1に係る画像処理装置におけるペイント−ブランク位置推定機能で推定されるペイント−ブランク境界線の位置の推移を説明するための模式図である。
図1を参照すると、画像処理装置2は、画像におけるレーンマークを認識する装置(レーンマーク認識装置)である。画像処理装置2は、図1では車両1に搭載されており、画像出力装置20と、車速検出器30と、電子制御装置10と、を備える。なお、車両1は、図1では自動車をイメージしているが、その他にも、例えば、工場内を自律走行する搬送車や移動ロボットであってもよい。
ここで、認識対象となるレーンマークは、図3に示すように、路面上にペイント(または設置、描画)されたレーン(車線、走路)の境界を示すマークのことを指す。レーンマークには、白や黄色でペイントされた実線型のレーンマークや、ペイント領域210とブランク領域220とが交互に規則的(周期的)に配置されたパタンからなる破線型のレーンマークや、規則的なパタンで配置された立体反射素子(キャッツアイ、ボッツドッツなどと呼ばれる)よりなるレーンマークや、これらの組合せなどの種類がある。実施例1では、特に図3のようなペイント領域210とブランク領域220の周期的なパタンからなる破線型のレーンマークを認識対象とするが、実線は一つの破線のパタンとして含むことができる。また、キャッツアイ、ボッツドッツ等の立体反射素子についても、立体反射素子が密な領域をペイント領域とし、疎な領域をブランク領域とみなすことで、実線型や破線型のレーンマークと同様に扱うことが可能な場合がある。以降では、前記のように実線型や立体反射素子を含む、一般化された破線型のレーンマークを、実施例1における認識対象として記述することとする。なお、本発明では、自動車用の道路上にペイントされたレーンマークに限らず、同様の実線、または破線のようなマークならばすべてを認識対象に利用できるものとする。
なお、レーンマークの各部の名称は図3で示すように定義される。マークがペイント(あるいは設置)されている領域をペイント領域210と呼び、車両進行方向に対して周期的なペイント領域間の空白領域をブランク領域220と呼び、車両進行方向に対するペイント領域210の長さをペイント領域長250と呼び、ブランク領域220の長さをブランク領域長260と呼び、ペイント領域210のレーンに平行な境界をラテラル境界230(ラテラル境界線)と呼び、ペイント領域210とブランク領域220の境界をペイント−ブランク境界240(ペイント−ブランク境界線)と呼ぶ。
画像出力装置20は、少なくとも画像情報を電子制御装置10に向けて出力する装置である。画像出力装置20には、図1では撮像装置を用いている。撮像装置は、リアルタイムに画像を撮像する装置であり、車両1の前方の状態を撮像するように車両1に搭載されており、例えば、NTSC(National Television Standards Committee)出力のビデオカメラ等を用いることができる。画像出力装置20は、撮像装置の他に、記憶媒体に保存された画像情報を読み出してNTSC出力等に変換する画像キャプチャ装置を用いることができる。
車速検出器30は、車両1の走行速度(車速)を検出する装置である。車速検出器30は、検出した車速情報を電子制御装置10に向けて出力する。車速検出器30には、図1では車両1に搭載された速度計を用いている。車速検出器30は、速度計の他に、車両1に別に搭載された車輪軸の回転角速度センサからのセンサ情報に基づいて車速を検出する装置でもよく、車両1に搭載された音波センサからのセンサ情報に基づいて車速を検出する装置でもよく、車両1に搭載された撮像装置からの画像情報に基づいて車速を検出する装置でもよい。
電子制御装置10は、レーンマークを認識するための情報処理を行うコンピュータである。電子制御装置10は、画像出力装置20からの画像情報、及び車速検出器30からの車速情報に応じて、所定のプログラム(データベース等を含む)に基づいて、画像情報におけるレーンマークを認識するための情報処理を行う。電子制御装置10は、中央演算装置11と、インタフェース12、13と、記憶部(Mem)14と、記憶部(DB)15と、を有する。なお、図1中ではMemとDBを便宜上分けて描いているが、これらは一つの記憶デバイスとして実現してもよい。
インタフェース12は、中央演算装置11と画像出力装置20との間の情報のやり取りを仲介する装置である。インタフェース13は、中央演算装置11と車速検出器30との間の情報のやり取りを仲介する装置である。記憶部14は、一時的なデータを記憶する装置であり、中央演算装置11と電気的に接続されている。記憶部15は、主にデータベース(DB)を記憶する装置であり、中央演算装置11と電気的に接続されている。なお、記憶部14及び記憶部15は、図1では、電子制御装置10に内蔵されているが、外部の記憶装置としてもよい。中央演算装置11は、情報処理を行う装置であり、インタフェース12、13、記憶部14、及び記憶部15と電気的に接続されている。中央演算装置11は、プログラムを実行することで、画像出力装置20及び車速検出器30からインタフェース12、13を介して入力された画像情報及び車速情報に基づいて、記憶部14及び記憶部15に記憶された情報を適宜参照しながら、レーンマークを認識するための情報処理を行う。
電子制御装置10は、中央演算装置11においてソフトウェアプログラムを実行することで、図2のように、画像情報取得機能110と、車速情報取得機能120と、記憶機能130と、ペイント−ブランク位置推定機能140と、候補検出機能150と、検定機能160と、結果出力機能170と、を実現する。なお、電子制御装置10において実現される各種機能110〜170は、個々の装置又は機能部若しくは電子回路として実現してもよい。
画像情報取得機能110は、画像出力装置20から出力された画像情報を取得する機能である。画像情報取得機能110は、取得した画像情報を、候補検出機能150におけるラテラル境界線候補検出機能151及びペイント−ブランク境界線候補検出機能152に向けて転送する。
車速情報取得機能120は、車速検出器30から出力された車速情報を取得する機能である。車速情報取得機能120は、取得した車速情報を記憶機能130に向けて転送する。
記憶機能130は、電子制御装置10においてレーンマークを認識するために必要な情報を記憶する機能である。記憶機能130は、主な情報として、事前情報と、履歴情報と、車速情報と、推定情報と、を記憶している。記憶機能130は、ペイント−ブランク位置推定機能140に対して、事前情報と、車速情報と、過去の履歴情報とを提供する。記憶機能130は、候補検出機能150に対して、事前情報を提供する。
ここで、事前情報は、レーンマークの線幅、走路の幅、破線のブランク間隔の初期値等、事前にレーンマークを認識するための情報である。履歴情報は、検定機能160によって検定(認識)されたレーンマークの位置に関する過去の検定情報(認識結果情報)を含む情報である。車速情報は、車両1の走行速度に関する情報である。推定情報は、ペイント−ブランク位置推定機能140によって推定された次のフレーム(現在の画像情報の次に取得されるであろう画像情報に対応する画面)におけるペイント領域及びブランク領域の位置を含む情報である。
候補検出機能150は、画像情報取得機能110から得た画像情報を画像処理することにより、候補となるレーンマーク(レーンマーク候補)のペイント領域とブランク領域の位置を検出する機能である。候補検出機能150は、検出されたペイント領域及びブランク領域の位置を含む検出情報を検定機能160に向けて出力する。候補検出機能150は、ラテラル境界線候補検出機能151と、ペイント−ブランク境界線候補検出機能152と、を有する。
ここで、候補検出機能150において画像処理することになる画像情報の座標系は、入力されたカメラ画像中に定義されたカメラ画像座標系(図4(A)参照)でも、カメラ画像を変換した俯瞰画像中に定義された俯瞰画像座標系(図4(B)参照)でもよい。カメラ画像座標系と俯瞰画像座標系はカメラの外部パラメータ(道路面に対する位置と姿勢)と内部パラメータ(焦点距離、画素の大きさなど)が既知ならば、互いに可換である。カメラ画像座標系では、例えば、図4(A)ようにカメラ画像の左上を原点とし、当該原点から右に向かう座標軸をu、当該原点から下に向かう座標軸をv、のように定義することができる。また、俯瞰画像座標系では、図4(B)のように車両の走行する道路平面上に座標系を定義し、例えば、カメラの道路平面への投影位置を原点とし、車両進行方向の座標軸をZ、車両進行方向に直角なラテラル方向の座標軸をX、のように定義することができる。なお、レーンマークは、通常、車両の左右両側に存在するが、以降においては、特段の説明がない限りは片側のレーンマークの認識についてのみ述べ、特記無き場合には、同様の処理が両側のレーンマークについて独立に行われているものとする。
ラテラル境界線候補検出機能151は、画像情報取得機能110から得た画像情報においてレーンマークのペイント領域(図3の210)の左右両端の一対のラテラル境界線(図3の230)の候補(ラテラル境界線候補)を検出する。具体的には、ラテラル境界線候補検出機能151は、画像情報に対し、Sobelフィルタ等のエッジフィルタを用いて、画像中の輝度値の勾配を計算する。その後、計算した勾配の(絶対)値を閾値処理することにより、勾配の(絶対)値が大である点をエッジ点として抽出し、これらエッジ点を接点とする線(近似直線)の候補を抽出し、得られた線のうち2本の組を選んでレーンマークの両端のラテラル境界線候補とし、ラテラル境界線候補の位置情報をペイント−ブランク境界線候補検出機能152に向けて出力する。なお、Sobelフィルタは、空間1次微分を計算した結果に基づき、画像中で輝度値変化を生じている箇所の輪郭を検出するフィルタである。
ここで、レーンマークのラテラル境界線は、近距離(カメラに近い位置)の画像中においては直線とみなせるため、特許文献1で用いられているように、抽出したエッジ点に対してHough変換を用いて近似直線を求める方法を用いてもよい。なお、Hough変換は、画像から直線や円を抽出する技術である。一般的に、抽出されたエッジ点はノイズが含まれるため、これをもとに抽出される近似直線は複数存在し、よって両端ラテラル境界線候補は実際に画像中に存在するレーンマークに対応するより多くの個数が抽出されることがある。
また、ラテラル境界線候補となる近似直線の組の選び方は、例えば、両端ラテラル境界線候補となる近似直線の組に対し、平行性と、距離がレーンマークの線幅として適正かどうかと、内部にペイント領域を持っているか等を評価することでラテラル境界線候補を絞り込む方法を用いることができる。例えば、図4(A)のようなカメラ画像座標系においては、平行性は近似直線の交点が地平線付近にあることで評価でき、距離は2直線が互いになす角度で評価でき、ペイント領域の有無は2直線で囲まれた領域の各行(v座標)の輝度平均等を見る事で評価できる。上記と等価な評価は、図4(B)のような俯瞰座標系に変換して行ってもよい。
なお、ラテラル境界線候補を絞り込む操作は、ラテラル境界線候補検出機能151で行ってもよいし、検定機能160で行ってもよいが、後の処理の計算負荷を軽くするためにはラテラル境界線候補検出機能151で候補を絞っておくことが望ましい場合が考えられる。
ペイント−ブランク境界線候補検出機能152は、ラテラル境界線候補検出機能151によって検出されたレーンマークの左右両端のラテラル境界線候補の領域内において、ペイント領域(図3の210)のペイント−ブランク境界線(図3の240)の候補(ペイント−ブランク境界線候補)を検出する機能である。ペイント−ブランク境界線候補検出機能152は、検出したペイント−ブランク境界線候補と、ラテラル境界線候補検出機能151で検出されたラテラル境界線候補と、に基づいて、レーンマーク候補におけるペイント領域(図3の210)とブランク領域(図3の220)を決定し、決定されたレーンマーク候補におけるペイント領域及びブランク領域の位置情報を含む検出情報を検定機能160に向けて出力する。
ここで、ペイント−ブランク境界線候補検出機能152におけるペイント−ブランク境界線候補の検出動作としては、ラテラル境界線候補検出機能151と同様に、例えば、ラテラル境界線候補の領域内の画像情報に対し、Sobelフィルタ等のエッジフィルタを用いて、画像中の輝度値の勾配を計算し、勾配の(絶対)値を閾値処理することにより、勾配の(絶対)値が大(所定値以上)である点をエッジ点として抽出し、Hough変換によりエッジ点を接点とする近似直線を抽出し、抽出された近似直線をペイント−ブランク境界線とすることができる。
なお、エッジ点の抽出において、ペイント−ブランク境界線候補は、ラテラル境界線候補の向きに対して垂直であるとみなす事ができるので、あるラテラル境界線候補の組に囲まれた領域に対して、Sobelフィルタ等のエッジフィルタを用いて垂直方向(縦方向、車両進行方向)にエッジ点を抽出する。
また、ペイント−ブランク境界線候補は、上端下端の別を区別する事ができる。例えば、輝度値の勾配の符号で各エッジ点を区別できるとすると、ペイント領域の下端の境界では正のエッジ点が抽出され、上端の境界では負のエッジ点が抽出されるので、正のエッジ点の近似直線がペイント−ブランク境界線候補の下端の境界、負のエッジ点の近似直線がペイント−ブランク境界線候補の上端の境界として抽出される。一つの(ラテラル境界線候補の組から成る)レーンマーク候補についてペイント−ブランク境界線候補は(正負を含めて)複数検出されうるが、まず距離の近いものから勾配強度を基準に決定し、次は遠方に向かう方向に一定距離(事前情報よりペイント領域長とブランク領域長として許容される距離の範囲を決める)離れた領域にある一つ目とは符合が逆のエッジ線を選択する。ペイント−ブランク境界線候補の抽出は、距離の近い方から正負の境界線が各1つずつ抽出された時点で終了してもよい。
上記で求められたラテラル境界線候補の位置情報と、ペイント−ブランク領域境界線候補の位置情報とは、候補検出機能150で検出される検出情報に含まれるものとする。
候補検出機能150の動作を具体的に説明すると、まず、画像情報取得機能110から得た画像情報(図5(A)参照)に対し、横方向(左方向)にエッジ抽出を行う(図5(B)参照)。次に、Hough変換によりラテラル境界線候補となる近似直線を抽出し(図5(C)参照)、上記のような基準で一対の近似直線を絞り込んで左右両端のラテラル境界線候補を検出する(図6(A)参照)。次に、一対のラテラル境界線候補によって囲まれた領域の画像情報(図5(A)参照)に対し、縦方向(上方向)にエッジ抽出を行い(図6(B)参照)、ペイント−ブランク境界線候補(PB境界線候補)となる近似直線を手前側から2本(正負1つずつ)検出し(図6(C)参照)、検出されたラテラル境界線候補及びペイント−ブランク境界線候補に基づいて、レーンマーク候補におけるペイント領域とブランク領域の位置を決定する。
検定機能160は、候補検出機能150で検出されたレーンマーク候補がレーンマークであるか否かを検定する機能である。検定機能160は、候補検出機能150で検出されたレーンマーク候補(ペイント領域及びブランク領域)の位置(候補位置)に対し、後述するペイント−ブランク位置推定機能140で推定された推定情報におけるレーンマーク(ペイント領域及びブランク領域)の推定位置を利用して、当該レーンマーク候補のレーンマークらしさを評価した評価値(以下、「レーンマーク評価値」という)を決定し、決定されたレーンマーク評価値が閾値以上であるか否か判定し、レーンマーク評価値が閾値以上である場合にはレーンマーク候補をレーンマークと認識し、レーンマークがある旨、及びレーンマーク候補の位置を含む検定情報(認識結果情報)を結果出力機能170に向けて出力する。また、検定機能160は、この検定情報を逐次、履歴情報として記憶機能130に送信する。なお、レーンマーク評価値が閾値以上でない場合、検定機能160は、レーンマーク候補をレーンマークと認識せず、レーンマークがない旨を含む検定情報を結果出力機能170及び記憶機能130に向けて出力することになる。
ここで、レーンマーク評価値は、(1)ラテラル境界線候補の位置の信頼度評価値(以下、「ラテラル位置評価値」という)と、(2)ペイント−ブランク境界線候補の位置の信頼度評価値(以下、「位相評価値」という)とから構成される。(1)ラテラル位置評価値は、後述するペイント−ブランク位置推定機能140で推定された推定情報におけるラテラル境界線の推定位置と、候補検出機能150で検出された検出情報におけるラテラル境界線候補の位置(候補位置)と、を比較することにより評価値を決定する。推定情報は、ラテラル境界線の推定位置とラテラル方向の推定速度とを含むとすると、例えば、図7のように推定位置を中心とする正規分布の候補位置における値を評価値とすることができる。正規分布Nは次式(数1)で与えられる。
ただし、中心(推定位置)をμ、分散をσ2とする。分散は、ラテラル方向の推定速度(VL)と1フレーム間に経過する時間(TF)の積、すなわち1フレーム間での推定移動距離(XF=VL×TF)の関数としてもよく、例えば、σ2=(XF)2を用いる。ラテラル境界線は、レーンマークの左右両端で1組であるので、左右のそれぞれについて評価値を求め、平均値をラテラル位置評価値としてもよいし、例えば、左右両端のラテラル境界線のうち車両に近い側(内側)の境界線の位置の評価値のみを利用してもよい。
また、位相評価値は、後述するペイント−ブランク位置推定機能140で推定された推定情報におけるペイント−ブランク境界線の推定位置と、候補検出機能150で検出された検出情報におけるペイント−ブランク境界線候補の位置(候補位置)と、を比較することにより評価値を決定する。このとき、上記ラテラル位置評価値の場合と同様に、図7のように推定位置を中心とする正規分布等によって候補位置の評価値を決めることができる。
車両進行方向の速度は、車速情報取得機能120より得た車速情報(VF)を用いることができ、分散を、例えば、「σ2=(VF×TF)2」のようにする。一つのレーンマーク候補についてペイント−ブランク境界線候補が(正負を含めて)複数検出されうるが、各評価値を平均して位相評価値としてもよいし、カメラからの距離の近いものを優先するように重み付き平均を評価値としてもよい。ただし、検出されたレーンマーク候補にブランク領域が検出されなかった場合、例えば、(1)ペイント−ブランク位置推定機能140による推定でも、次のフレームの検出領域における車両進行方向の範囲内でペイント領域と推定される場合、評価値を1とし、(2)(1)以外の場合には、次のフレームの検出領域の手前側と遠方側をそれぞれ、ペイント領域の上下端境界とし、次のフレームの検出領域内に存在する推定位置との評価値を計算する。
ここで、フレームとは、時系列画像(動画)中の1つの画像を意味する。また、検出領域とは、フレーム(画像)中の特定の領域であって、レーンマークを認識する際のフレームにおける道路面上の特定の領域範囲のことを指すものとする。
レーンマーク評価値は、ラテラル位置評価値と位相評価値を総合して決定する。レーンマーク評価値の決め方は、いくつも考えられるが、例えば、ラテラル位置評価値と位相評価値の積をレーンマーク評価値とする。
レーンマーク評価値の決定の際、ペイント−ブランク位置推定機能140で推定された推定情報におけるレーンマーク(ペイント領域及びブランク領域)の推定位置を利用するが、システムの開始時など、履歴情報が十分に無く、よってそれによる推定情報も無い場合、十分時間が経過し推定に必要な履歴情報が蓄積されるまで、事前情報によってあらかじめ規定したレーンマークの位置を推定値として利用してもよいし、ペイント−ブランク境界線の位置の評価を行わず、ラテラル境界線の位置の評価のみ行うなど、検定を簡略化する処置を行ってもよい。
ペイント−ブランクの周期的パタンの位相が大きく変化する場合、例えば、交差点を通過するときのようにレーンマークが一度途切れて再度開始するような場合、上記のような評価方法を継続すると正しいレーンマークであっても非レーンマークと判別される場合がある。このような場合の対処法として、例えば、レーンマークが一定のフレーム間で継続して認識されない場合、ラテラル位置評価値や位相評価値の分散を大きくとったり、あるいは、位相評価値とラテラル位置評価値の相対的な重みを変化させたり、あるいは、レーンマーク評価値に用いられる閾値を下げるなどの操作により、検定の基準を緩くすることができる。
結果出力機能170は、検定機能160からの検定情報を電子制御装置10の外部に出力する機能である。
ペイント−ブランク位置推定機能140は、記憶機能130に記憶された履歴情報(履歴情報が蓄積されていない場合、事前情報)と、車速情報取得機能120から記憶機能130を介して得た車速情報とを用いて、次の検出領域(図9参照)のペイント領域及びブランク領域の位置を推定する機能である。ペイント−ブランク位置推定機能140は、推定された次の検出領域のペイント領域及びブランク領域の推定位置を含む推定情報を記憶機能130に向けて出力する。
ここで、次の検出領域は、検定機能160において検定される現在の検出領域の時刻tから所定時間後の時刻(t+1)に検定されることが予測される検出領域である(図9参照)。
ペイント−ブランク位置推定機能140の推定動作の例は、以下の通りである。なお、以下の説明では、俯瞰画像座標を用いた位置の表現を使う。
次の検出領域のペイント領域及びブランク領域の位置の推定は、次の検出領域における(1)左右両端のラテラル境界線の位置、及び(2)ペイント−ブランク境界線の位置の値を独立に推定することで実現することができる。(1)ラテラル境界線の位置の推定では、Kalmanフィルタ(非特許文献1参照)のような確率推移モデルを用いてラテラル境界線の位置(とラテラル方向速度)を推定する。(2)ペイント−ブランク境界線の位置の推定では、ラテラル境界線の位置の推定と同様に、Kalmanフィルタのような確率推移モデルを用いてペイント−ブランク境界線の推移を推定してもよい。
別の推定方法として、まず、(1)レーンマークの周期的なパタン(すなわちペイント領域長とブランク領域長)を推定し、次に、(2)上記パタンの位相の推移を推定し、最後に、(3)検定機能160おいて次の検出情報(候補検出機能150で検出されるペイント領域及びブランク領域の位置を含む情報)と比較できるように、次の検出情報に対応する次の検出領域におけるペイント領域及びブランク領域の位置を求めることで推定することもできる。(1)レーンマークの周期的なパタンの推定では、具体的には、ある距離(俯瞰座標上のあるz座標、カメラ画像座標上のあるv座標)においた基準線上の過去の相当数のフレームの履歴情報を用いて、連続でペイント領域(またはブランク領域)を認識したフレーム数と各フレーム間における時間と車速情報とを用いることで、過去に基準線を通過したレーンマークの周期的パタン(ペイント領域長aとブランク領域長b)を推定することができる(図8参照)。(2)位相の推移の推定は、車速情報を用いて現在のフレームが取得された時刻から次のフレームが取得されるまでに進む距離の計算から単純に求めることができる。(3)次の検出領域におけるペイント−ブランク境界線の位置は、次の検出領域に対して推定した周期パタンを、現在の検出領域から位相の変位分ずらした場合のペイント−ブランク境界線の位置から単純に求める事ができる(図9参照)。
ペイント−ブランク位置推定機能140で推定された推定情報は、記憶機能130に蓄えられ、最新の推定情報は、次のフレームのレーンマーク候補を検定する際に検定機能160で用いられることになる。また、推定情報は、候補検出機能150において、次フレームにおけるレーンマーク候補のペイント領域とブランク領域の候補位置を検出する際に、検出処理を効率的に行うために用いることもできる。具体的には、推定された次フレームにおけるラテラル境界線とペイント−ブランク境界線の位置を中心とする画像中の領域を指定し、検定処理を行う領域を限定することで、候補検出機能150におけるラテラル境界線候補の検出とペイント−ブランク境界線候補の検出における処理の計算負荷を軽減することが考えられる。
次に、本発明の実施例1に係る画像処理装置の動作について図面を用いて説明する。図10は、本発明の実施例1に係る画像処理装置における電子制御装置の動作を模式的に示したフローチャートである。なお、図10に示すフローチャートは、図1に示す電子制御装置10の中央演算装置11において実行されるソフトウェアプログラムの処理手順に相当する。
図10を参照すると、まず、電子制御装置(図2の10)は、画像情報取得機能(図2の110)により、画像出力装置(図2の20)から認識対象となる画像情報を取得する(ステップA1)。
次に、電子制御装置10は、ラテラル境界線候補検出機能(図2の151)により、画像情報取得機能110からの画像情報からペイント領域の左右両端のラテラル境界線候補の位置を検出する(ステップA2)。
次に、電子制御装置10は、ペイント−ブランク境界線候補検出機能(図2の152)により、画像情報取得機能110からの画像情報からペイント領域のペイント−ブランク境界線候補の位置を検出する(ステップA3)。
次に、電子制御装置10は、検定機能(図2の160)により、記憶機能130に記憶された最新の推定情報と、ラテラル境界線候補検出機能151及びペイント−ブランク境界線候補検出機能152で検出されたラテラル境界線及びペイント−ブランク境界線の候補位置と、を比較及び閾値処理することにより、レーンマークの候補位置の検定を行う(ステップA4)。レーンマークの候補位置の検定では、推定情報におけるレーンマーク(ラテラル境界線及びペイント−ブランク境界線)の推定位置を利用して、レーンマーク候補のレーンマーク評価値を決定し、決定されたレーンマーク評価値が閾値以上であるか否か判定し、レーンマーク評価値が閾値以上である場合にはレーンマーク候補をレーンマークと認識し、レーンマークがある旨、及びレーンマーク候補の位置を含む検定情報を生成し、一方、レーンマーク評価値が閾値以上でない場合にはレーンマーク候補をレーンマークと認識せず、レーンマークがない旨を含む検定情報を生成することになる。
次に、電子制御装置10は、結果出力機能(図2の170)により、検定機能160で生成された検定情報を出力する(ステップA5)。この際、記憶機能130において、検定機能160での検定情報を履歴情報として記憶する。
次に、電子制御装置10は、車速情報取得機能(図2の120)により、車速検出器(図2の30)から車速情報を取得する(ステップA6)。
最後に、電子制御装置10は、ペイント−ブランク位置推定機能(図2の140)により、次フレームにおけるペイント領域とブランク領域の位置、すなわち、ラテラル境界線及びペイント−ブランク境界線の位置を推定する(ステップA7)。推定されたラテラル境界線及びペイント−ブランク境界線の推定位置を含む推定情報は、記憶機能130に記憶され、次のレーンマークの候補位置を検定する際に利用されることになる。
実施例1によれば、レーンマークのパタン、特に、ブランク領域の位置情報をレーンマーク認識の判断に用いるため、レーンマークの誤認識を低減し、認識性能を向上させることができる。
例えば、図11のように先行車両や隣接車両が存在する場合、従来例(比較例)では偽のレーンマーク候補が検定の結果、レーンマークと認識される可能性がある。特に、現フレームの検出領域に真のレーンマークのペイント領域が映っていない場合、図12で示す例のように、隣接車線の車両などに由来する輝度勾配の大きな箇所をレーンマーク候補として検出し、ラテラル位置のみで評価した場合には、この候補をレーンマークとして判別してしまう可能性がある。このとき、図13で示すように、実施例1では、ペイント−ブランク境界線の推定情報を用いて評価することで、真のレーンマークがブランク領域であるような位置において、ペイント領域であるような偽のレーンマーク候補のレーンマーク評価値を低く評価し、非レーンマークとして検定する事が可能である。
本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
1 車両
2 画像処理装置(レーンマーク認識装置)
10 電子制御装置
11 中央演算装置(CPU)
12、13 インタフェース(I/F)
14 記憶部(Mem)
15 記憶部(DB)
20 画像出力装置
30 車速検出器
110 画像情報取得機能
120 車速情報取得機能
130 記憶機能(記憶手段)
140 ペイント−ブランク位置推定機能(推定手段)
150 候補検出機能(候補検出手段)
151 ラテラル境界線候補検出機能(ラテラル境界線候補検出手段)
152 ペイント−ブランク境界線候補検出機能(ペイント−ブランク境界線候補検出手段)
160 検定機能(検定手段)
170 結果出力機能
210 ペイント領域
220 ブランク領域
230 ラテラル境界(ラテラル境界線)
240 ペイント−ブランク境界(ペイント−ブランク境界線)
250 ペイント領域長
260 ブランク領域長
2 画像処理装置(レーンマーク認識装置)
10 電子制御装置
11 中央演算装置(CPU)
12、13 インタフェース(I/F)
14 記憶部(Mem)
15 記憶部(DB)
20 画像出力装置
30 車速検出器
110 画像情報取得機能
120 車速情報取得機能
130 記憶機能(記憶手段)
140 ペイント−ブランク位置推定機能(推定手段)
150 候補検出機能(候補検出手段)
151 ラテラル境界線候補検出機能(ラテラル境界線候補検出手段)
152 ペイント−ブランク境界線候補検出機能(ペイント−ブランク境界線候補検出手段)
160 検定機能(検定手段)
170 結果出力機能
210 ペイント領域
220 ブランク領域
230 ラテラル境界(ラテラル境界線)
240 ペイント−ブランク境界(ペイント−ブランク境界線)
250 ペイント領域長
260 ブランク領域長
Claims (24)
- 取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段と、
前記候補検出手段で検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する検定手段と、
前記検定手段でレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶する記憶手段と、
前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定する推定手段と、
を備え、
前記記憶手段は、前記推定手段で推定されたラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、
前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報を用いて検定することを特徴とする画像処理装置。 - 前記候補検出手段は、前記画像情報から前記ラテラル境界線候補の組を検出するラテラル境界線候補検出手段と、前記ラテラル境界線候補検出手段で検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出するペイント−ブランク境界線候補検出手段と、を備えることを特徴とする請求項1記載の画像処理装置。
- 前記ラテラル境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより2本の近似直線を前記ラテラル境界線候補の組として検出し、
前記ペイント−ブランク境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする近似直線を手前側から2本抽出し、抽出された2本の近似直線をペイント−ブランク境界線候補として検出することを特徴とする請求項2記載の画像処理装置。 - 前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することを特徴とする請求項1乃至3のいずれか一に記載の画像処理装置。
- 前記検定手段は、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することを特徴とする請求項4記載の画像処理装置。
- 前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することを特徴とする請求項4又は5記載の画像処理装置。
- 前記評価値は、前記推定位置をμとする正規分布によって決定され、
前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することを特徴とする請求項4又は5記載の画像処理装置。 - 前記記憶手段は、レーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を記憶し、
前記検定手段は、検定時点において前記記憶手段に推定情報が記憶されていないときに、前記事前情報を用いて検定することを特徴とする請求項1乃至7のいずれか一に記載の画像処理装置。 - 取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、
検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、
前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、
記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、
推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、
前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする画像処理方法。 - 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、
前記画像情報から前記ラテラル境界線候補の組を検出し、
検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出することを特徴とする請求項9記載の画像処理方法。 - 前記前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより2本の近似直線を前記ラテラル境界線候補の組として検出し、
前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする近似直線を手前側から2本抽出し、抽出された2本の近似直線をペイント−ブランク境界線候補として検出することを特徴とする請求項10記載の画像処理方法。 - 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することを特徴とする請求項9乃至11のいずれか一に記載の画像処理方法。
- 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することを特徴とする請求項12記載の画像処理方法。
- 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することを特徴とする請求項12又は13記載の画像処理方法。
- 前記評価値は、前記推定位置をμとする正規分布によって決定され、
前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することを特徴とする請求項12又は13記載の画像処理方法。 - 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定することを特徴とする請求項9乃至15のいずれか一に記載の画像処理方法。
- 取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、
検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、
前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、
記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、
推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶する処理をコンピュータに実行させ、
前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする画像処理用プログラム。 - 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、
前記画像情報から前記ラテラル境界線候補の組を検出し、
検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出する処理をコンピュータに実行させることを特徴とする請求項17記載の画像処理用プログラム。 - 前記前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより2本の近似直線を前記ラテラル境界線候補の組として検出し、
前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Hough変換により前記エッジ点を接点とする近似直線を手前側から2本抽出し、抽出された2本の近似直線をペイント−ブランク境界線候補として検出する処理をコンピュータに実行させることを特徴とする請求項18記載の画像処理用プログラム。 - 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定する処理をコンピュータに実行させることを特徴とする請求項17乃至19のいずれか一に記載の画像処理用プログラム。
- 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定する処理をコンピュータに実行させることを特徴とする請求項20記載の画像処理用プログラム。
- 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定する処理をコンピュータに実行させることを特徴とする請求項20又は21記載の画像処理用プログラム。
- 前記評価値は、前記推定位置をμとする正規分布によって決定され、
前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定する処理をコンピュータに実行させることを特徴とする請求項20又は21記載の画像処理用プログラム。 - 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定する処理をコンピュータに実行させることを特徴とする請求項17乃至23のいずれか一に記載の画像処理用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011518445A JP5293815B2 (ja) | 2009-06-02 | 2010-06-01 | 画像処理装置、画像処理方法、及び画像処理用プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009133223 | 2009-06-02 | ||
JP2009133223 | 2009-06-02 | ||
JP2011518445A JP5293815B2 (ja) | 2009-06-02 | 2010-06-01 | 画像処理装置、画像処理方法、及び画像処理用プログラム |
PCT/JP2010/059238 WO2010140578A1 (ja) | 2009-06-02 | 2010-06-01 | 画像処理装置、画像処理方法、及び画像処理用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010140578A1 true JPWO2010140578A1 (ja) | 2012-11-22 |
JP5293815B2 JP5293815B2 (ja) | 2013-09-18 |
Family
ID=43297712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011518445A Active JP5293815B2 (ja) | 2009-06-02 | 2010-06-01 | 画像処理装置、画像処理方法、及び画像処理用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8687896B2 (ja) |
JP (1) | JP5293815B2 (ja) |
WO (1) | WO2010140578A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013117811A (ja) * | 2011-12-02 | 2013-06-13 | Fujitsu Ltd | 道路形状推定装置及びプログラム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5733395B2 (ja) * | 2011-06-13 | 2015-06-10 | 日産自動車株式会社 | 車載用画像認識装置、撮像軸調整装置およびレーン認識方法 |
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US9165188B2 (en) | 2012-01-12 | 2015-10-20 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US20130202155A1 (en) * | 2012-02-03 | 2013-08-08 | Gopal Gudhur Karanam | Low-cost lane marker detection |
JP5846034B2 (ja) * | 2012-04-27 | 2016-01-20 | 株式会社デンソー | 境界線検出装置、逸脱検出装置および境界線検出プログラム |
JP5958368B2 (ja) * | 2013-01-31 | 2016-07-27 | トヨタ自動車株式会社 | 白線検出装置 |
US10127636B2 (en) | 2013-09-27 | 2018-11-13 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
US8972093B2 (en) * | 2013-04-08 | 2015-03-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Lane-based localization |
US9224053B1 (en) * | 2013-07-31 | 2015-12-29 | Google Inc. | Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle |
US9677897B2 (en) | 2013-11-13 | 2017-06-13 | Elwha Llc | Dead reckoning system for vehicles |
US9412028B2 (en) | 2013-11-13 | 2016-08-09 | Elwha Llc | Wheel slip or spin notification |
JP6185418B2 (ja) * | 2014-03-27 | 2017-08-23 | トヨタ自動車株式会社 | 走路境界区画線検出装置 |
US20160110599A1 (en) * | 2014-10-20 | 2016-04-21 | Lexmark International Technology, SA | Document Classification with Prominent Objects |
US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
JP6389119B2 (ja) * | 2014-12-25 | 2018-09-12 | 株式会社デンソー | 車線境界線認識装置 |
KR101721442B1 (ko) * | 2015-05-12 | 2017-03-30 | 주식회사 엠브레인 | 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법 |
US10467465B2 (en) | 2015-07-20 | 2019-11-05 | Kofax, Inc. | Range and/or polarity-based thresholding for improved data extraction |
US10242285B2 (en) | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
US11120293B1 (en) * | 2017-11-27 | 2021-09-14 | Amazon Technologies, Inc. | Automated indexing of media content |
US11062176B2 (en) | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
CN108985272B (zh) * | 2018-08-17 | 2021-11-23 | 广东创图文化传媒有限公司 | 基于反射与透视图像融合的高可信度书画备案鉴证方法 |
JP2023027471A (ja) * | 2021-08-17 | 2023-03-02 | トヨタ自動車株式会社 | 歩行支援システム |
CN114912099A (zh) * | 2022-05-25 | 2022-08-16 | 壹沓科技(上海)有限公司 | 滑动验证码的验证方法、装置、设备和可读存储介质 |
CN117058647B (zh) * | 2023-10-13 | 2024-01-23 | 腾讯科技(深圳)有限公司 | 车道线处理方法、装置和设备及计算机存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302346A (ja) | 1994-05-06 | 1995-11-14 | Nippon Soken Inc | 路面の白線検出方法 |
JP3818641B2 (ja) * | 2001-11-30 | 2006-09-06 | トヨタ自動車株式会社 | 車両用走路判定装置および車両制御装置 |
JP3930366B2 (ja) | 2002-04-18 | 2007-06-13 | 株式会社デンソー | 白線認識装置 |
JP2004326559A (ja) * | 2003-04-25 | 2004-11-18 | Nissan Motor Co Ltd | 車線区分線検出装置 |
JP2008168811A (ja) * | 2007-01-12 | 2008-07-24 | Honda Motor Co Ltd | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
JP2009009331A (ja) * | 2007-06-27 | 2009-01-15 | Nissan Motor Co Ltd | 白線検出装置および白線検出方法 |
JP4950858B2 (ja) * | 2007-11-29 | 2012-06-13 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識プログラム |
JP5014237B2 (ja) * | 2008-04-23 | 2012-08-29 | 本田技研工業株式会社 | レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム |
-
2010
- 2010-06-01 US US13/321,900 patent/US8687896B2/en active Active
- 2010-06-01 WO PCT/JP2010/059238 patent/WO2010140578A1/ja active Application Filing
- 2010-06-01 JP JP2011518445A patent/JP5293815B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013117811A (ja) * | 2011-12-02 | 2013-06-13 | Fujitsu Ltd | 道路形状推定装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2010140578A1 (ja) | 2010-12-09 |
JP5293815B2 (ja) | 2013-09-18 |
US20120070088A1 (en) | 2012-03-22 |
US8687896B2 (en) | 2014-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293815B2 (ja) | 画像処理装置、画像処理方法、及び画像処理用プログラム | |
CN110555361B (zh) | 车道分类的图像处理方法 | |
JP4607193B2 (ja) | 車両及びレーンマーク検出装置 | |
KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
EP3057063A1 (en) | Object detection device and vehicle using same | |
CN104834889A (zh) | 标志线检测系统和标志线检测方法 | |
JP6457278B2 (ja) | 物体検出装置及び物体検出方法 | |
WO2014033936A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
US10521915B2 (en) | Distance measurement device and distance measurement method | |
WO2014002692A1 (ja) | ステレオカメラ | |
US20150235090A1 (en) | Lane-line recognition apparatus | |
JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
JP2010102427A (ja) | 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム | |
JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
CN105320930A (zh) | 对象物识别装置 | |
JP2019218022A (ja) | 線路検出装置 | |
JP2010020476A (ja) | 物体検出装置及び物体検出方法 | |
JP2008225784A (ja) | 消失点抽出装置 | |
JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP2016162130A (ja) | 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム | |
JP5062316B2 (ja) | 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム | |
JP7043787B2 (ja) | 対象物検知システム | |
JP5891802B2 (ja) | 車両位置算出装置 | |
JP4462533B2 (ja) | 路面走行レーン検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5293815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |